科大讯飞AI大赛：基于文本的违禁词分类挑战赛 Baseline
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
赛题名称：科大讯飞AI开发者大赛-基于文本的违禁词分类挑战赛
赛题类型：自然语言处理
赛题任务：准确识别文本中违禁词汇的类别
https ://challenge. xfyun.cn/topic/info?type=prohibited-words-classification&ch=dwsf259
随着互联网内容的快速增长，网络平台面临日益严峻的违禁信息治理挑战。违禁词（如涉政敏感、色情低俗、暴力犯罪、宗教迷信等）通过谐音、缩写、符号插入、多语言混合等动态变体形式，持续规避传统检测规则，对网络生态安全和用户体验造成严重威胁。
现有基于关键词匹配或简单规则的方法难以应对复杂语境下的语义歧义和对抗性干扰，亟需通过人工智能技术提升违禁内容识别的智能化水平。
本次大赛要求参赛者构建高效的机器学习或深度学习模型，用于准确识别文本中违禁词汇的类别。
为此，提供经过脱敏处理的大规模真实网络文本数据集，包括但不限于社交媒体帖子、新闻评论等。
本次比赛为参赛选手提供的数据包括从各大社交平台采集的用户发言，数据包含主要文本以及对应的违禁分类，以便选手利用。
本模型依据提交的结果文件，采用macroF1-score进行评价。
通过人工定义一系列违禁词或短语，然后直接在待检测文本中查找这些关键词。如果文本包含预设的关键词，则将其标记为违禁。
将文本转换为数值向量（特征），然后使用传统的机器学习算法对这些向量进行分类。TF-IDF是一种常用的文本特征表示方法。
利用预训练的深度学习模型（如BERT），它通过在海量文本数据上进行自监督学习，掌握了丰富的语言知识和上下文语义信息。然后，在特定任务（如文本分类）上进行微调。
利用大型语言模型（LLM）强大的零样本（Zero-shot）或少样本（Few-shot）学习能力，通过精心设计的“提示词”（Prompt），引导模型直接完成文本分类任务，而无需对模型进行微调。
在大型预训练语言模型的基础上，利用任务特定的大量标注数据进行额外的训练，以使模型更精确地适应特定任务（如违禁词分类）的特点和要求。这与常规BERT模型的微调类似，但针对的是规模更大的LLM。
#学习大模型&讨论Kaggle#
△长按添加竞赛小助手
每天大模型、算法竞赛、干货资讯
与36000+来自竞赛爱好者一起交流~
