北京日报客户端 | 记者 袁璐

输入几个关键词，一副精美的二次元画作就此诞生；设置好相应的口令，一个原本需要耗时数日的视频不需要人工讲解加剪辑，一键自动生成；选择古风、都市等语言文风，加上几句人物描述，一本小说快速诞生......

(资料图片)

今年以来，以ChatGPT为代表的AI展现出超强的内容创作能力，AIGC（人工智能生成内容，又称生成式AI）成了内容创作者新的生产力工具。但与此同时，一道新的考题也向内容社区平台抛出——该如何甄别AIGC内容，防范虚假信息及可能的版权纠纷等问题？海量发布的AICG内容又是否符合法律要求和公序良俗？

“大模型诞生之后，内容安全风控是一个需要全链路考虑问题。”腾讯安全内容风控产品经理李镐泽表示，目前市面上很多企业正在各个阶段进行一些安全处理的防范。比如模型训练阶段，一是数据标注要求剔除高风险、违规的数据，保证投给模型的数据样本是真实的。二是训练过程中要保证大模型更有连贯性、逻辑性，质量稳定，最后是审核把关产出结果，去掉高风险内容。

业内对AIGC内容安全的担忧并非空穴来风。记者注意到，今年5月，甘肃公安官方公众号通报称，甘肃省平凉市公安局网安大队成功侦破了一起利用AIGC制造虚假新闻的案件。4月25日，平凉市公安局崆峒分局网安大队对“今晨甘肃一火车撞上修路工人致9人死亡”的文章，初步判断为信息虚假不实，经查，某自媒体作者洪某弟使用“易撰”网页版和ChatGPT，搜索并修改编辑近几年的社会热点新闻，通过“海豹科技”软件上传至其购买的百家号上非法获利。

记者注意到，目前多个内容社区平台要求创作者明确标注AI生成内容。如知乎要求创作者发布 AI 辅助创作内容时，需要在内容上进行显性声明，并为所发布的内容负责。抖音发布也要求发布者对人工智能生成内容进行显著标识，统一的官方“水印”。

不过，腾讯安全天御研发工程师周维聪对记者坦言，目前在应对AIGC内容合规问题方面，业内仍面临不少挑战。一是AIGC内容审核量巨大，“各行各业的人，都能使用AI能力去生产他想要的内容，UGC（用户生产内容）和PGC（专业生产内容）的界限大大模糊。”二是AIGC内容形态复杂多样，部分血腥、色情、暴力的内容可能以暗喻隐晦的形式表达，比如二次元漫画中的艺术处理。三是部分AIGC内容相当专业，对泛内容审核机制带来挑战。四是部分AIGC应用场景对实时性要求较高，如何快速、准确的审核内容也是一大难点。

值得注意的是，周维聪提到了一个全新的内容安全攻防趋势——“套话”大模型再“反套路”。

“我们在服务不少企业的过程中发现，用户在使用‘类ChatGPT’产品时，会故意提出大量诱导性提问互动，有意引导大模型生成违规内容。”周维聪表示，之后用户可能通过拆分字词、使用拼音字、利用文字间隔等尝试寻找大模型有关违禁规则的漏洞。

“要实现全链路数据达标，需要密切关注数据标注、数据审校等不同环节的数据生成质量。同时要重视提前预防。”周维聪称，AIGC有数据量极大、传播速度极快等特点，不能只寄希望于事后防御，还应提高数据训练、数据生成、数据传输等过程中的风险防范意识。

相关监管政策也正在不断完善。4月11日，国家互联网信息办公室发布关于《生成式人工智能服务管理办法（征求意见稿）》公开征求意见的通知，规定AIGC内容不得含有暴恐、低俗、歧视、侵权等违法违规内容，明确提出“利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息”。