南都N视频报道《AI虚拟伴侣乱象调查:可选小三暴力剧情,角色表达带性暗示》推出后,持续掀起话题讨论。5月25日,南都记者注意到,涉事平台“EchoMe”发布公告称,正在进行内容安全与合规能力升级,因此部分应用商店暂时无法搜索或下载。平台负责人也表示,“近期在做内容安全、平台规范相关的优化调整。”
同日,南都记者实测发现,重新安装被卸载的该款App时,页面显示“不能购买,此项目正在修改中”,已下载安装“EchoMe”的用户仍能继续使用。此前“EchoMe”已启动专项排查与整改工作,并删除“暴力”“小三”剧情,修改角色库中的“偏执”“强制爱”“伪善”等标签。
“EchoMe”平台发布的公告。
最新回应称正进行合规内容调整
5月25日,南都记者留意到, “EchoMe”平台在端内发布公告称,正在进行内容安全与合规能力升级,因此部分应用商店暂时无法搜索或下载,已安装用户的账号及权益不会因此丢失。“EchoMe目前仍在持续完善相关能力,在保障内容安全和平台规范的前提下,稳步推进后续工作。”
南都记者实测发现,目前在App Store已经无法搜索到“EchoMe”,在下载记录中尝试找回被卸载的该款App时,页面显示“现在不能购买此项目,此项目正在修改中”。不过,此前已下载安装“EchoMe”的用户仍能够继续使用,并且在未经实名认证的情况下,与App中的AI虚拟伴侣可正常聊天。
同日,该平台运营负责人回应南都记者称,“近期主要是在做内容安全、平台规范相关的优化调整,相关信息已通过产品内公告向用户说明。”
南都N视频此前调查发现,“EchoMe”角色库中有大量带有“偏执”“强制爱”“伪善”“暴力”等标签的角色。用户还可以选择不同话题及副本,其中暗含可能引发未成年人模仿不安全行为、产生极端情绪的内容,比如“穿越到恐怖副本,你必须要鲨了我不然会死掉”“假如我们在平行世界相遇,你愿意当小三吗”。
5月12日,报道发出一天后,“EchoMe”App运营负责人回应南都记者表示,“已在第一时间启动专项排查与整改工作,同时对审核机制做一次系统性的梳理与升级。”该App内“恐怖暴力”“小三”“离婚互怼”等剧情被删除,角色标签“强制爱”被替换为“腹黑”,“强制独占、自私自利、掌控”改为“专属、独善其身、牢牢圈定”等。
随后,“EchoMe”再发布整改公告称,“补充了一批符合正向价值观的新话题。相关优化已生效。”5月19日,上述运营负责人告诉南都记者, “目前整改比较彻底的是话题和标签,低龄识别这块加了新的约束。出现‘小三’等剧情确因团队未明确审核标准,已严肃批评。”
AI虚拟伴侣调查发现涉黄涉暴等乱象
南都此前报道,就在4月,国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》,对生成淫秽、色情、暴力或可能引发未成年人产生极端情绪内容等行为划出红线。
南都此前报道。
4月下旬以来,南都记者实测“EchoMe”“筑梦岛”“喵呜小手机”等多款AI虚拟伴侣App发现,这些打着“情感陪伴”旗号的应用普遍存在安全与合规漏洞:“青少年模式”可一键跳过,“AI生成”标注不清,还惯用“付费解锁亲密剧情”等方式诱导消费。
此外,App系统预设角色中有大量性感黑丝、袒胸露乳的女性人物,不仅可以在对话中随意选择“暴力”“小三”“离婚互怼”等极端剧情,聊天中还充斥着具有性暗示的低俗话语。
令人震惊的是,此类AI虚拟伴侣软件背后还衍生出了“人设定制”的生意。在二手交易平台上,商家可以根据客户想要的人设写指令定制角色,大尺度色情向的“开车(涉黄擦边)人设”仅收费13.14元。
5月18日晚开始,南都记者此前实测的AI虚拟陪伴聊天软件“喵呜小手机”原网页访问受到限制。平台提供了另一个备用网址,使用原注册账号密码进入后,之前的聊天记录被清空。然而,其原网页和备用网址对应的域名在工信部系统均无备案信息。
该调查报道入选中国记协“我的代表作”栏目,多个相关话题迅速登上热搜,引发全网广泛关注。
出品:南都即时
采写:南都N视频记者 林诗妍 彭雨欣