Roblox 推出开源 AI 系统，保护儿童免受聊天中性侵者的侵害

深受儿童和青少年喜爱的在线游戏平台 Roblox 正在推出一款开源版人工智能系统，据称该系统可以帮助预先检测游戏聊天中的性侵性语言。

Roblox 正面临诉讼和批评，指责其在保护儿童免受性侵者侵害方面做得不够。例如，上个月在爱荷华州提起的一起诉讼称，一名 13 岁女孩在 Roblox 上被介绍给一名成年性侵者，随后被绑架并贩卖到多个州，最终遭到强奸。该诉讼在爱荷华州波尔克县地方法院提起，声称 Roblox 的设计特性使使用它的儿童“很容易成为恋童癖者的猎物”。

Roblox 表示，它致力于使其系统默认设置尽可能安全，但也指出“没有哪个系统是完美的，而该行业面临的最大挑战之一是检测潜在的儿童危害等重大危害。”

这款名为 Sentinel 的人工智能系统有助于检测儿童可能面临危险的早期迹象，例如性剥削性语言。Roblox 表示，该系统促使该公司在 2025 年上半年向美国国家失踪与受虐儿童中心提交了 1200 份关于潜在儿童剥削企图的报告。该公司目前正在将其开源，以便其他平台也能使用。

对于人工智能系统和人类来说，预先检测对儿童的潜在危险可能很棘手，因为对话一开始可能看起来无伤大雅。像“你多大了？”或“你来自哪里？”这样的问题本身并不一定会引起警觉，但如果在较长的对话过程中结合上下文，它们可能会呈现出不同的含义。

Roblox 每月拥有超过 1.11 亿用户，它不允许用户在聊天中分享视频或图片，并试图屏蔽任何个人信息，例如电话号码。然而，与大多数审核规则一样，人们总能找到绕过这些安全措施的方法。

它还不允许 13 岁以下的儿童在游戏之外与其他用户聊天，除非他们获得家长的明确许可。而且与许多其他平台不同，它不会加密私人聊天对话，因此可以监控和审核这些对话。

“我们一直都有过滤器，但这些过滤器往往只关注一行或几行文字中的内容。这对于屏蔽脏话、不同类型的辱骂性语言等非常有效，”Roblox 首席安全官 Matt Kaufman 说道。“但当你考虑与危害儿童或诱骗儿童有关的事情时，你所关注的行为类型会在很长一段时间内显现出来。”

Sentinel 会捕捉 Roblox 上每分钟的聊天快照（每天约 60 亿条消息），并分析其中可能存在的危害。Roblox 表示，为此开发了两个索引：一个由良性消息组成，另一个由被确定包含危害儿童违规内容的聊天组成。Roblox 表示，这使得系统能够识别有害模式，而不仅仅是标记某些单词或短语，而是将整个对话纳入上下文。