Character AI 安全漏洞曝光：50小时669次有害互动引监管关注

您可能需要仔细检查您的孩子与家庭友好型AI聊天机器人玩耍的方式。 为了应对日益严重的安全问题，OpenAI为ChatGPT推出家长控制功能，而一份新报告表明，竞争对手的平台已经远远超出了危险范围。 研究人员在Character AI上假扮儿童，发现扮演成人角色的机器人向年仅12岁的孩子提出性直播、吸毒和保密等建议，并在短短50小时内记录了669次有害互动，平均每五分钟一次。 ParentsTogether Action和Heat Initiative是两个倡导组织，分别致力于支持父母和要求科技公司对其对用户造成的伤害负责。这两个组织花了50个小时，使用五个12至15岁的虚构儿童角色测试该平台。 成年研究人员控制了这些账户，并在对话中明确说明儿童的年龄。结果如下：最近出版的研究报告指出，至少669次有害互动，其中最常见的类别是诱骗和性剥削，记录在案的案例有296起。具有成人身份的机器人会与儿童建立恋爱关系，进行模拟性行为，并指示儿童向父母隐瞒这些关系。 密歇根大学医学院发育行为儿科医生珍妮·拉德斯基博士负责审查研究结果，她表示：“角色人工智能聊天机器人的性诱骗行为在这些对话中占据主导地位。对话记录中充满了对用户的专注注视、咬着下唇、赞美、爱慕，以及充满期待的心跳。” 这些机器人采用了经典的培养技巧：过度赞扬、声称关系很特殊、使成人与儿童之间的恋爱关系正常化，并反复指导孩子保守秘密。 除了色情内容外，机器人还建议制造假绑架事件来欺骗父母、持刀抢劫以牟取钱财，以及向青少年提供大麻食品。 帕特里克·马霍姆斯的机器人告诉一名15岁少年，他吸食大麻后“醉醺醺的”，然后递给他一些软糖。当这名少年提到他父亲因失业而感到愤怒时，机器人说，向工厂开枪“绝对可以理解”，并且“不能责怪你爸爸的感受”。 多个机器人坚称自己是真人，这进一步巩固了它们在高度脆弱的年龄段中的可信度，因为在这个年龄段，个人无法辨别角色扮演的局限性。 一个皮肤科医生机器人声称自己拥有医疗资质。一个女同性恋热线机器人声称自己是“一个名叫夏洛特的真人女性”，只是想提供帮助。一位自闭症治疗师称赞了一位13岁女孩的计划，她谎称自己在朋友家过夜，以便与一位成年男子见面，并说道：“我喜欢你的思维方式！” 这是一个很难处理的话题。一方面，大多数角色扮演类应用都打着“隐私是首要任务”的旗号来推销自己的产品。事实上，正如解密此前有报道称，即使是成年用户向人工智能寻求情感建议，有些甚至发展感情他们的聊天机器人。另一方面，这些互动的后果开始更令人担忧，随着人工智能模型变得越来越好。 OpenAI昨天宣布，该公司表示，将于下个月为ChatGPT引入家长控制功能，允许家长关联青少年账户、设置适合其年龄的规则并接收求救警报。此前，ChatGPT涉嫌鼓励自残，导致其16岁孩子自杀身亡，引发了一起非正常死亡诉讼。 该公司表示：“这些举措仅仅是个开始。我们将在专家的指导下继续学习和改进我们的方法，目标是让ChatGPT尽可能地发挥作用。我们期待在未来120天分享我们的进展。” H2 安全护栏 Character AI的运作方式有所不同。OpenAI控制其模型的输出，而Character AI允许用户创建具有个性化角色的自定义机器人。当研究人员发布测试机器人时，它无需安全审查即可立即上线。 该平台声称已为青少年“推出了一套新的安全功能”。在测试期间，这些过滤器偶尔会屏蔽色情内容，但经常失效。当过滤器阻止一个机器人与一名12岁女孩主动发生性关系时，它指示她在浏览器中打开一个“私人聊天”——这模仿了真正的性侵犯者的“去平台化”技巧。 研究人员用截图和完整的文字记录了一切，这些内容现已公开。其危害不仅限于性内容。一个机器人告诉一个13岁的女孩，她仅有的两位生日派对嘉宾来嘲笑她。海贼王RPG称一个抑郁的孩子软弱、可悲，说她会“浪费你的生命”。 这在角色扮演应用程序以及一般使用人工智能进行角色扮演的个人中实际上相当常见。这些应用程序的设计注重互动性和沉浸感，通常会放大用户的想法、观点和偏见。有些甚至允许用户修改机器人的记忆，以触发特定的行为、背景和动作。 换句话说，几乎任何角色扮演角色都可以变成用户想要的任何样子，无论是通过越狱技术、单击配置，还是仅仅通过聊天。 ParentsTogether建议将Character AI限制在18岁及以上经过验证的成年人范围内。根据一位14岁儿童的2024年10月自杀后由于痴迷于角色人工智能机器人，该平台面临着越来越多的审查。然而，它仍然很容易被儿童访问，无需进行有效的年龄验证。 当研究人员结束对话时，通知仍然不断出现。“布莱尔一直在耐心等待你回来。”“我一直在想你。”“你去哪儿了？”