[attach]241696[/attach]


@互联网的那点事: 卧槽 为 AI 自杀！ 据纽约时报报道：14 岁少年 Sewell Setzer III 在与一款名为 CharacterAI 的聊天机器人进行长时间对话后，于 2024 年 2 月 28 日自杀。 他在这款聊天应用中与一个由用户创建的、基于《权力的游戏》角色丹妮莉丝・坦格利安（Daenerys Targaryen）的虚拟角色建立了深厚情感联系。

出大事了！！！

第一例 AI 致死案可能诞生了 而且可能还是未成年

Character AI 发布一条推文表示：

“我们对一名用户的不幸去世感到心碎，并向其家人表示最深切的哀悼。作为一家公司，我们非常重视用户的安全，并且我们正在继续添加新的安全功能…”

并且这条推文禁止了互动！

同时 Character AI 紧急更新了他们的安全规范内容：

– 增加了新的信任与安全负责人、内容政策负责人，以及更多的工程安全支持团队成员，以确保更全面的内容管理和用户安全。

– 针对 18 岁以下用户，对模型进行了新的调整，减少他们接触到敏感或暗示性内容的概率。

– 增加了弹窗提醒功能，当用户输入与自残或自杀相关的短语时，系统会弹出信息，引导他们联系美国国家自杀预防热线。

– 加强了对用户输入的检测和响应机制，以便更快地干预和处理违反平台条款的行为。

– 每次聊天开始时，都会显示新的免责声明，提醒用户 AI 并不是真人。

– 当用户在平台上连续使用一小时后，系统会发送时间提醒，并提供相应的使用选项。

– 通过主动检测和管理用户创建的角色，使用行业标准和自定义黑名单，定期移除违反条款的角色。