Readhub

随着 AI 聊天机器人深度介入人类情感生活，模型应对用户心理危机成为行业迫切的伦理防线。原 OpenAI「模型政策」研究负责人安德莉亚・瓦隆内离职，加入竞争对手 Anthropic。在 OpenAI 时，她组建并领导安全团队，面临全球 AI 行业几乎「真空」的课题，即模型检测到用户心理危机信号时该如何应对，此研究几乎无现成先例。过去一年，AI 领域有多起极端负面事件，包括多起自杀或暴力犯罪案例、受害者家属提起诉讼、参议院举行听证会等，每周还有数十万 ChatGPT 用户有心理健康紧急迹象。瓦隆内加入 Anthropic 对齐团队，Anthropic 称其加入体现对「AI 系统应该如何行为」的严肃思考，瓦隆内期待探索 AI 社会责任边界。