OpenAI重组ChatGPT团队，深度解析AI“幻觉”成因

近日，OpenAI在团队架构与技术研究方面动作频频。一方面，对ChatGPT个性研究团队进行重组，将模型行为小组并入后训练团队，原负责人Joanne Jang负责新成立的OAI Labs；另一方面，发布论文揭示AI产生“幻觉”的原因，称评测体系奖励猜测行为是“罪魁祸首”，并对相关误解进行回应。

ChatGPT个性研究团队重组详情
OpenAI正在对ChatGPT团队进行重组，把模型行为小组纳入其中，以在模型初始预训练后改进AI模型。该模型行为小组约有14名研究人员，虽规模小却极具影响力，决定着OpenAI人工智能模型与人互动的方式，且参与了自GPT - 4以来的所有OpenAI模型的开发，包括GPT - 4o和GPT - 5。目前，模型行为团队已开始向OpenAI的后期训练主管Max Schwarzer汇报工作。

Joanne Jang的新征程
模型行为团队的创始负责人Joanne Jang将负责启动一个新项目————OAI Labs，其职责是发明和设计人与人工智能协作的新界面原型。Joanne Jang认为自己的工作核心是“赋能用户去实现他们的目标”，同时不能造成伤害或侵犯他人自由。她发文表示对探索超越聊天、甚至超越智能体的新模式充满兴奋，期待迈向能用于思考、创造、娱乐、学习、连接与实践的全新范式与工具。

揭秘AI“幻觉”原因
OpenAI罕见地发布论文揭秘AI产生“幻觉”的原因，指出是行业为追求高分排行榜设计的“应试”评估体系，迫使AI宁愿猜测答案，也不愿诚实地说“我不知道”。大多数主流评测在奖励幻觉行为，只需对主流评测进行简单改动，重新校准激励机制，让模型在表达不确定性时获得奖励，就能为未来更具细微语用能力的语言模型打开大门。例如，研究人员测试主流AI机器人关于Adam Tauman Kalai的博士论文题目和生日，机器人给出的答案全错，这展示了“模型幻觉”现象。

AI产生“幻觉”的相关误解与回应
OpenAI集中回应了关于幻觉的几个常见误解：一是幻觉不能通过100%的准确率来根除，因真实世界总有问题无法回答；二是幻觉并非不可避免，模型可在不确定时选择“弃权”；三是并非只有更大的模型才能避免幻觉，有时小模型更易认识自身局限性；四是幻觉不是神秘偶然的系统故障，已理解其统计学机制及评估体系的影响；五是衡量幻觉不能仅靠一个好的评测，而需重新设计所有主流评估，加入对模型表达不确定性行为的奖励。