OpenAI近日宣布了一种新的AI模型训练方法，旨在解决“AI幻觉”问题。该问题指的是聊天机器人使用编造的信息回应用户的情况，这使得输出结果缺乏可靠性。为了解决这个问题，OpenAI提出了一种名为“过程监督”的训练策略，通过奖励模型在推理过程中的每个正确步骤，鼓励其遵循人类思维的方法链，提高模型输出的可解释性。
一、OpenAI正寻求新方法对抗“AI幻觉”
据CNBC报道，OpenAI宣布计划采取一种新的AI模型训练方法，以解决“AI幻觉”难题。
1.什么是“AI幻觉”？
“AI幻觉”指的是聊天机器人用编造的信息进行回应，这是AI的自信反应。尽管模型可能看似在滔滔不绝地陈述事实，但实际内容却是“一本正经胡说八道”。这种幻觉在需要多步推理的领域尤为严重，其中一个环节上的逻辑错误就足以破坏整个解答过程。
2.OpenAI提出的解决策略：过程监督
为了解决幻觉问题，OpenAI提出了一种新的策略：在AI模型训练中引入过程监督的奖励机制。过程监督不仅奖励模型获得正确的最终结论，更要奖励模型在得出答案的过程中做出的每个正确推理步骤。
研究人员表示，过程监督的方法可以鼓励模型更好地遵循人类的“思维”方法链，从而提高AI输出的可解释性。这一方法被视为构建高一致性AGI（通用人工智能）的关键一步。
3.OpenAI 的研究进展和数据集
OpenAI的研究人员已经发布了一套附带数据集，其中包含80万个人类标注，用于训练描述在研究论文中提到的这套模型。这一数据集将帮助研究人员更好地理解和解决幻觉问题，使得模型能够具备解决挑战性推理问题的强大能力。
OpenAI公司的数学生成（mathgen）研究员Karl Cobbe表示，检测和缓解模型中的逻辑错误或幻觉是构建高一致性AGI的关键步骤之一。虽然OpenAI在过去没有采用过程监督方法，但他们希望通过这项研究解决幻觉问题，并使得模型能够更好地应对具有挑战性的推理问题。
通过引入过程监督和不断改进训练方法，OpenAI正在努力解决“AI 幻觉”问题，以提高AI模型的可靠性和可解释性，从而更好地服务于人类社会。
二、解决“AI幻觉”难题任重道远
随着人工智能技术的广泛应用，“AI幻觉”问题日益引起人们的担忧。例如，谷歌最近发布的聊天机器人 Bard 在描述詹姆斯·韦伯太空望远镜时出现错误描述。另外，ChatGPT在一份文件中引用了“不存在的”案件，律师在询问ChatGPT时也受到了误导。这些案例突显了“AI幻觉”问题的严重性和潜在后果。
OpenAI的新的训练方法引起了广泛讨论，但也有人对其提出质疑。电子隐私信息中心的高级顾问Ben Winters对该方法表示怀疑，认为需要进一步检查完整的数据集和示例才能确定其实际效果。布朗大学技术责任中心主任Suresh Venkatasubramanian认为，这项研究目前更多是初步观察，并缺乏相关证据支持。
三、在强调 ChatGPT局限性方面，OpenAI做得还不够
尽管OpenAI意识到 ChatGPT 的“AI幻觉”问题，但在强调ChatGPT的局限性方面还有待加强。OpenAI在ChatGPT主页上发布了一条警告，提醒用户可能会出现不正确的信息。然而，这样的警告对于ChatGPT这样一个容易被误解的强大技术成果来说还不够。OpenAI 应该投入更多精力明确强调 ChatGPT 无法稳定区分事实和“幻觉”。
一些人被ChatGPT的“胡说八道”所愚弄，这引发了广泛关注。虽然大多数案例没有造成严重后果，但个别案例的错误信息可能带来严重的后果。因此，人们应该足够重视这类 AI产品的局限性，并加强对其使用的合理性审查。
OpenAI的努力在于提高 ChatGPT的透明度和准确性。他们已经开始向用户强调模型的局限性，并努力改进其回答的一致性。然而，仍然需要更多的工作来解决这些问题。
为了应对“AI幻觉”，OpenAI提出了新的训练方法，即过程监督。这种方法奖励模型在推理过程中的每个正确步骤，而不仅仅是最终结论。通过鼓励模型遵循人类思维方法链，过程监督方法可能提高AI输出的可解释性。
尽管OpenAI的训练方法被视为一种解决方案，但仍然存在一些质疑。一些专家指出，仅靠这种方法可能不足以显著降低AI生成错误信息和不正确结果的问题。此外，他们还关注研究成果是否会全面纳入产品，并担心模型选择性地向公众发布信息。
对于 ChatGPT的用户来说，他们也需要加强对其局限性的认识。用户在使用AI产品时应当保持警觉，并谨慎验证其提供的信息。虽然ChatGPT可以在某些任务中发挥巨大作用，但其局限性需要引起足够的重视。
此外，媒体也应当承担起报道责任，准确传达AI产品的局限性和风险。只有通过共同的努力，才能建立一个更加可信赖和可解释的AI环境。
总之，OpenAI正在努力解决“AI幻觉”问题，并提出了新的训练方法。然而，这只是解决方案的一部分，仍然需要更多的工作来改进AI的透明度和准确性。用户和媒体也需要增强对AI产品局限性的认识，并采取相应的措施来验证和审查其输出信息。只有这样，才能建立一个更加可靠和负责任的AI生态系统。
2024-4-15
2024-4-12
2024-4-03
2024-3-24
2024-3-24
2024-3-19
2024-3-08
2024-3-07
2024-3-01
2024-3-01