幻觉-ChatGPT致命缺陷
ChatGPT 以其知识的深度和响应的流畅性令世界惊叹，但有一个问题阻碍了它的实用性：它一直在产生幻觉（hallucination）。
是的，大型语言模型 (LLM) 会产生幻觉，这是谷歌 AI 研究人员在 2018 年推广的一个概念。这种情况下的幻觉是指生成的文本中在语义或句法上看似合理但实际上不正确或无意义的错误。 简而言之，你不能相信机器告诉您的内容。
这就是为什么，虽然 OpenAI 的 Codex 或 Github 的 Copilot 可以编写代码，但有经验的程序员仍然需要审查输出——批准、纠正或拒绝它，然后再允许它进入可能造成严重破坏的代码库。
高中老师也在学习同样的东西。 ChatGPT 撰写的读书报告或历史论文可能读起来轻而易举，但很容易包含学生懒得根除的错误“事实”。
幻觉是一个严重的问题。 比尔·盖茨 (Bill Gates) 曾设想，ChatGPT 或类似的大型语言模型有朝一日可以为无法就医的人提供医疗建议。 但是你不能相信来自容易产生幻觉的机器的建议。
1、OpenAI 正在努力修复 ChatGPT 的幻觉
OpenAI 的首席科学家和 ChatGPT 的创始人之一 Ilya Sutskever 表示，他相信随着大型语言模型学会将其响应锚定在现实中，这个问题会随着时间的推移而消失。 OpenAI 开创了一种技术，使用一种称为强化学习与人类反馈 (RLHF) 的技术来塑造其模型的行为。
RLHF 由 OpenAI 和谷歌的 DeepMind 团队于 2017 年开发，作为在任务涉及复杂或定义不明确的目标时改进强化学习的一种方式，从而难以设计合适的奖励函数。 让一个人定期检查强化学习系统的输出并提供反馈，即使奖励功能被隐藏，强化学习系统也能学习。
ChatGPT 以其知识的深度和响应的流畅性令世界惊叹，但有一个问题阻碍了它的实用性：它一直在产生幻觉。
是的，大型语言模型 (LLM) 会产生幻觉，这是谷歌 AI 研究人员在 2018 年推广的一个概念。这种情况下的幻觉是指生成的文本中在语义或句法上看似合理但实际上不正确或无意义的错误。 简而言之，您不能相信机器告诉您的内容。
这就是为什么，虽然 OpenAI 的 Codex 或 Github 的 Copilot 可以编写代码，但有经验的程序员仍然需要审查输出——批准、纠正或拒绝它，然后再允许它进入可能造成严重破坏的代码库。
高中老师也在学习同样的东西。 ChatGPT 撰写的读书报告或历史论文可能读起来轻而易举，但很容易包含学生懒得根除的错误“事实”。
幻觉是一个严重的问题。 比尔·盖茨 (Bill Gates) 曾设想，ChatGPT 或类似的大型语言模型有朝一日可以为无法就医的人提供医疗建议。 但是你不能相信来自容易产生幻觉的机器的建议。
对于 ChatGPT，在其交互过程中收集的数据用于训练充当“奖励预测器”的神经网络，该神经网络审查 ChatGPT 的输出并预测一个数值分数，该分数表示这些动作与系统所需行为的一致性——在这种情况下， 事实或准确的回答。
人工评估员会定期检查 ChatGPT 响应并选择最能反映所需行为的响应。 该反馈用于调整奖励预测神经网络，更新后的奖励预测神经网络用于调整 AI 模型的行为。 此过程在迭代循环中重复进行，从而改进行为。 Sutskever 相信这个过程最终会教会 ChatGPT 提高其整体性能。
2、幻觉可能是大型语言模型所固有的
但深度学习和大型语言模型中使用的自监督学习的先驱 Yann LeCun 认为，大模型存在导致幻觉的更根本的缺陷。
“大型语言模型不知道语言描述的潜在现实，”他说，并补充说大多数人类知识都是非语言的。 “这些系统生成的文本在语法和语义上听起来都不错，但除了满足与提示的统计一致性之外，它们并没有真正的某种目标。”
人类根据许多从未被记录下来的知识进行操作，例如通过观察或经验获得的社区内的习俗、信仰或实践。 熟练的工匠可能对他们的手艺有默契的知识，这些知识从未被记录下来。
“语言建立在我们共同拥有的大量背景知识之上，我们称之为常识，”LeCun 说。 他认为计算机需要通过观察来学习以获得这种非语言知识。
LeCun 说：“他们的聪明程度和准确性是有限度的，因为他们没有现实世界的经验，而这实际上是语言的潜在现实。” “我们学到的大部分内容与语言无关。”
另一位深度学习先驱杰夫·辛顿 (Geoff Hinton) 说：“我们学习如何投篮球，让它穿过篮筐。” “我们根本不使用语言来学习。 我们从反复试验中学习。”
但 Sutskever 认为文本已经表达了世界。 他说：“我们的预训练模型已经了解了他们需要了解的关于潜在现实的一切，”并补充说，他们还对产生语言的过程有深入的了解。
他认为，虽然通过视觉直接观察学习可能会更快，但考虑到用于训练像 ChatGPT 这样的 LLM 的数十亿单词的数量，即使是抽象的想法也可以通过文本来学习。
神经网络通过称为嵌入的机器可读格式来表示单词、句子和概念。 嵌入将高维向量（捕获其语义含义的长数字串）映射到低维空间，即更易于分析或处理的较短数字串。
Sutskever 解释说，通过查看这些数字串，研究人员可以了解模型如何将一个概念与另一个概念联系起来。 他说，模型知道像紫色这样的抽象概念与蓝色比与红色更相似，并且它知道橙色与红色比与紫色更相似。 “它只从文本中就知道所有这些事情，”他说。 虽然从视觉中学习颜色的概念要容易得多，但仍然可以仅从文本中学习，只是速度较慢。
是否可以通过人工反馈的强化学习来消除不准确的输出还有待观察。 目前，大型语言模型在生成精确输出方面的用处仍然有限。
“我们学到的大部分内容与语言无关。”
Diffblue 的 CEO Mathew Lodge 是一家使用强化学习自动为 Java 代码生成单元测试的公司，他说：“强化系统本身只占运行成本的一小部分，而且可以比 LLM 准确得多，以至于 有些可以在最少的人工审查下工作。”
Codex 和 Copilot 都基于 GPT-3，生成可能的单元测试，有经验的程序员必须在确定哪个有用之前审查和运行这些单元测试。 但 Diffblue 的产品无需人工干预即可编写可执行的单元测试。
Lodge 说：“如果你的目标是使用 AI 大规模地自动化复杂、容易出错的任务——比如为一个没有人理解的程序编写 10,000 个单元测试——那么准确性就非常重要。” 他同意 LLM 可以很好地进行随心所欲的创造性互动，但他警告说，过去十年告诉我们，大型深度学习模型是高度不可预测的，使模型更大、更复杂并不能解决这个问题。 “最好在错误和幻觉影响不大时使用大型语言模型，”他说。
尽管如此，Sutskever 表示，随着生成模型的改进，“从文本的角度来看，它们将对世界及其许多微妙之处有惊人的理解。”
原文链接：Hallucinations Could Blunt ChatGPT’s Success
BimAnt翻译整理，转载请标明出处