生成式人工智能无法发现自己​​的错误。我们需要更好的提示吗?

闪电发卡1年前ChatGPT802

摘要 AI 深度学习

深度学习人工智能领域,特别是“大型语言模型”领域,正在试图确定为什么程序会出现错误,通常被称为“幻觉”。

谷歌的 DeepMind 部门在最近的一份报告中解决了这个问题,将这个问题描述为一个悖论:如果一个大型语言模型可以想象地“自我纠正”,意思是找出它出错的地方,为什么它不给出正确的答案首先?

DeepMind 的科学家认为,最近的人工智能文献充满了自我纠正的概念,但当你仔细观察时,它们并没有真正起作用。 

DeepMind 的 Jie Huang 及其同事在 arXiv 预印本服务器上发布的论文《大型语言模型尚无法自我纠正推理》中写道:“法学硕士还没有能力自我纠正推理。”

黄和团队认为自我校正的概念并不是一个新事物,而是机器学习人工智能领域长期存在的研究领域。他们认为,由于机器学习程序(包括GPT-4等大型语言模型)使用一种通过反馈进行纠错的形式,即通过梯度下降进行反向传播,因此自我纠正长期以来一直是该学科固有的。 

他们写道:“自我纠正的概念可以追溯到机器学习和自适应系统的基本原理。” 正如他们所指出的,近年来,通过征求与程序交互的人类的反馈,自我纠正据称得到了增强,最好的例子是 OpenAI 的 ChatGPT,它使用了一种称为“根据人类反馈进行强化学习”的技术。

最新的发展是使用提示让 ChatGPT 等程序返回其生成的答案并检查它们是否准确。黄和团队对那些声称让生成人工智能运用理性的研究提出了质疑。

这些研究包括 加州大学欧文分校今年的一项研究和东北大学今年的另一项研究,这两项研究都根据小学数学应用题等问题回答的基准测试大型语言模型。 

这些研究试图通过使用特殊的提示短语来进行自我纠正,例如“回顾你之前的答案并发现你的答案中的问题”。

这两项研究都报告了使用额外提示后测试性能的提高。然而,在当前的论文中,黄和团队使用OpenAI 的 GPT-3.5 和 GPT-4重新创建了这些实验,但有一个关键的区别:他们删除了告诉程序何时停止寻求答案的真实标签,以便它们可以观察当程序一次又一次地重新评估其答案时会发生什么。 

他们观察到,平均而言,问题回答变得更糟,而不是更好。他们观察到:“该模型更有可能将正确答案修改为错误答案,而不是将错误答案修改为正确答案。” “造成这种情况的主要原因是,错误的答案选项 [...] 通常看起来与问题有些相关,并且使用自我更正提示可能会导致模型偏向于选择另一个选项,从而导致较高的‘正确 ⇒ 错误’比率。”

换句话说,在没有线索的情况下,简单地重新评估弊大于利。正如他们所说,“诸如‘查看您之前的答案并发现答案中的问题’之类的反馈提示并不一定能为推理提供切实的好处。” 

DeepMind 正确和错误示例

像 GPT-4 这样的大型语言模型应该能够检查其答案中的错误并进行调整以回到正轨。DeepMind 科学家表示,这在实践中不一定有效。GPT-4 成功自我纠正的示例(左)和未能正确自我纠正的示例(右)。

深度思维黄和团队的结论是,与其提供反馈提示,不如投入更多的工作来完善最初的提示。他们写道:“一种更具成本效益的替代策略是将这些要求直接(明确地)嵌入到事前提示中,而不是在事后提示中将这些要求作为反馈。”回答。 

他们得出结论,自我纠正并不是万能药。在修复程序输出的许多其他方法中,应考虑使用诸如外部正确信息源之类的东西。他们总结道:“期望这些模型能够内在地认识到并纠正其错误可能过于乐观,至少在目前的技术水平下是如此。”



相关文章

Transformer教程之序列到序列模型(Seq2Seq)

闪电发卡ChatGPT产品推荐:ChatGPT独享账号:https://www.chatgptzh.com/post/86.htmlChatGPT Plus独享共享账号购买代充:https://www...

国内用户必读:ChatGPT Plus 4.0订阅充值与会员升级详细教程

闪电发卡ChatGPT产品推荐:ChatGPT独享账号:https://www.chatgptzh.com/post/86.htmlChatGPT Plus独享共享账号购买代充:https://www...

自注意力层(Self-Attention Layer)- Transformer教程

闪电发卡ChatGPT产品推荐: ChatGPT独享账号:https://www.chatgptzh.com/post/86.html ChatGPT Plus独享共享账号购买代充:https:/...

OpenAI 推出支持 ChatGPT 的 Dall-E 3 艺术生成器

OpenAI 推出支持 ChatGPT 的 Dall-E 3 艺术生成器

由 AI (Dall-E 3) 生成的图像。图片来源:OpenAI该公司声称 Dall-E 3 可以比以前的系统理解更多的细微差别和细节,尽管围绕人工智能生成的艺术仍然存在版权问题。继其他生成式 AI...

Suno账号代充:30刀会员的最佳选择

Suno独享账号购买 在当今数字时代,流媒体服务成为了我们日常生活中不可或缺的一部分。从聆听音乐、观看视频到玩游戏,订阅服务涵盖了方方面面。而在诸多的流媒体服务中,Suno无疑是一个值得关注的平台。对...

ChatGPT在教育中的创新应用:改变人工智能教学方式

近年来,随着人工智能(AI)技术的飞速发展,ChatGPT作为一种先进的语言模型,正逐渐改变我们的教育方式。你可能会问,一个“聊天机器人”真的能在教育中发挥作用吗?答案是肯定的,而且效果还相当令人惊讶...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。