生成式人工智能无法发现自己​​的错误。我们需要更好的提示吗?

闪电发卡1年前ChatGPT960

摘要 AI 深度学习

深度学习人工智能领域,特别是“大型语言模型”领域,正在试图确定为什么程序会出现错误,通常被称为“幻觉”。

谷歌的 DeepMind 部门在最近的一份报告中解决了这个问题,将这个问题描述为一个悖论:如果一个大型语言模型可以想象地“自我纠正”,意思是找出它出错的地方,为什么它不给出正确的答案首先?

DeepMind 的科学家认为,最近的人工智能文献充满了自我纠正的概念,但当你仔细观察时,它们并没有真正起作用。 

DeepMind 的 Jie Huang 及其同事在 arXiv 预印本服务器上发布的论文《大型语言模型尚无法自我纠正推理》中写道:“法学硕士还没有能力自我纠正推理。”

黄和团队认为自我校正的概念并不是一个新事物,而是机器学习人工智能领域长期存在的研究领域。他们认为,由于机器学习程序(包括GPT-4等大型语言模型)使用一种通过反馈进行纠错的形式,即通过梯度下降进行反向传播,因此自我纠正长期以来一直是该学科固有的。 

他们写道:“自我纠正的概念可以追溯到机器学习和自适应系统的基本原理。” 正如他们所指出的,近年来,通过征求与程序交互的人类的反馈,自我纠正据称得到了增强,最好的例子是 OpenAI 的 ChatGPT,它使用了一种称为“根据人类反馈进行强化学习”的技术。

最新的发展是使用提示让 ChatGPT 等程序返回其生成的答案并检查它们是否准确。黄和团队对那些声称让生成人工智能运用理性的研究提出了质疑。

这些研究包括 加州大学欧文分校今年的一项研究和东北大学今年的另一项研究,这两项研究都根据小学数学应用题等问题回答的基准测试大型语言模型。 

这些研究试图通过使用特殊的提示短语来进行自我纠正,例如“回顾你之前的答案并发现你的答案中的问题”。

这两项研究都报告了使用额外提示后测试性能的提高。然而,在当前的论文中,黄和团队使用OpenAI 的 GPT-3.5 和 GPT-4重新创建了这些实验,但有一个关键的区别:他们删除了告诉程序何时停止寻求答案的真实标签,以便它们可以观察当程序一次又一次地重新评估其答案时会发生什么。 

他们观察到,平均而言,问题回答变得更糟,而不是更好。他们观察到:“该模型更有可能将正确答案修改为错误答案,而不是将错误答案修改为正确答案。” “造成这种情况的主要原因是,错误的答案选项 [...] 通常看起来与问题有些相关,并且使用自我更正提示可能会导致模型偏向于选择另一个选项,从而导致较高的‘正确 ⇒ 错误’比率。”

换句话说,在没有线索的情况下,简单地重新评估弊大于利。正如他们所说,“诸如‘查看您之前的答案并发现答案中的问题’之类的反馈提示并不一定能为推理提供切实的好处。” 

DeepMind 正确和错误示例

像 GPT-4 这样的大型语言模型应该能够检查其答案中的错误并进行调整以回到正轨。DeepMind 科学家表示,这在实践中不一定有效。GPT-4 成功自我纠正的示例(左)和未能正确自我纠正的示例(右)。

深度思维黄和团队的结论是,与其提供反馈提示,不如投入更多的工作来完善最初的提示。他们写道:“一种更具成本效益的替代策略是将这些要求直接(明确地)嵌入到事前提示中,而不是在事后提示中将这些要求作为反馈。”回答。 

他们得出结论,自我纠正并不是万能药。在修复程序输出的许多其他方法中,应考虑使用诸如外部正确信息源之类的东西。他们总结道:“期望这些模型能够内在地认识到并纠正其错误可能过于乐观,至少在目前的技术水平下是如此。”



相关文章

ChatGPT与律师行业:人工智能如何优化客户沟通

在如今这个科技日新月异的时代,人工智能(AI)正在逐渐渗透到各行各业,改变着我们的生活和工作方式。作为一名专注于科普的博客博主,我今天要和大家聊聊AI在律师行业中的应用,尤其是如何通过ChatGPT优...

ChatGPT交卷2024年高考新课标I卷语文关于AI方面的作文试题

2024年新课标I卷作文试题:阅读下面的材料,根据要求写作。(60分)随着互联网的普及、人工智能的应用,越来越多的问题能很快得到答案。那么,我们的问题是否会越来越少?以上材料引发了你怎样的联想和思考?...

GPT4.0 4o、o1、o3账号长期使用心得:ChatGPT高效率应用的全过程

闪电发卡ChatGPT和Claude产品推荐: ChatGPT Pro共享账号 ChatGPT Pro独享账号 Claude Pro & ChatGPT Plus & Mi...

探索ChatGPT在电商客户支持中的智能对话功能

在今天这个数字化时代,电商行业已经成为我们生活中不可或缺的一部分。从日常购物到特别节日的礼物,我们都依赖于各种电商平台。然而,随着电商业务的不断扩展,客户支持的需求也在迅速增加。面对大量的客户咨询和复...

AI大模型在医疗领域的创新应用:未来已来

随着科技的快速发展,人工智能(AI)已经逐渐渗透到我们生活的方方面面,其中一个最具革命性和前景的应用领域便是医疗。尤其是近年来,AI大模型在医疗领域的创新应用让我们看到了未来医疗的无限可能性。 首先,...

被玩坏的ChatGPT之初体验:VS Code上的ChatGPT插件

被玩坏的ChatGPT之初体验:VS Code上的ChatGPT插件

ChatGPT持续火爆,随着使用的人越来越多,其被挖掘的使用场景也越来越多,现在已经有许多开发者尝试使用ChatGPT用于编程协助。而VS Code上,也出现多款chatGPT插件。在今天的文章中,我...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。