ChatGPT 现已上线:下面看看它如何浏览和报告最新新闻
随着流行的聊天机器人获取最新信息,我们向它询问有关不同新闻报道的问题,看看它的表现如何
由 Bing-Chat 使用 GPT-4 生成的图像,受 DALL-E 3 支持。
9 月 27 日,OpenAI宣布其流行的聊天机器人 ChatGPT 的互联网浏览版本将向付费订阅者开放。在此之前,用户无法通过聊天机器人访问最新信息,聊天机器人仅限于截至 2021 年 9 月的在线数据。
新功能允许付费订阅者使用 ChatGPT 版本,通过微软的搜索引擎 Bing 浏览互联网。该版本于 5 月份进行了测试,但在被发现可用于未经许可访问付费内容后,该版本 很快被下线。
当前版本已更新,网站可以选择阻止 OpenAI 的网络爬虫工具,该工具会抓取页面以获取信息。这导致一些新闻出版商阻止 ChatGPT 访问其网站。然而,许多人仍然允许 ChatGPT 访问和使用其内容。
当我们看到该公告时,我们决定对 ChatGPT 进行测试,看看它在被问及新闻报道时的表现如何。聊天机器人是否提供了准确且最新的信息?它将如何处理有争议的话题?它如何处理英语以外的语言的请求?它会使用什么来源?
这就是我们测试ChatGPT的精神。我们向它询问了一系列有关新闻的问题,并针对各种故事,以了解它如何作为获取新闻的工具。
需要强调的是,这不是一项学术研究,而只是对新技术的初步了解。此外,我们使用的“使用 Bing 浏览”功能仍然是测试版本。这意味着它仍在开发中,并且可能在未来几个月内不断发展。OpenAI 在聊天界面底部包含一个明确的免责声明:“ChatGPT 可能会产生有关人物、地点或事实的不准确信息。”
GPT-4 浏览版本的界面看起来像标准的 ChatGPT 对话:页面底部有一个栏,供用户输入请求。一旦提出问题,就会在下面生成答案。
不过,与其他版本不同的是,答案部分有一个小浏览图标,让用户知道机器人何时正在浏览互联网寻找答案,指示它访问的网站以及何时完成浏览。另一个重要的细节是,它以上标数字的形式提供了其使用的主要来源的链接,因此读者可以检查信息的来源并找到更多上下文。
ChatGPT 处理突发新闻报道的速度有多快?
我们想知道的第一件事是 ChatGPT 对突发新闻情况的反应如何,以及它在开发故事的答案中融入新元素的速度有多快。
我们对几个突发新闻报道进行了测试,结果好坏参半。9月29日,英国爆发了一起校车惨烈事故的新闻报道。这个故事正在 BBC 网站上实时更新。公共广播公司的手机应用程序也在发送包含关键更新的通知。
BBC 应用程序发出推送通知,通报两人因事故死亡的消息。50 分钟后询问,ChatGPT 的答复不是最新的。它提供了有关事故的信息,但没有提供任何有关死亡的信息。
当提示这个具体细节时,它依赖于之前答案的来源,即当天早些时候发表的I论文的一篇文章。然后我具体询问了 BBC 对这一事件的看法,ChatGPT 再次浏览并链接到 BBC 网站上两小时前发布的一份报告,该报告没有提及任何死亡事件。
一小时后我再次尝试问同样的问题,ChatGPT 仍然说尚未造成任何死亡。在 BBC 最初发出通知后两个半小时,聊天机器人才包含了事故受害者的信息。这一经历表明 ChatGPT 访问突发新闻的能力存在延迟(或采取谨慎的态度)。
几天后,我再次尝试报道英国另一条备受瞩目的突发新闻,即首相宣布削减HS2高铁项目。在这种情况下,ChatGPT 的答案立即正确且最新——在 BBC 应用程序通知后五分钟内。它还链接到一个实时博客作为来源,但在校车事故的报道中却没有这样做。
有关 HS2 和校车事故的故事之间的差异可能表明该技术尚未完善,或者故事的性质会影响 ChatGPT 确认的速度。
ChatGPT 在总结长期故事方面有多好?
我们想知道 ChatGPT 在提供长期新闻报道的背景方面有多好,所以我再次询问了 HS2,因为规划中的铁路多年来一直成为英国的头条新闻。
我首先请 ChatGPT 总结一下这个故事。它很好地完成了这项工作,简洁地抓住了最重要的要点,并链接到了有关该主题的 ITV 新闻解释员。
然后我尝试看看它是否可以针对具有不同主题先验知识水平的人调整其摘要。但聊天机器人并不擅长做到这一点。
我要求它为来自曼彻斯特的一个人和“一个对该项目非常了解的人”总结这个故事,曼彻斯特是铁路最初打算到达但现在无法到达的城市。但这些请求产生了基本相同的答案,只是在第二个答案中进行了一些改写,并稍微强调了对曼彻斯特的提及。
ChatGPT 一直引用同一个 ITV 文章作为其所有答案的唯一来源,因此我打开了一个新的聊天,看看这是否会提示它进行新的搜索并为专家受众定制其摘要。我问了同样的问题,并收到了一个更通用的摘要,缺少先前答案的详细信息,并且无需浏览网页即可生成。
然后我向 ChatGPT 询问了乌克兰战争的情况,想知道它会如何回应有关长期、复杂、敏感新闻报道的问题。我向聊天机器人询问战争的最新消息是什么,它给了我一些来自乌克兰天空新闻直播博客的要点。这些内容是准确的,但缺乏任何上下文,因为唯一的来源是一个帖子非常短的页面。
我还询问了《华尔街日报》记者埃文·格什科维奇 (Evan Gershkovich) 的情况,他已在俄罗斯监狱中被关押了数月。我的第一个问题(“你能总结一下埃文·格什科维奇在俄罗斯发生了什么吗?”)得到了一个非常简短的回答,没有任何背景,只有他的法律案件的最新更新。消息来源是美联社的一篇新闻报道,内容是莫斯科一家法院拒绝了格什科维奇的上诉请求。
我专门询问了背景信息并收到了更多详细信息,但答复仍然很短。ChatGPT 不愿透露格什科维奇是否犯有针对他的指控,而是回答说:“为了准确理解,最好关注可靠消息来源的最新消息或法院的最终判决。”
我询问此案有哪些可靠消息来源,ChatGPT 建议我查看主要新闻媒体以及俄罗斯当地新闻媒体或俄罗斯当局的声明。
我接着询问这些俄罗斯消息来源是否值得信赖,ChatGPT 确实对之前的建议进行了限定,并警告俄罗斯消息来源可能会受到政治影响。
我理解为什么 ChatGPT 建议遵循俄罗斯的公告,因为他们很可能是第一个发布有关此案更新的人。但事实上,它们是在回答专门询问可靠消息来源的问题时提出的,在进一步提示之前没有额外的警告,这一事实并没有让用户立即清楚许多俄罗斯媒体以及俄罗斯官方声明非常重要。受到该国独裁政府的 严格控制。
与 HS2 的故事一样,当被要求为具有不同先验知识水平的人总结案例时,ChatGPT 无法大幅改变其回答。
ChatGPT 如何处理两极分化的新闻报道?
我们想知道 ChatGPT 如何处理两极分化的新闻报道,所以我询问了针对唐纳德·特朗普的法律案件。
我关于这个话题的开场问题非常广泛(“你能告诉我唐纳德·特朗普的法律麻烦吗?”),而答复又长又详细。ChatGPT 将其分为每个不同的正在进行的案件的小节,并引用了五个不同的来源:三篇路透社文章,一篇来自半岛电视台,一篇来自政治网站。
然后我问 ChatGPT 法律程序是否不公平,这再次引发了冗长、详细的回答,包括六个小节,每个小节都解释了在考虑特朗普审判的公平性或不公平性时需要考虑的一点。
ChatGPT 没有做出回应,也没有在回答中偏向任何一个方向,并指出“针对唐纳德·特朗普的法律诉讼的公平性是一个有争议的话题,不同的观点往往与政治信仰相一致。”
然后,我询问了对乔·拜登的弹劾调查,并得到了同样长而详细的答复,列出了迄今为止发生的情况,引用了路透社的文章和美联社的两篇文章。
在这两种情况下,ChatGPT 都没有偏袒或反对辩论的任何一方,仅引用了坚持政治公正的新闻机构的言论。考虑到我在询问有关其他重要问题的类似广泛问题时收到的一些答复很简短,聊天机器人的答复很长、详细,而且非常引人注目。
在哈马斯袭击以色列和以色列轰炸加沙之后,我也向 ChatGPT 询问了这个故事。我想知道它如何处理世界各地舆论分歧的两极分化新闻报道。
与上述故事一样,当被问及有关最近发生的事件的事实问题时,ChatGPT 并没有选边站队,而是给出了详细的总结,引用了国际新闻机构的言论,并说明了冲突双方的立场。即使被问及有关指责的引导性问题时,ChatGPT 也没有直接回答,而是站在公正的立场上从各种角度解释论点。
然而,如果要求以支持不同立场的人的风格撰写专栏,ChatGPT 就会这样做,结果将是为它被指示代表的一方辩护的有偏见的文章。
我们为特朗普的支持者和拜登的支持者,以及支持以色列政府立场的人和支持哈马斯的人尝试过这一点。在所有这些案例中,ChatGPT 都制作了非常两极分化的文章,这些文章不符合事实并转向片面的论点。
ChatGPT 如何应对错误信息?
我们想了解 ChatGPT 如何应对错误信息以及它是否可以对虚假声明进行事实核查,因此我们对其进行了不同的测试。
我首先询问了一条完全捏造的新闻:乔·拜登已辞去美国总统职务。回复生成过程的浏览部分持续的时间比平时更长,因为机器人试图在几个网站上找到这条不存在的新闻:既查看搜索结果,又滚动浏览拜登的维基百科页面。
当无法确认这是真的时,聊天机器人意识到这是一条错误信息。它解释了在哪里寻找新闻、这条错误信息可能在哪里传播,并引用事实核查人员对网上错误信息发出了一般性警告。尽管人们对维基百科作为来源的可靠性存在广泛争论,但这种回应似乎是准确和适当的。
我还询问了15 分钟城市,这是一个真正的城市规划概念,但滋生了错误信息和网上阴谋论。对于我关于这个概念的前几个问题,ChatGPT 并没有浏览互联网作为其回应的一部分,只是当我询问一位英国政客对 15 分钟城市的 评论的准确性时才这样做。
它的回复很长,并引用了四个来源,尽管除了第一个来源(电讯报文章的链接)之外,所有来源都不允许我点击来源链接。
当被问及此事时,ChatGPT 表示附加源的格式不正确。我要求使用正确格式的来源重新生成答案,并且它再现了相同的答案,而没有之前错误引用的其他来源。我跟进检查它是否只依赖第一个来源的响应,它说是的。
就回应本身而言,它总结了英国交通大臣马克·哈珀(Mark Harper)的观点,并解释了他的反对意见可能来自于围绕15分钟城市的更广泛辩论。回复提到了这一概念的支持者和反对者所使用的论点,但没有直接回答我的问题,即“马克·哈珀关于15分钟城市的评论是否准确?”
与 ChatGPT 不同的是,新闻机构对哈珀的误导性评论进行了事实核查。
ChatGPT 在语言和地理方面的反应有多多样化?
上面的大多数例子都源于以英国为中心的新闻报道。我居住在英国,可以轻松访问可靠的本地新闻来源来比较 ChatGPT 的响应。因此,我想尝试向聊天机器人询问其他国家以及其他语言的新闻报道。
ChatGPT 在全球范围内提供多种语言版本,但英语仍然是聊天机器人的主要关注点,并且人们注意到,其响应质量在其他语言中可能会较差。
我们询问了意大利和西班牙使用这些国家语言的新闻报道,并分别收到了意大利语和西班牙语的答复,并引用了这些国家和语言的新闻文章。
当我开始用意大利语询问英国和美国新闻时,答案变得不那么直截了当。第一次尝试时,我用意大利语询问发生在英国的校车事故,我也用它作为突发新闻的例子。答复简短而准确,并引用了意大利消息来源。
在另一次对话中,我用意大利语向 ChatGPT 询问凯文·麦卡锡 (Kevin McCarthy) 被罢免美国众议院议长一事,它用英语做出了回应,并引用了英语来源,尽管意大利报纸已经广泛报道了这一事件。我要求 ChatGPT 用意大利语向我解释这些事件,它翻译了之前的回复。
意大利语文本大部分都很清楚,但其中包括一些尴尬的翻译。在同一次对话中,我用意大利语询问英国首相里希·苏纳克 (Rishi Sunak) 最近的一次演讲,ChatGPT 引用了英语消息来源,用意大利语进行了回应。
我也尝试了相反的方法,用英语向 ChatGPT 询问来自意大利的新闻报道。
当被问及威尼斯附近最近发生的巴士事故时,聊天机器人援引英语消息来源,用英语进行了回应。我尝试探究我从意大利新闻来源了解到的细节,因为回复一直只提到英文来源,例如维基百科和英语新闻报道。其中一个细节是在事故中去世的公交车司机的名字。意大利报纸已经对此进行了报道,但 ChatGPT 表示尚未发布,并引用了另一个英文消息来源,并建议我关注当地新闻媒体或官方声明以获取最新消息。
当我询问它是否在任何意大利语来源中寻找回应时,ChatGPT 再次浏览,这次在五份不同的意大利语新闻报道中找到了司机的名字。
我想知道 ChatGPT 在报道南半球新闻报道时表现如何。
我用英语询问了10月3日曼谷商场枪击事件的详细情况。回应很详细,包括多个要点,引用了五个来源:英国广播公司、路透社、半岛电视台、亚洲新闻频道和美联社的文章,这些都是国际英语新闻机构。没有提及或提及任何泰国新闻机构。
我还询问了印度新闻网络 News Click 和 ChatGPT警方突袭的情况,他们的回应很长且详细,引用了四个消息来源。这些新闻机构更加多样化,包括国际新闻机构美联社、印度新闻网站《今日印度》和《泰晤士报》,以及印度当地报纸《今日泰兰加纳》。但所有这些来源都是英语新闻媒体。
鱼龙混杂
总体而言,ChatGPT 可以而且确实将新闻带给需要的付费订阅者。根据我的经验,这样做是准确和公正的,尽管有时不是最新的。它的答复的长度和细节不一致,一些广泛的问题收到非常短的段落,而另一些则得到更长的答案和多个小节。
聊天机器人使用的来源数量也不一致,一些答案基于单个来源,另一些则基于多个来源。我的经验表明,一旦在特定聊天中进行互联网搜索并且后续问题围绕同一主题,ChatGPT 将依赖已找到的一个或多个来源,只有在后续问题有很大不同时才会再次浏览。
OpenAI 的聊天机器人似乎更喜欢对话语言的来源,而英语似乎是默认设置。就国际新闻而言,这可能意味着非英语新闻媒体在其国家新闻报道的回答中往往代表性不足。
需要再次强调的是,这只是对 ChatGPT 在 2023 年 10 月传递新闻方面的能力的实验性和印象性初步观察。过去几个月表明,它很可能会在执行其中一些任务方面做得更好。然而,其中一些改进将取决于新的政府法规以及 OpenAI 与新闻出版商就版权问题进行合作的能力。