ChatGPT产品原理深度介绍,以及社会各界将如何应对
3月15日凌晨1点,OpenAI宣布正式推出ChatGPT4.0,这是其AI语言模型系列中的最新产品,也向全球科技界投下了一枚核弹。第二天,百度文心一言发布,承载着中国生成式AI产品的希望,但是正如百度董事长李彦宏所说,这款产品并不完美。
这样的差距引发了学界和业界的讨论,因为就在五年前,中国和美国的人工智能发展似乎差距缩小到了一个程度。
2018年清华大学中国科技政策研究中心发布了《中国人工智能发展报告2018》(以下简称“报告”),彼时报告提出,中国在论文总量和被引论文数量上都排在世界第一,专利数量排名第二,中国人工智能企业数量位列世界第二,中国人工智能领域的投融资占到了全球的60%,成为全球最“吸金”的国家。
“现在专利数量也排名第一了”,当时主持编撰该报告的梁正介绍。梁正现任清华大学公共管理学院教授、人工智能治理研究中心主任,他一直致力于研究科技政策、创新管理等领域,曾担任国家创新调查制度咨询专家组专家,《国家中长期科学和技术发展规划纲要(2006-2020年)》实施情况中期评估专家组专家,参与完成国家中长期科技发展规划战略研究。
在梁正看来,彼时出台的报告实际上更希望强调的是中国人工智能领域仍需要努力的方向,比如在核心技术如芯片和底层架构方面的力量依然十分薄弱、顶尖人才缺乏,与发达国家特别是美国的差距还十分明显等。“但在当时的产业氛围中,大家更关注的是我们已经取得的成绩”,梁正说,在当时机器视觉等细分领域,中国企业在国际竞赛和产业应用两端取得了显著优势。
就在报告发布的前一年,即2017年,谷歌发表了论文《AttentionisAllYouNeed》,提出了一个新的学习框架Transformer。由此,人工智能开始进入大模型时代。
在自然语义处理领域,这一框架取得了非常好的效果,OpenAI连续迭代的GPT即是基于这一新的学习框架。
五年时间过去,从目前的成果发布现状来看,在这场新的人工智能竞赛中,中国尚未如2018年一样,有并驾齐驱之感,从某种直观的体验上,中美的差距似乎被“拉大了”。
在梁正看来,2018年实际上还只是个别领域的成绩突破,本质上是在别人的架构和数据集基础上,在一些应用场景上的突破,并不意味着中国在人工智能领域取得了全局性的优势。但今天也不意味着中国人工智能掉队了,在人工智能领域,中国产业和学术界依然在稳步前进,在一些领域仍然有自己的优势。
从2017年国家出台新一代人工智能发展规划开始,中国人工智能研发在“集中力量办大事”和“市场主导的产业落地”两端都很有力度,但似乎如中国工程院院士李国杰所说的那样,国内AI研究存在“顶不了天、落不了地”的情况,尽管有很多被引用次数很多的论文,数量也颇高,但与真正的“成果”还有距离;而国内人工智能头部公司在资本退潮后,似乎也有些沉寂。
我们可以从ChatGPT的创新中观察到什么?在人工智能的科研政策、科研路线上是否有进一步调整的空间?科技公司又可以从中学习到什么?
为此,我们专访了梁正,他同时是清华大学人工智能国际治理研究院副院长,2020年,清华大学人工智能国际治理研究院成立,这是由清华大学批准成立的校级科研机构,面向人工智能国际治理重大理论问题及政策需求开展研究,成立以来承担了包括国家科技创新2030重大项目,科技部科技创新战略研究专项等一系列重大项目。
梁正介绍,这是科技和产业的关系,再往底层说有些事也不是公司去做,0-1的事情应该科学家做,1-2由具备长期战略视角的企业来做,而在中间科研界、产业界应该有种紧密互动的机制,中国正在构建这一生态,还不能太着急。
|对话|
硅谷式创新
经济观察报:ChatGPT是个非常典型的硅谷式创新,我们能看到很多标签,比如辍学的天才、风险投资、科技集团等等,从这些标签后,我们能观察到创新机制的要点是什么?
梁正:ChatGPT是创新生态体系产出的结果,拆解这个生态有几个关键步骤,有创新性的机制,企业走了一条不寻常的道路,聚集了一批理想主义的技术天才,大公司进行了投入和资源整合。我们现在面临的一个困境是没有这样的生态,可以支撑创新层出不穷。
但要看到,美国形成这样的创新体系也花了很长时间,美国是三个体系叠加到一起产生的化学反应,一个是研究型大学,有相对的独立性,有一批科学家在做探索性的工作;第二个是使命导向的如联邦实验室体系,以国家使命去驱动前沿研究;第三个是硅谷,基于创新创业和风险投资的商业生态,三者之间有密切的互动,才支撑了美国的从科研到产业化创新的循环,先有从0-1的突破,再有人承接去做1-2工作。另外,资本市场起了放大器的作用支撑了从2到N的阶段。可见,基础研究、商业投资和政府支持要有良性的互动,建立起从创新到价值的完整链条。
经济观察报:在你看来ChatGPT产生于OpenAI 公司,有没有体现出一些更新的创新特点?
ChatGPT是一种基于深度学习的自然语言生成模型,是当前自然语言处理领域最具代表性的技术之一。其核心技术包括预训练、Transformer网络和自回归模型。
预训练
预训练是ChatGPT的核心技术之一。预训练是指在大规模语料库上对模型进行训练,使其能够自动学习语言的规律和规则。在预训练过程中,ChatGPT使用了海量的无标签文本数据,比如维基百科和新闻文章等。通过这些数据的训练,ChatGPT可以学习到自然语言的语法、句法和语义等信息,从而能够生成自然流畅的语言表达。
Transformer网络
Transformer网络是ChatGPT的另一个核心技术。Transformer网络是一种基于自注意力机制的神经网络,能够有效地处理长文本序列,并且能够捕捉到序列中的上下文信息。相较于传统的循环神经网络(RNN)和卷积神经网络(CNN),Transformer网络具有更好的并行性和更高的计算效率,能够处理更长的序列,使得ChatGPT能够生成更长、更复杂的文本内容。
自回归模型
自回归模型是ChatGPT的核心生成模型。自回归模型是指在生成文本时,模型会根据前面已经生成的文本内容来预测下一个单词或符号。ChatGPT使用了基于循环神经网络的自回归模型,每次生成一个单词或符号时,模型会根据上下文信息和历史生成结果进行预测。通过不断迭代生成,ChatGPT可以生成连贯自然的文本内容。
梁正:微软作为一个战略投资者去支持了一开始看起来不是特别靠谱的事,这是一个创新。大公司也做内部风投,但很少像微软这一次押这么重的注,这也可见,这一类创新中小企业自己已经玩不起了,背后有非常大的投资门槛。
经济观察报:21世纪有一个很大的变化,很多伟大的事情是小公司在做,这和20世纪是有很大的区别,例如20世纪是波音等大公司在造飞机,21世纪是小公司在发射火箭,为什么会出现这样的情况?
梁正:小公司没有什么负担,机会成本是最小的,openAI一开始定义自己是一个非营利机构,巨头们可能不愿意干获利前景太远的事情。但也不能武断地说大公司就不创新,大公司能力主要是在于规模化。合理的互动机制是,小企业提出好的idea,靠大企业最终实现。
经济观察报:美国政府在这一轮美国的人工智能的发展中扮演的角色是什么?
梁正:美国政府在创新中扮演着多重的角色,美国政府实际上是一个发展型政府,并没有对外所说的那么放任不管,而是在各个环节上推动创新和产业发展。比如,美国政府是基础研究和知识生产方面最大的资助者,也是研发目标或者需求的提出者,更重要的是美国政府也是采购方,同时还扮演着各方面创新力量协调人的角色。一些重要的行业面临危机的时候,例如半导体,就是美国政府来组织协商对策。美国政府的角色不像我们想的那么单一,它其实很多元。
经济观察报:ChatGPT本身就是一家企业创造的,硅谷似乎有一套比较成熟的企业和科研界转化的机制,而且这个机制随着科技公司发展变得越来越灵活,我们可以怎么去理解这种机制,产业界、科研界和政策的关系应该是什么样?
梁正:这是科技和产业的关系,再往底层说有些事也不是公司去做,比如说“人工智能”(AI)就是在Dartmouth会议上一帮科学家最早提出来的概念。0-1的事情应该科学家做,1-2由具有长期战略视角的企业来做。这里面需要巨大的投入,如果都让政府做问题也很大,每一笔公共投资其实都是要有所交代,很怕钱投进去,最后一地鸡毛。
我们研究美国国防部高级研究计划局(DARPA)很长时间,为什么他们总能做出来颠覆性创新?首先他不是看商业目标,很多项目经理是有业界经验的;其次他们项目经理在选择项目的时候会和业界做紧密的沟通,反复去问IBM、英特尔做不做,如果英特尔IBM都觉得说不做,这事太困难了,短期内做不出来,项目经理大概就能判断这件事情应该是政府来做,然后他会考虑把企业和政府的目标结合。DARPA支持不同的团队去做原创性和探索性研究,他机制很精细,可能一开始几支小团队都去做探索,然后做到一定程度比一比,看谁更有希望。而且项目经理的权力很大,他可以要求学者去做什么研究,等研究做到一定程度,也就是产业觉得可以做的时候就不再投钱,项目就交接给产业。
产学研界建立这种紧密的联系是需要时间的,这次机构改革让一些科技计划项目回到行业部门去管理,从面向产业需求去寻找研究问题的角度来看是合理的。在科技资源配置方面,我们过去的问题是大家拿一个本子去到不同地方找支援,但美国会用多个渠道的经费来支持一件事,我们现在的问题是拿一个本子去不同的地方交差。科学界和产业界要形成一种互动机制,还是需要有懂产业的科学家和项目管理人员。
闪电发卡ChatGPT产品推荐:
ChatGPT独享账号:https://www.chatgptzh.com/post/86.html
ChatGPT Plus共享账号:https://www.chatgptzh.com/post/319.html
ChatGPT Plus独享账号(购买充值代充订阅):https://www.chatgptzh.com/post/306.html
ChatGPT APIKey购买充值(直连+转发):https://www.chatgptzh.com/post/305.html
ChatGPT Plus国内镜像逆向版:https://www.chatgptzh.com/post/312.html
ChatGPT国内版(AIChat):https://www.chatgptzh.com/post/318.html