0°

对话智谱AI CEO张鹏:我们不做中国的ChatGPT

  守在清华科技园赛尓大厦的大厅,能撞见许多前来拜访的投资人和FA。

  他们会按下电梯的这几层:17F,今年5月刚搬进了王小川的百川智能;2层和5层,盘踞着另一家估值超20亿美金的大模型公司:智谱华章(以下简称“智谱AI”)。

  相较于百川智能创始人王小川的自带光环,智谱AI的声量更多存在于AI圈子内。据36氪独家获悉,数月前,美团战投独家投资了智谱AI的B-2轮融资,金额达数亿元。

  “现在只有智谱AI挑投资机构的份。”一位上半年没有投进智谱AI的投资人告诉36氪。连王小川本人,也在2023年初踏进过智谱的门槛——“他们这些创业者,都想从智谱AI身上取经。”一名知情人士解释。

  为何看好智谱AI?

  不少圈内人给出的答案都是:自2019年成立,智谱AI就是“有人、有技术、有客户”的“完成时”企业。

  脱胎于清华KEG(知识工程实验室),智谱AI每个创始成员单拎出来,都是圈内叫得上名字的学者。比如CEO张鹏设计和研发的跨语言知识图谱系统XLORE,在国际上颇受好评。

  智谱AI CEO张鹏。图源:智谱AI

  而智谱AI合作研发的超大规模预训练语言模型GLM-130B,是2022年亚洲唯一入选斯坦福评测的全球主流大模型。这个自研的大语言模型,也直接让智谱AI的名字,出现在百度、字节、360、有道等企业的合作名单中。

  今年6月,在硅谷科技媒体The Information的盘点中,智谱AI被视为最有可能成为“中国OpenAI”的5家企业之一。

  不过,成为“中国的OpenAI”,并非智谱AI的目标。

  “中国没有自己的预训练模型框架。”张鹏告诉36氪。市面上最主流的三种模型训练路径都出自西方:GPT来自OpenAI,BERT和T5都来自谷歌。若是照搬西方的主流路径,意味着中国企业已经失去了先发优势,弯道超车的机会渺茫。

  为了打破西方的路径垄断,智谱AI提出了全新的GLM(通用语言模型)路径。若GPT的原理可以被比作“根据上文做完形填空”,那么GLM完形填空的依据则从上文扩充到上下文——理论上,GLM的训练效率会比GPT更高,也能理解更复杂的场景。

  时至今日,GLM的探索已经初见成效。“在硅谷,智谱AI的GLM应该是最被头部科技企业承认的中国大语言模型。”一名微软的算法工程师告诉36氪。

  为了更早推动AGI(通用人工智能)技术,智谱AI没有选择推出行业大模型,而是说服行业客户在通用大模型基座上做微调。

  “行业模型本质上是用大模型的壳,重复造了一遍传统算法的轮子。”张鹏指出行业大模型的局限性,“我们认为只有一定规模的(通用)大模型,才能实现类人的认知能力涌现。”

  带着技术、团队、客户,直接入场

  36氪:智谱AI给人的感觉是手里盘的球很多,一边做技术研发,一边做行业落地,还能做一些企业服务。你们是怎么做到的?

  张鹏:人工智能本来就是一个综合性学科,如果研究的成果不能很快被应用,它的价值很可能被遗忘。所以在KEG,我们会把研究和工程放在相对平等的位置上。这个风格也延续到我们出来做公司。

  另一个因素是,在大模型时代里,产学研用这件事被极度压缩,表现为周期变短、距离变近。原来像神经网络、CV等技术从被学界研究出来,到真正落地工业产生实际价值,中间要2-5年。但ChatGPT模型训练到产品上线,再到有一亿全球用户,可能不超过1年。

  36氪:从2019年成立,智谱AI的商务合作就没断过,当时你们是怎样让商业合作跑起来的?

  张鹏:我们有一个和别人不一样的特点,长期有一群工程师和研究员一起工作,所以从成立第一天起,智谱AI就是从一个团队开始的。

  所以从公司的发展路径上来说,我们是带着技术,带着团队,带着客户和市场直接启动。我们是一边做核心的技术,一边去拓展市场。从第一天开始,我们就有收入。

  36氪:你们实验室的技术对应的客户和市场是什么样的?

  张鹏:我们团队早期在学校里做知识工程相关的研究,比如说科技情报分析、数据挖掘,所以服务的客户群体比较广泛,国内的科研机构、科技型企业、互联网企业,甚至包括国际上的顶尖科技企业。

  36氪:团队对转向研究大模型的信心从何而来?

  张鹏:说实话,我们也不是一直信心满满,一开始也大胆假设,小心求证。

  有一句话叫做“预见未来”,这和我们一开始主要的研究方向有关,包括数据挖掘、机器学习、算法这些知识工程下面的分支。这个过程中我们可以做科技趋势的分析和对未来的预判。

  36氪:智谱AI能预见的是什么?

  张鹏:从宏观角度来讲,人工智能技术的发展经历了几个阶段,比如此前到了感知智能的阶段。

  我们认为下一代的技术应该是认知智能。认知智能的技术要解决的问题,和上一代的感知智能不太一样,比如多模态需要更大的数据量、更类人智能的能力,以及多任务、多场景的一些通用化的能力等等。

  所以公司成立的时候,我们就在研究大模型相关的底层技术,包括算法。2021年我们就有了自己的成果GLM,比GPT-3稍微晚了一点。

  预训练模型的框架,正在被西方垄断

  36氪:你们有没有横向和国内其他团队对比过技术和研究进展?

  张鹏:我还不清楚到底应该怎么和别人比(笑)。如果要比的话,我们更愿意跟世界最顶尖水平去比,比如OpenAI。当然在技术层面上,我们保持开放,和国内其他团队的交流保持得还不错,但我们不会特别从竞争对手的角度去看待问题。

  36氪:硅谷的进展是大模型赛道很重要的一个参照,那边有直接对智谱AI的成立产生重要影响的时刻吗?

  张鹏:我个人认为有两件事。

  第一件是2020年5月GPT-3的发布,直接将预训练模型的参数规模推到1000亿以上,模型表现出的智能确实超乎想象。我们在第一时间就开始研究参数量的影响,后来对这事儿有了更深刻的理解后,我们对投入更多资源和精力去做大模型也更加坚定。

  第二件事就是ChatGPT的发布。其实在ChatGPT之前,InstructGPT和WebGPT等技术我们一直有,也预感到基于GPT-3这样一个优秀千亿基座的智能应用会迎来爆发。但ChatGPT的上线给我们一个明显信号:预训练模型已经到了完全可使用且好用的阶段,是产品化的很好范例。

  36氪:这两件事的具体影响是什么?

  张鹏:GPT-3对我们的影响是坚定了要自研一个稠密的、千亿的、双语的模型。因为当年我们研究完之后也知道,做这样一件事情投入是非常大的,尤其是算力、人才、团队、数据。

  2020年智谱AI才成立一年多,但OpenAI已经做了两年多,他们的估值远超我们,很多资源也远超我们。所以那时即便联合清华的研究团队,做大模型也是一件有挑战的事,团队经过了激烈的讨论才确定。所以GPT-3给了我们信心。

  36氪:团队激烈讨论的重心是什么?

  张鹏:那个时候GLM还没有完全定型,之前我们用的这些模型,比如MoE(专家混合模型,在Transformer架构的基础上增加了可以处理不同数据的“专家层”)等方法,虽然也能通过稀疏化的方式把模型参数推到很大,但效果并不太好。

  我们内部也在讨论是继续走稀释模型路径,还是做更大的稠密模型。那个时候因为OpenAI没有公开很多技术细节,大家也不知道怎么复现,国外像Meta、BigScience,复现GPT都不能算特别成功。所以内部也在讨论,我们该选用什么样的技术路线,然后该怎么做这件事,以及目标是什么。

  36氪:智谱AI采用的是GLM,不是比较主流的GPT。团队是怎么考虑技术路线问题的?

  张鹏:单纯从技术发展上来看,其实早期预训练模型就有几个类型,比如GPT、BERT还有T5,每个训练框架都有适合的某些任务和场景。

  在早期,BERT的效果比GPT-1和GPT-2更好,直到参数规模更大的GPT-3出现。所以,我们做GLM的原因,是希望把不同预训练模型的优势组合到一起。

  还有一个原因是,中国没有自己的预训练模型框架。无论是GPT、BERT,还是T5,都是西方的科学家提出的底层技术,路径是被西方垄断的状态。我们希望打破垄断,所以没有完全复刻OpenAI的路径。

  36氪:采用GLM是一种冒险的做法,团队是什么时候觉得路线可行?

  张鹏:参数规模达到千亿规模的时候,我们突然发现GLM对人类输入意图,以及对一些常识或者知识类信息的理解能力,出现了一些意想不到的表现。我最喜欢举的一个例子是:

  当你问大模型一个简单的问题:一个婴儿出生的时候,它的头长是身长的1/4,如果一个婴儿出生的时候身长是50厘米,请问它的头长是多少?

  这是一个很简单的小学的数理的数学的题目,对吧?

  但GLM模型给出的答案是非常有意思的,它并没有用简单的“50×1/4”这种方式来计算,而是用了“50÷4”来计算。背后的逻辑是,模型理解了“乘以1/4”和“除4”之间在数学上的等价关系。

  我从来没有在参数规模小一点的模型上看到这样的现象。

  通用大模型,做行业生意

  36氪:之前王慧文提到过,大模型和应用场景要同时做。你们觉得这是现在做大模型最好的方式吗?

  张鹏:我觉得这和认知以及团队的基因有关,就是你更擅长干什么。

  老王已经成功过,他对很事情有自己的笃信,他觉得一种技术最终是要落地,结合场景产生实际价值的,这样会更快。

  这个逻辑我也认同,所以我们也会考虑怎么去做落地,比如到底To B还是To C?我们要不要做To C?如果做To C我们到底做什么样的产品?这些问题最终归结到我们更相信什么和更擅长什么。

  36氪:To B还是To C,你们的想法是什么?

  张鹏:我们还是比较认同OpenAI的路径,To C有自己的好处,最主要的目的是聚集用户,这是获得用户量和用户数据反馈最直接的通路,团队也基于智谱 AI 自主研发的中英双语对话模型 ChatGLM2,正式上线了首款生成式AI助手——“智谱清言”。To B更多的是为了市场和最快的收益。

  36氪:在大模型落地的过程中,智谱AI最主要的认知是什么?

  张鹏:我们的认知可以概括为:不把目标定为“做中国的ChatGPT”。从成立起我们就认为预训练模型是一项革命性的技术,但它有自己的问题,不能包治百病,可能也不是AGI的终极方案。不复制ChatGPT,会让我们在具体落地过程中和其他团队有一些差异。

  36氪:是怎样的差异?

  张鹏:从最早开始我们就定了做通用大模型,没有做所谓的小模型。之前也有企业说不一定需要大模型,小模型也能很好地平衡成本和效果。但我们认为只有一定规模的大模型,才能够实现类人的认知能力的涌现。

  其次我们希望拥有解决多场景、多任务甚至跨模态的技术,我们不会把模型局限在具体的任务、场景,甚至垂直的行业里。当然行业大模型也没问题,但是我们认为它可能是阶段性的、时代所需的产物,毕竟需要落地,在使用过程能平衡成本和收益。但最终我们还是得推动AGI,不能停留在一个阶段性目标上。

  36氪:这会如何影响智谱AI落地垂直行业的路径?

  张鹏:就算我们做行业落地,用的也是通用大模型,当然中间需要解决的事情会比较多。

  36氪:怎么说服行业客户用通用大模型?

  张鹏:我们会和客户拉齐这样一个认知:所谓的行业能力或专业能力,可以在通用基座上用少量数据的微调和深度学习快速获得。

  如果客户没法很好利用通用大模型的能力,而是仍然用专用模型解决问题,本质上和传统模式没有区别,可能唯一的区别是行业大模型的成本比之前更高。

  但如果客户强调近期收益,或者场景很狭窄,比如只想提升智能客服的问答效果,那用所谓的专业小模型可能就够用了。

  所以我们就会把以上的观念同步给客户,如果他们接受通用大模型,那我们就持续合作共创;如果他们说不,我们只需要把当下的业务搞定,那么我们就用符合用户成本预算的方案来解决,比如Model Instance(为企业提供模型API的商业模式)方案。

  36氪:服务客户和项目反过来对学术有怎样的帮助?

  张鹏:数据反馈、用户反馈是大家比较了解的最直接的帮助。另外一个帮助是核算收支平衡点,大模型落地的每个行业都还不太一样,这时候就会倒逼我们在技术上做选择:是要更大的模型、更高的成本、更好的效果,还是要去平衡成本,比如出一个中等规模的模型,来满足客户对成本的要求。

  36氪:目前比较好的收支平衡点是?

  张鹏:目前来看,不同规模的模型有不同的收支平衡点。

  在榜单上超越ChatGPT,不是真超越

  36氪:智谱AI的团队规模感觉在大模型创业公司里并不小。

  张鹏:因为我们的团队非常齐全。从数据,到训练集群的运维,再到核心算法的研究,所有的层次都是自己人。

  36氪:做大模型的清华系团队很多,你们交流多吗?大家的路径有差别吗?

  张鹏:其实大家的路径都有所差别。我们比较开放,在学术技术上的交流以及产品上的合作都比较开放,大模型不是靠一家独大就能做好的,还是需要开放的生态。我觉得做开源也好、免费也好,这些事情都不是为了商业利益。

  36氪:智谱AI也开源了GLM-130B,开源和商业化会有冲突吗?

  张鹏:两件事情不是天生矛盾。开源可以提供一个比较繁荣的社区和生态,社区的活力能保证产品的迭代和创新力。

  商业化模型版本则会给有需求的客户提供更好的服务,比如更稳定、安全。所以两者各有优势,也可以互相弥补。

  我们很多客户也是开源社区过来的,他们会先用开源版本做简单的学习和体验,尝到了新技术的便利,转头找我们做商业化合作。

  36氪:在通往AGI的路上,哪些重要因素能让团队跑得更快?

  张鹏:首先要认识到大模型不完美。用行为学的方式,去模拟或者定义人的认知能力,这是大模型给我们带来的一个解决方案。

  但就像张䥽院士说的那样,大模型构造的是人脑的system 1,还要引入另一套机制去实现system 2,去补完大脑的功能。所以从研究角度还要去做一些努力,并且用大模型的优点弥补缺点。

  其次是定义好目标。比如现在大家经常会听到“超越ChatGPT”的口号,但是把它拆解开来定义清晰不容易,比如超过ChatGPT是追赶它哪方面的能力?是在某一个榜单上超过它吗?上榜就意味着超越吗?

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论