OpenAI近日发布了其最新版本的语言模型GPT-4,称之为“我们在扩大深度学习规模方面取得的里程碑事件”。
虽然该公司将这一成就归功于团队的集体努力,但在OpenAI的创始人Sam Altman看来,有一个人居功至伟,那就是Jakub Pachocki,他是预训练项目背后的驱动力。
Pachocki自2017年以来一直供职于OpenAI,他的技术远见和领导能力对于开发GPT-4发挥了至关重要的作用。
据Altman声称:“要是没有他,我们不会取得今天这样的成就。”
Pachocki本人把构建GPT-4之类语言模型的过程比作建造宇宙飞船:做好所有的部件/组件,确保没有一个环节有问题。他在最近接受《麻省理工科技评论》杂志采访时说:“多年来,这个基本公式并没有发生太大的变化”,他畅谈了自第一个版本在2018年发布以来GPT模型经历的演变。
Pachocki对AI的迷恋可以追溯到发布AlphaGo的时期,当时他意识到深度学习具有的潜力远远不仅限于当时计算机实现的功能。他在OpenAI开发一款机器人的过程中曾发挥了关键作用,该机器人学会了玩在线多玩家战斗竞技游戏《Dota 2》,一遍又一遍地与自己对抗,直至达到专业玩家的水平。
他在纪录片《人工智能游戏玩家》中说:“我一直想研究AI,挑战计算机的极限。”这部纪录片讲述了OpenAI如何展示了在《Dota 2》中击败顶级冠军的能力。
保持低调
尽管Pachocki在开发GPT4中扮演了关键先生的角色,而且是一名功成名就的程序员,他还是保持低调。他很少在媒体上露面,在社交媒体上也不活跃。然而,他取得的成就不言自明。2012年,他赢得了谷歌编程大赛Code Jam冠军的头衔,将1万美元奖金收入囊中。他还在其他编程比赛中名列前茅,包括2012年ACM ICPC全球总决赛(夺得金牌)、2012年TopCoder公开赛以及2013年Facebook黑客杯大赛。
Pachocki作为一名程序员取得的成功凸显了认知能力在这个领域的重要性。正如他在采访中解释,像谷歌Code Jam这样的编程比赛更像是处理数学工作或解决逻辑谜题,获胜需要非凡的认知能力。在这方面,谷歌14%没有大学学位的员工与另外86%的员工可能没有太大区别。
随着OpenAI不断突破计算机功能的极限,像Pachocki这样的人将在使这些突破成为可能的过程中扮演重要角色。虽然他可能更喜欢保持低调,但他的成就无疑激励着这个领域竭力挑战极限的其他人。
Pachocki并不是唯一一个对狗仔队避而远之的人。OpenAI的首席技术官Mira Murati也是这样的人。与她的一些同事一样,网上能查到关于她所从事工作的信息,却很少找到关于她的任何个人信息,只知道她是经典科幻电影《2001:太空漫游》、诗人Rainer Maria Rilke和摇滚乐队Radiohead的粉丝。
还有Ilya Sutskever,他是这家公司的赚钱机器ChatGPT的幕后主脑,也是有史以来被引用次数最多的计算机科学家之一。波兰计算机科学家Wojciech Zaremba也是OpenAI核心团队不可或缺的成员。在2021年8月接受Lex Fridman采访的播客中,Zaremba说:“GPT向整个互联网学习。互联网提供了基本的骨干,GPT就像可以改变肤色的变色龙。GPT在部署后会积极学习。”