ChatGPT横空出世，万众瞩目，但我们不应忘记背后默默无闻的天才。Ilya Sutskever是OpenAI联合创始人与首席科学家。正是在他领导下，OpenAI在开发尖端技术与推动人工智能领域的发展方面取得重大进展。
本期“长期主义”，选择OpenAI首席科学家Ilya Sutskever的信仰之跃、Ilya Sutskever的成长故事、开挂的OpenAI革新者3篇文章，智源社区、机器之心、OneFlow社区发布，六合商业研选精校，分享给大家，enjoy!
正文：
全文16,820字
预计阅读34分钟
OpenAI首席科学家Ilya Sutskever的信仰之跃
来源：智源社区
时间：2023年2月16日
字数：3,515字
Ilya Sutskever是OpenAI联合创始人与首席科学家，1986年出生在俄罗斯，在以色列长大，16岁随父母移居加拿大，2005年毕业于多伦多大学，2012年获得CS博士学位。2012年~至今，Ilya Sutskever先后就职于斯坦福大学、DNNResearch、Google Brain，从事机器学习与深度学习相关研究，2015年放弃谷歌高薪职位，与Greg Brockman等人联合创建OpenAI，在OpenAI主导GPT-1、2、3，以及DALLE系列模型研发。2022年，Ilya Sutskever入选英国皇家科学学会院士。
Ilya Sutskever是人工智能领域先驱，在塑造人工智能的当前格局方面发挥重要作用，并在继续推动机器学习可能性的界限。Ilya Sutskever对人工智能的热情，让他的开创性研究熠熠生辉，也由此塑造深度学习与机器学习领域的发展历程。
我们将探讨20年间，Ilya Sutskever是如何从年轻的研究人员一步步走到人工智能领域的领导人物之一。
2003：对Ilya Sutskever的初印象
Ilya Sutskever在多伦多大学读本科时，Sutskever想加入深度学习三巨头之一的Geoffrey Hinton教授的深度学习实验室。他在某天直接敲开Hinton教授办公室的门，询问自己是否可以加入实验室。教授让他提前预约，但Sutskever不想再浪费时间，所以他立即问：就现在怎么样?
Hinton意识到Sutskever是敏锐的学生，于是给他2篇论文让他阅读。1周后，Sutskever回到教授办公室，然后告诉教授他不理解。
教授问：为什么不理解?Sutskever解释说：人们训练神经网络来解决问题，当人们想解决不同问题时，就得用另外的神经网络重新开始训练。但我认为人们应该有一个能够解决所有问题的神经网络。
这段话展示Sutskever得出结论的独特能力，而这种能力即使是有经验的研究人员也需要花费数年时间才能找到，Hinton于是向他发出邀请，希望他加入自己的实验室。
2011：初识AGI
Sutskever还在多伦多大学时，曾飞到伦敦去DeepMind找工作。在那里他见到DeepMind两位创始人Demis Hassabis与Shane Legg，他们正在建立通用人工智能AGI(Artificial General Intelligence)。
AGI能够像人类一样思考与推理，并完成与人类智能相关的各种任务，如理解自然语言，从经验中学习，做出决定，以及解决问题。在当时，AGI并不是严肃的研究人员会谈论的东西。Sutskever也认为他们已经与现实脱节，所以他拒绝这份工作，回到大学，2013年加入谷歌。
2012：图像识别革命
Geoffrey Hinton慧眼独具，在其他人都不相信的时候相信深度学习。并且他坚信，在ImageNet竞赛中获得成功就会彻底解决这一争论。ImageNet竞赛：斯坦福大学的实验室每年都会举办ImageNet竞赛。他们为参赛者提供由精心标记的照片组成的庞大数据库，来自世界各地的研究人员都会来参加比赛，尝试创建能够识别最多的图像的系统。
Hinton两个学生，Ilya Sutskever与Alex Krizhevsky参加这个比赛。他们打破传统的手工设计方案，采用深度神经网络，并突破75%的准确率大关。
他们赢得ImageNet竞赛，他们的系统后来被命名为AlexNet。从那时起，图像识别领域焕然一新。
后来，Sutskever、Krizhevsky、Hinton发表关于AlexNet的论文，这篇论文成为计算机科学领域被引用次数最多的论文之一，总共被其他研究人员引用6万多次。
2013：将DNNResearch拍卖给谷歌
2012年毕业后，Sutskever在斯坦福大学，跟随吴恩达教授读2个月的博士后课程，然后Sutskever回到多伦多大学。
Hinton与Sutskever、Krizhevsky一起，成立DNNResearch公司。他们没有任何产品，也没在未来打造任何产品的计划。Hinton问律师，如何让他的新公司具有最大价值，尽管目前只有3名员工，既没有产品，也没有底蕴。
律师给他的选择之一是设立一个拍卖会，有4家公司参与收购：百度、谷歌、微软、DeepMind(当时还是起步于伦敦的年轻创业公司)。
第一个退出的是DeepMind，其次是微软，最后只剩下百度与谷歌在竞争。到某天晚上接近午夜时分，拍卖价格高达4,400万美元，Hinton于是暂停竞标并且去睡一觉。
第二天，Hinton宣布拍卖结束，并以4,400万美元将他公司卖给谷歌，他认为为他的研究找到合适的家更重要。
在这一点上，Hinton与他学生们一样，把他们想法置于经济利益之上。平分收益的时候，Sutskever与Krizhevsky坚持认为Hinton应得到更大份额(40%)，尽管Hinton建议他们不如先睡一觉。第二天，他们仍然坚持这种分配方式。Hinton后来评论说：这能体现他们的为人，而非我的。
在这之后，Sutskever成为谷歌大脑研究科学家，他的想法产生更大的变化，并开始与DeepMind创始人想法逐渐一致。他开始相信，属于AGI的未来就在眼前。
当然，Sutskever本人也从不畏惧在面对新信息或经验时改变主意。毕竟相信AGI需要的是信仰之跃，正如Sergey Levine(Sutskever在谷歌的同事)对Sutskever的评价：他是一个不害怕相信的人。
2014：语言翻译的革命
AlexNet标志自2012年起人工智能革命的开端。然而，许多领域仍未被深度学习算法所开发，例如自然语言处理。当时，卷积神经网络CNN使用的神经网络类型与文本等序列数据不兼容。
在收购DNNResearch之后，谷歌聘请Sutskever为谷歌大脑的研究科学家。加入Google后，Sutskever全身心投入到序列建模问题中，它可以应用于语音、文本、视频，其中一个非常实际的应用就是机器翻译。
2014年，Sutskever与谷歌研究员Oriol Vinyals、Quoc Le，一起发明一种神经网络的变体，提出序列到序列Seq2SSeq学习(Sequence to Sequence Learning)，能将英语翻译成法语，它能捕捉到输入的序列结构(如英语的句子)，并将其映射到同样具有序列结构的输出(如法语的句子)。
该方法使用循环神经网络RNN，也就此开启RNN广泛应用于语言任务的时代。他们的研究应用于机器翻译，并且在大型数据集上，其表现优于基于短语的统计机器翻译基线。
Sutskever说，研究人员本不相信神经网络可以做翻译，所以当它们真的能翻译时，这是非常大的惊喜。他的发明击败表现最好的翻译器，为谷歌翻译提供重大升级。语言翻译从此变得不一样。
Seq2seq学习允许更少的工程设计选择，并让Google翻译系统高效准确处理大量数据集。它主要用于机器翻译系统，并被证明适用于更广泛任务，包括文本摘要、人工智能对话与问答。
2015年，麻省理工学院技术评论将Sutskever评为Visionaries类别的35岁以下创新者。
2015：从谷歌到OpenAI，人工智能新篇章
Sam Altman与Greg Brockman，将Sutskever与其他9名研究人员聚集在一起，尝试是否还有可能与该领域最优秀的人才组成一个研究实验室。
当讨论到这个将成为OpenAI的实验室时，Sutskever意识到他找到一群志同道合的人，他们与他的信念与愿望相同。
Brockman向这10位研究人员发出加入他实验室的邀请，并给他们3周时间来决定。
谷歌知道这件事后，向Sutskever提供一笔可观的金额来加入他们。被拒绝后，谷歌将他们薪资提高到第1年近200万美元，这是OpenAI要付给他的2~3倍。
Sutskever还是愉快放弃谷歌数百万美元的工作机会，最终成为非营利组织OpenAI的联合创始人。
OpenAI的目标是利用人工智能造福全人类，以负责任的方式推进人工智能。
2018：开发GPT-1、2、3
Sutskever领导OpenAI发明GPT-1，随后发展到GPT-2、GPT-3、ChatGPT。GPT(Generative Pre-trained Transformer)模型是一系列基于神经网络的语言模型。GPT模型的每一次更新换代，都是自然语言处理领域的突破性进展。
GPT-1(2018年)：这是该系列的第一个模型，是在一个大规模的互联网文本数据集上训练;关键创新之一是使用无监督的预训练，这种情况下，模型学习根据前面单词的上下文来预测句子中的单词。这使得该模型能够学习语言结构，并生成类似人类的文本。
GPT-2(2019年)：在GPT-1成功基础上，它在更大的数据集上进行训练，产生更强大的模型。GPT-2主要进步之一，是它能够就广泛的主题生成连贯与流畅的文本段落，这使它成为无监督语言理解与生成任务的关键角色。
GPT-3(2020年)：GPT-3在规模与性能上都是实质性飞跃，是在大规模数据集上训练的，使用1,750亿参数，比以前模型大得多。GPT-3在广泛的语言任务上取得最先进的性能，如问题回答、机器翻译与总结，具有接近人类的能力;还显示执行简单的编码任务、编写连贯的新闻文章、甚至生成诗歌的能力。
GPT-4：预计2023年推出。
2021：开发DALL-E 1
Sutskever领导OpenAI发明DALL-E 1，这是由AI驱动的图像生成模型。它使用与GPT模型类似的架构与训练过程，被应用于图像生成，而非文本。
今天许多主要的图像生成器，DALL-E 2、MidJourney，都归功于DALL-E 1，它们基于相同的变换器架构，并在类似的图像数据集与相关文字说明上进行训练。
DALL-E 2与MidJourney都是基于DALL-E 1的微调过程。
2022年：向世界揭开ChatGPT面纱
2022年11月30日，Sutskever帮忙推出ChatGPT，这引起大众的广泛关注，并在短短5天内发展到100万用户，2个月时间注册用户过亿。
ChatGPT工作方式是在大量文本数据集上预先训练深度神经网络，然后在特定任务上对其进行微调，如回答问题或生成文本。ChatGPT是基于GPT-3语言模型的对话式人工智能系统。理解对话的背景并产生适当的反应，是ChatGPT的主要功能之一。
该机器人会记住对话线索，并根据以前的问题与答案作出后续回应。与其他聊天机器人不同的是，这些机器人通常仅限于预编程的反应，而ChatGPT可以在应用中产生反应，使其能够进行更加动态与多样化的对话。
Elon Musk是OpenAI创始人之一，评价到ChatGPT优秀得可怕。我们离危险的强大人工智能不远。
尾注
Ilya Sutskever对人工智能的热情，推动他的突破性研究，改变该领域的进程。他在深度学习与机器学习方面的工作，对推进技术水平与塑造该领域的未来方向起到重要作用。
我们也亲身见证Sutskever在人工智能领域工作的影响，他已经改变该领域的进程，并将继续在这个方向努力。
尽管多次面对物质上的诱惑，Sutskever还是选择追求他的激情，专注于他的研究;他对工作的奉献，对任何研究人员来说都堪称典范。如今我们已经见证Sutskever对我们这个世界的影响。很显然，这仅仅是个开始。
OpenAI首席科学家Ilya Sutskever的成长故事
来源：机器之心
时间：2022年4月25日
字数：2,407字
如果要了解Ilya Sutskever的故事，必须从2015年一顿饭讲起。
2015年，Ilya Sutskever还是年轻的计算机科学家，知名AI学者Geoffrey Hinton的学生，当时正在专攻深度学习。
就在那一年，Y Combinator总裁Sam Altman给他发一封电子邮件：Hey, let’s get dinner with some cool people。
就这样，Ilya与 Stripe联合创始人Greg Brockman、Elon Musk与其他有影响力的人物吃一顿晚饭。这场聚会上，他们解释说他们想创建新的人工智能实验室。
对Ilya Sutskever来说，这是相当完美的时机，因为他一直梦想创建自己的人工智能公司。
他们创立OpenAI，几年之后，这家公司成为AI研究的领导者。著名的GPT，这是能够创建令人惊叹的真实对话的深度学习模型。就像在这个例子中，GPT(Norn)将程序员引入一个神秘的世界：
Norn使用GPT-3创建的虚拟实体，能够创造神秘的故事
在本文中，我们将了解这位出生于俄罗斯的年轻科学家，如何最终成为有史以来最有影响力的人工智能研究人员之一，以及他对该行业的预测。
正确的位置
要解Ilya的故事，我们需要从Geoffrey Hinton故事开始。
Geoffrey Hinton，是数学家与教育家Mary Everest Boole与她的丈夫逻辑学家George Boole的曾曾孙，George Boole的工作最终成为计算机科学的基础(布尔数据类型以他的姓氏命名)。
Hinton在英国学习心理学与人工智能，在难以为研究找到资金支持后，搬到美国。1986年，在卡内基梅隆大学工作期间，Hinton所在的团队展示如何使用反向传播算法成功训练神经网络。
在前些年，该领域缺乏成果的状况，导致人工智能在很长一段时间内遭遇寒冬，由于缺乏好的训练算法，神经网络名声很差。
多年后，Hinton从美国搬到加拿大，Ilya就是在那里遇见Hinton。
Ilya 1986年出生在俄罗斯，在以色列长大，16岁随父母移居加拿大。正如他所解释的，他父母希望全家过上更好生活，但移居美国通常比移居加拿大更复杂，而当搬到加拿大时，多伦多通常是第一个去的地方。
当他在多伦多大学计算机科学专业攻读博士学位时，他的教授是Geoffrey Hinton。Ilya从小就梦想着解决问题。他在一次采访中解释说，他从小就考虑用人工智能解决国际象棋问题。Ilya与Hinton讨论几篇深度学习论文，因为Ilya对此非常好奇。
Hinton给Sutskever一个研究项目：改进随机邻居嵌入算法。该项目是他们合作的开始，Sutskever出色表现给Hinton留下深刻印象。顺理成章，Sutskever在攻读博士学位时加入Hinton小组。
Sutskever在接受多伦多大学采访时说：多亏与Geoffrey合作，我才有机会研究我们这个时代最重要的一些科学问题，并追求大多数科学家都非常不理解，结果却是完全正确的那些想法。