Ilya Sutskever是OpenAI的联合创始人和首席科学家。Ilya Sutskever与Alex Krizhevsky和Geoffrey共同发明了卷积神经网络AlexNet。Ilya Sutskever也是AlphaGo论文的众多合著者之一，曾担任Google Brain的研究科学家，参与TensorFlow的开发。
在两者的对话中，Ilya Sutskever向斯坦福大学的Ravi Belani解释了在openAI如何做出一些复杂决策，以及对深度学习、人工智能在未来发展的预测。
以下是9大要点总结:
大型语言模型是如何工作的?它是通过训练一个大型神经网络去预测下一个单词,从而学习理解文本。
人工神经元和生物神经元没有区别,如果一个神经网络能很好地预测下一个单词,那它就能理解语言。大语言模型很擅长预测接下来会发生什么,这种预测能力就是实现理解的方式。
ChatGPT开源与否要看AI的能力水平。低能力时开源是好事,但高能力时可能会带来安全风险,不应该开源。
OpenAI是利润有限公司,计划最终成为非营利组织。其目的在于获得资金支持高成本的AI研究。
AI将会变得非常强大,需要设立明智的政府监管来指导其发展。
意识是个难以定义的概念。AI能否获得意识应该通过AI自身的描述来评价,而非仅仅从行为来判断。
AI超越人类的时刻很难预测,可能需要取得一些技术突破。
需要重视在深度学习中研究其他人忽略的方向,认为这会带来新进展。
通用的AI模型训练和专业垂直的AI模型训练都有价值。专业领域中的独特数据集可能对性能有帮助,但通用的AI模型仍然有其优势。
下面是详细内容：
我可以解释ChatGPT技术是什么，以及它为什么有效。我认为对它为什么有效的解释既简单又极其美丽。ChatGPT的工作原理如下：
人脑是世界上最好的智能。人脑是由大量的神经元组成的，非常多的神经元。神经科学家已经研究神经元几十年了，试图理解它们是如何精确工作的。虽然生物神经元的运作仍然神秘，但40年代最早的深度学习研究人员提出了一个非常大胆的猜想：计算机人工神经网络中的神经元，有点类似于生物神经元，这是一个假设。我们现在可以用这个假设来运行这些人工神经元，它们要简单得多，你可以用数学方法来研究它们。这是一个非常重要的突破。深度学习是反向传播算法的发现所导致的，反向传播算法是这些人工神经网络应该如何学习的数学方程。它为我们提供了一种使用大型计算机并在代码中实现这种神经网络的方法。然后会有一个我们可以编写的方程式，告诉我们这个神经网络应该如何调整它的连接以从经验中学习。尽管这是我们用计算机做的，它有点像实验科学，有点像生物学，有点像生物实验。因此，深度学习的许多进步基本上可以归结为这一点：我们可以在大型计算机中构建这些神经网络，我们可以在一些数据上训练它们。我们可以训练这些大型神经网络做我要求它们做的任何事情。
GPT这个大型语言模型的想法是，如果你有一个非常大的神经网络，我们训练它们从文本中的一堆单词中猜测下一个单词是什么。你训练一个大的神经网络从文本中的前一个单词中猜测下一个单词，你希望神经网络尽可能准确地猜测下一个单词。
现在发生的事情是，我们需要回到我们最初的假设：也许生物神经元和人造神经元没有什么不同。因此，如果你有一个像这样的大型神经网络，可以很好地猜测下一个单词，也许它与人们说话时所做的没有什么不同。
现在当你和这样的神经网络交谈时，它对接下来会会出现什么单词，有非常好的感觉。它可以缩小范围。它看不见未来，却能从自己的理解中准确的缩小可能性。能够非常准确地猜测接下来会发生什么需要预测，这是AI实现理解人类语言的方式。神经网络层面上的理解意味着什么?AI很难对人类的提问想出一个准确的答案，但是测量和优化AI神经网络对下一个单词的预测误差是非常容易的。所以说如果我们想要AI理解人类语言，我们可以通过让AI优化预测下一个单词这个方法来实现。这就是ChatGPT所做的。GPT这些神经网络很大。他们用反向传播算法训练，训练结果非常不错。如果你让自己想象人工神经元和生物神经元没有什么不同，那么如果你非常仔细地观察，我们的大脑同样能够很好地猜测下一个单词。
在我们的人工神经网络和人的大脑之间进行直接比较有点困难，因为目前人们能够从更少的数据中学习更多。这就是为什么像ChatGPT这样的AI神经网络会在如此多的数据上进行训练，以补偿它们最初时缓慢的学习能力。当你训练这些神经网络并使它们变得更好时，更快的学习能力开始出现。但总的来说，人类学习的方式与这些神经网络学习的方式是完全不同的。
一个例子是如要要让这些神经网络非常擅长数学或编程，比如说要擅长像微积分，AI就需要输入大量的相关书籍。而一个人只需要2本教科书和200个练习，就可以了。
当涉及到知识的广度和这些神经网络拥有的大量尺度时，任何这样的神经网络显然都是非常超出人类的。例如，ChatGPT非常擅长诗歌，可以雄辩地谈论任何话题，可以谈论历史事件和很多类似的事情。但是另一方面，人类可以对这些知识有更加深入的理解和认知。比如一个人，尽管只读了少量的文件，但他对某些东西理解得很深。
AI超越人类智慧的奇点什么时候会到来呢? 我不知道。我不知道什么时候会发生。我认为需要取得一些额外的进展，但我绝对不会预测这一点会在某个时候发生。我认为这件事的不确定性相当高，因为这些方面的AI技术发展，需要持续很长时间。也许会花很长时间，也许只需要几年时间。但是很难给出一个精确的答案。
在意识问题上，我还是个孩子的时候，我想看着我的手，我想，这怎么可能是我能看到的手?像我一样，这种性质的东西?我不知道如何更好地解释它。所以这是我很好奇的事情。意识这个问题非常困难非常棘手，你如何定义它呢?这是很长一段时间以来无法定义的东西。你如何在一个系统中测试它?也许有一个AI系统行为完美，完美地像你期望的那样，但是就能说明它有意识吗?我认为有一个非常简单的方法，有一个实验：们会非常仔细地处理数据，这样我们就永远不会提到任何关于意识的事情。我们只会说这里是是一个球，这里是一个城堡，这里就像一个小玩具。也许我们会有几年的这种训练数据。也许这样一个AI系统会与许多不同的老师互动，向他们学习。但你从没提过意识。然后在某个时候，你坐下来和AI说，我想告诉你关于意识的事情，但是我很难清晰的表达出来。想象一下，如果AI说：天啊，我也有同样的感觉，但我不知道如何表达。如果它能以这种方式来讨论意识问题，也许说明那时候的AI就真正的具有了意识。
我认为这更像是一种程度问题。比如说，如果一个人非常累，可能喝醉了，那么也许当某人处于那种状态时，也许他们的意识已经在某种程度上降低了。我可以想象动物有一种更简化的意识形式。从昆虫到老鼠、猫、狗、大型灵长类动物，他们的意识程度是不断增加的，从有一些意识到很高的意识。
关于开源与闭源的问题。我认为AI面临的挑战是AI如此包罗万象，它伴随着许多不同的危险，这些危险相互冲突。开源AI的一些原因是什么?防止权力集中在那些正在开发AI的人手中。因此，如果你在一个只有少数公司控制着这项非常强大的技术的世界里，你可能会说这AI应该是开放的，任何人都可以使用AI。 这就是开源的论点。但是这个论点，有短期的商业动机。
但是还有另一个反对开源的长期论点，那就是如果一个人相信最终AI会变得难以置信的强大，比如能自主地创造一个生物。这也应该开源吗?所以我对开源问题的立场是，我认为关键考量是AI的能力水平。你可以从能力的角度考虑这些神经网络，它们有多强大，它们有多聪明。当AI的能力水平还处于低端时，我认为开源是一件很棒的事情。但在某些时候，，AI能力会变得如此庞大，那么开源显然是不负责任的。
我认为，当前的AI能力水平仍然没有那么高，完全可以开源。而ChatGPT之所以闭源，是出于安全考虑。随着AI模型的能力不断提高，总有一天，安全考虑将成为明显和直接的驱动力。
关于非营利和营利性的问题。从某种意义上说，如果OpenAI从现在开始只是一个非营利组织，直到OpenAI的通用人工智能使命完成，那将是更可取的。 然而，值得指出的一件事是这些数据中心的成本非常高。各种AI初创公司及其筹集的资金，其中大部分流向云提供商。那是为什么?之所以需要这么多钱，是因为这就是这些大型神经网络的本质。他们需要大量的计算、算力。
几十年来，AI的前沿研究都在学术部门和大学进行。但是当这些项目的复杂性和成本开始变得非常大的时候，大学不再具有竞争力。现在大学需要研究AI需要找到其他方法来做出贡献。这些方式是存在的，只是不同于他们习惯的方式。
说服人们给非营利组织捐款很困难。所以我们想，有什么解决方案?所以我们构建出来独一无二的公司架构。Openai不是一家盈利公司，这是一家利润有限的公司。这意味着，OpenaiI的股权可以被视为债券，而不是普通意义上的股权和一家普通公司。换句话说，openai对投资者负有有限的义务，而普通公司对投资者负有无限的义务。
Openai的股权不同于正常的创业公司股权，但也有一些相似之处，你越早加入公司，上限越高，因为随着公司继续成功，需要更大的上限来吸引初始投资者。这很重要，因为这意味着一旦公司对投资者和员工的所有义务都得到支付，openai就会再次成为非营利组织。我们可以看看今天的AI是什么，我认为OpenAI正在推动实现通用AI，向投资者和员工支付义务，在AI变得如此强大的时候会再次成为非营利组织。
关于OpenAI和微软的关系。微软了解AGI通用人工智能的潜力和严重性。微软是开放AI的投资者。在openai的任何投资者签署的所有投资者文件中，任何签署任何文件的人，任何投资文件的顶部都有一个紫色的矩形，上面写着OpenAI的信托责任是OpenAI的AGI使命，这意味着如果使命发生冲突，你有可能失去所有的钱。所以这是所有投资者都签署的东西。
AI确实会变得非常强大，非常具有变革性。我确实认为，我们希望走向一个拥有明智的政府监管AI的世界。我们希望在一个有明确规则的世界里，训练更强大的神经网络。我们希望政府机构对AI发展进行某种仔细的评估，比如我们期望这些神经网络今天能做什么，一年后可以做什么。
OpenAI用什么指标来度量是否成功呢? 有几个非常重要的kpi，非常重要的维度。一个是不可否认的技术进步。我们的研究做得好吗?我们是否更了解我们的AI系统?我会更好地训练他们吗?我们能更好地控制它们吗?我们的研究计划执行得好吗?我们的安全计划执行得好吗?我们对此有多高兴?这是我对主要kpi的描述。当然还有围绕产品的东西，但是，我认为AI技术是核心的，以及对AI技术的控制。
事情变化太快了，我不能就AI具体产品的发展做出任何关于5年或10年的预测。
未来5-10年深度学习、人工智能领域会如何发展呢?
我希望深度学习继续取得进展，模型规模会继续扩大。我们在从gpt 1到gpt 3的过程中最明显地看到了这一点。但是事情会有一点变化。模型越来越大，原因是人们拥有数据中心，而这些数据中心不是用于一次训练运行。因此，通过简单地重新分配现有资源，您可以取得很大进展，并且重新分配现有资源不需要那么长时间。你只需要有人决定这样做。现在不同了，因为AI训练运行规模非常大，扩大规模不会像过去那样快，因为构建数据中心需要时间。但与此同时，我预计深度学习堆栈的许多层都会有所改进，它们仍然会导致非常稳健的进展。我确信我们将发现深度学习目前未知的新属性，这些属性将被利用，我完全期望5-10年后会比现在好得多。但是它到底会是什么样子，我想这有点难回答。因为可能会有少量的大改进，也会有大量的小改进，所有这些都集成到一个大型复杂的工程工件中。
更大的神经网络会更好，但要做到这一点会很费力和成本。但是我认为会有很多不同的领域。
我们甚至可以达到这样的点：神经网络可以被完全理解。只有当我们真正理解神经网络的运行机制时，我们才能真正从中受益。
所以我认为将应该AI发展视为多个因素的推动，每个因素都有贡献。拥有特殊的数据是否更好?这是否有助于你在一组特定的任务中得到更好的结果?当然了。能力更强的通用基础模型更好吗?当然。通用AI模型和专用AI模型都有很好的发展前景，并不是非此即彼的关系。