美西时间11月6日，OpenAI举办首次开发者大会。短短45分钟，OpenAI连续发布了多个新的产品及功能，包括新模型GPT4-Turbo、用户可自定义的GPT、全新Agent框架Assistant API等。这里，我们剖析它给AI生态带来哪些冲击，以及这些冲击如何重塑未来的创业格局。
01 DevDay重要信息一览
本次DevDay, OpenAI发布的重磅功能/产品主要包括：
新模型GPT4-Turbo
更长Context：升级到128K，相当于300页的书。
更便宜：与GPT4相比，GPT-4 Turbo整体价格整体下降2.75倍。
更准确：开发者可以对模型有更多控制，引入JSON，可调用多个函数，引入可重现输出让模型输出更稳定，准确定更高;知识库更新至2023年4月。
多模态API：多模态视觉、DALL·E 3和语音合成API一起开放。
此外，OpenAI还开放了对GPT4的微调。
GPT Builder & GPT Store ——围绕ChatGPT构建应用生态
用户可以通过自然语言交互定制ChatGPT，不需要写任何代码。用户自定义的GPTs支持用户自有的数据、信息与基础模型结合，同时连接API执行任务，如写邮件、收发短信、管理数据库等。
稍后会推出GPT Store，形成一个围绕ChatGPT的应用生态。OpenAI会将收入与开发者分成。
Assistant API——面向开发者做应用内的Agent
Assistant API帮助开发者在自己的应用中构建Agent，相当于官方推出的基于大模型的Agent开发框架，其中包括：持久且无限长的thread、Retrieval、Code interpretor以及Function Calling等。
02 解析DevDay
OpenAI作为AI领域最受瞩目的领头羊，其一举一动都牵动着行业未来的走向。分享下我们对本次DevDay的观察。
目前OpenAI的战略已经非常清晰，是两条腿走路：一是提升基础模型能力(剑指AGI)，二是构建开发者生态和应用平台。本次“开发者”大会重点在于后者，预计明年GPT5发布会可能会更聚焦于前者。此次发布的新产品/功能——更长Context、JSON Mode、可自定义GPT、Assistant API、多模态API等，都是赋能开发者更轻松、灵活、高效地开发应用。OpenAI之所以在意应用生态的构建，是希望在早期阶段尽量多地占据用户场景、扩大用户基数，我们认为，这背后OpenAI最看重的东西，是对它的基础大模型的使用。当前大模型头部玩家拼抢的最重要资源是算力和数据，而构建开发者生态、让更多开发者创造出更好的产品、让用户源源不断地涌入生态，是基础。
OpenAI通过GPT Builder和GPT Store搭建ChatGPT的应用生态。这其实是对年初发布的ChatGPT Plugin Platform的一次改版升级。Plugin Platform的意图是将ChatGPT打造成超级流量入口，用户通过plugin在ChatGPT内完成各项任务，而ChatGPT成为一个大的流量分发平台。但Plugin在落地使用上遇到了种种问题，并未真正火起来。这次GPT Builder以及随后即将推出的GPT Store仍然是瞄准流量分发这一目标，不过改换了形式：在用户侧，是以“应用分发”的形式呈现一个个应用(而非让用户自己挑选相关插件)，用户的体验更好。从开发者角度，也提供了更大的灵活度。开发者可以在一个Custom GPT里整合更多相关信息、API调用等，对比plugin，更有可能完整解决用户在某一场景中的问题。同时，它的利益分配机制也更加明确。GPT Store能否成为像App Store一样改变行业还尚待观察，不过，这已经给那些原本做“GPT套壳”的项目带来比较大的威胁，比如基于2B、2C知识库做问答客服的项目，现在用户可以轻松地通过GPT Builder构建类似的应用。
Assistant API的发布，实际上是为开发者提供了基于LLM的Agent开发框架，让开发更加灵活高效。这也大大挤压了许多基于LLM的开源应用开发框架的生存空间。一个公司的长期价值，在于要么它拥有大模型，要么拥有应用(用户/场景/数据)。两者都没有掌控的公司，它的生存空间和价值在未来会急剧减小。
03 DevDay对创业格局的冲击和重塑
算力是目前影响大模型自身进化速度的核心因素，而能否建立起生态是决定大模型公司商业化成败的关键。作为目前最为领先的大模型公司，OpenAI积累了雄厚的资金实力和基础设施支持，在算力上有优势;而此次DevDay也展示了其通过构建开发者生态和应用平台迅速扩大用户基础、增加市场份额的野心。这将对整个AI生态和创业格局产生比较大的影响。我们从最为关心的几个方面，包括大模型层的开源/闭源、应用层的Agent框架和开发者工具、以及一直在讨论的向量数据库等，分享下我们的思考。
大模型层：开源 vs 闭源
开源模型与开源基础软件有个根本性的不同，即众多开发者对前者的贡献非常有限。基础软件的开源是开发者们都可以在其中贡献代码，把软件打磨得越来越完善。但开源模型是开放使用，开发者可以做一些周边的工具，但对模型本身(从数据到算法)做不了贡献，改不了模型。这样无法建立用户数据的反馈闭环，没有开源软件“众人拾柴火焰高”的生态效应。
闭源模型始终领先于开源模型，OpenAI让这个差距变得更大。
影响大模型发展核心的资源是算力与规模，开源模型均处于劣势。算力上的劣势主要在于没有足够的资本投入，OpenAI在开发者生态和应用平台的发力，让它占据更多的用户、落地场景、数据和市场份额。因此，OpenAI在性能上将始终领先于开源模型。即便从现状看，开源模型跟OpenAI的性能差距还是相当大的，推理同样的事情，前者的幻觉更多、对确定性事情的拆解更差。OpenAI 新模型的发布只会让这个差距变得更大。
OpenAI成本下降和企业版本的支持，会进一步吞食开源模型的市场空间。虽然开源模型在性能上无法匹敌闭源模型，但胜在“便宜”与“安全”(方便微调并做私有化部署)。但本次DevDay，我们看到OpenAI成本在快速下降。未来随着OpenAI技术提升和规模扩大，闭源模型成本将进一步降低。而从数据安全性角度来看，OpenAI通过与微软Azure的合作，来保证企业级客户的数据安全。在海外，许多中大企业数据本身就在Azure上，对于Azure的数据保护是有信任的。OpenAI的成本下降和数据安全保护，会进一步挤压开源模型的生存空间。
那么，开源模型的未来在哪里?我们认为，是它的小规模、定制化。未来，通用大模型会成为水电煤一样的基础设施，其中最好的一两家胜出，占据绝大部分市场。开源模型则可以应用于为一些特定领域/垂直场景下提供定制化服务。
小的开源模型有应用价值。开源模型的主要场景，是为了数据安全，企业在公司内部部署。这个场景下成本非常关键——没有几家企业会有大量的显卡来host模型，大的开源模型性价比也不合算。Llama2 7B模型在单卡上可以跑起来，这是对企业使用场景性价比最好的，也是应用最广的。
定制化DIY。闭源模型是个通用的基础设施，它的定制难度很大(除非只是简单的定制，比如DevDay上的GPT builder demo，涉及复杂流程的则会困难很多)。在特定领域的场景要做一些定制化，使用开源模型会更灵活。
我们观察到，目前有些创业公司一般先用OpenAI GPT做验证，一旦验证成功，再用开源模型训练一个更小的模型，在垂直任务上达到GPT的类似水平。开源和闭源一定会共存，服务不同的场景和用户。
应用层：AI Agent
AI Agent是今年下半年AI领域最受关注的创业方向，有大量相关创业公司拿到融资。从年中到现在，GitHub上爆火的AI Agent框架也不在少数——从最初的AutoGPT到最近最火的AutoGen。而Assitant API的推出无疑给目前热闹的市场投下一枚重磅炸弹，将可能重塑AI agent领域的格局。
具体而言，当下LLM based AI Agent领域的创业公司可大致分为如下两类：
中间层infra：主要提供实用可复用的 agent框架，降低开发 agent 的复杂度，并为 Agent 的合作提供机制设计。主要从模块化、适配性、协作等几方面进行创新。
Vertical Agent：深入某个垂直领域，理解该领域专家的工作流，运用 agent 思路设计 Copilot 产品，用户介入使 agent 思路更为可控。快速形成 PMF 开始累积用户数据。
随着Assitant API的推出，我们认为，大量Agent框架公司将失去存在价值，开发者会因为生态便利性等原因转移到OpenAI的官方框架之下;而Vertical Agent类的创业公司则不会受到太大影响，其核心原因还是在于“数据壁垒”。
我们对AI Agent在具体生产场景的落地做了很多调研，发现在垂直领域中，建立相应的“世界模型”是做好AI Agent的核心关键。Agent落地要理解当下任务并预测未来情景，需要超越简单的文本学习，深入获取领域知识、领域相关的私有数据以及相关任务的“过程数据”(领域专家是如何分解任务、产生结果的)。这些数据是大模型所难以获取的，尤其是“过程数据”，许多甚至还只存在在相应岗位专家的大脑里。这需要相关公司做大量的工作收集、整理、理解具体业务的工作流等等，是一个相当复杂的系统工程。尤其在法律、医疗、金融等数据庞杂、专业性极高的领域，并不是”大模型套壳“就能解决的。所以，一旦有Vertical Agent的公司能够建立、掌握这些垂直行业的”世界模型“，也就拥有了在这个不确定时代极强的竞争壁垒。我们依然非常看好这类创业公司在未来的前景。
创业方向选择
由AI Agent创业格局的变化可以延伸到另一个话题：在底座大模型突飞猛进的今天，选择什么样的创业方向是相对安全的?如前文分析，对创业公司而言最核心的价值壁垒构建，还是来自于领域专业知识/私有数据/行业世界模型的积累，以及原有客户关系、渠道、工作流场景的占据(有了后者，天然地相对更容易获得前者)。这样的公司不太容易被大模型能力升级/生态扩展所淹没，反而可能会受益于大模型生态扩展的红利。但那些既不掌握大模型、也不掌握私有数据/世界模型的创业公司——比如很多做2D的开发者工具的公司，其面对的不确定性就要大很多。
向量数据库 & Memory
AI Memory是困扰大量开发者的问题之一。因为Context长度有限，现阶段惯常的解决方案是使用向量数据库做embedding检索，也因此涌现了一批向量数据库的创业项目。我们观察到，大量开发者对向量数据库褒贬不一，最大的问题是很多时候准确率无法保证。实际上，在大模型时代之前，向量数据库主要用来做召回及图片的检索。在过往实践中，向量数据库更加适用的是长尾的匹配，做那些真正意义非常相近的匹配通常效率不高。这也是为什么许多开发者诟病向量数据库的精准性问题。
此次OpenAI针对Memory提供了自己的解决方案：128K Context及Assistant API的retrieval。随着这两个功能的开放，我们认为一些小体量的数据存储将不再需要向量数据库，可以直接放在context中，或使用Assistant API提供的retrival，进一步优化开发体验。这意味着向量数据库的应用场景会大量缩减。