同样能带来算力提升的，是结构化剪枝(压缩)技术。
剪枝技术是一种AI模型的压缩技术。在AI模型中，神经元之间的联系有着不同的紧密程度，剪掉一些不那么重要的连接，基本不会影响模型的精度。而近年来神经网络模型里新秀Transformer模型，给算法技术层面带来了大幅进步。
在NLP(自然语言处理)领域取得的研究进展都和Transformer息息相关, OpenAI采用的GPT-3模型，就是受到了Transformer模型的启发，参数的数量达到了1750亿个。然而Transformer模型需要更大的运算量，也就意味着硬件水平得配套。于是英伟达开发了专用于Transformer模型的计算引擎，以适应AI的算力需求。
由此可见，AI算法领域的科研成果和GPU的性能是彼此促进、互相提携的。
AI 的算力成本主要分两部分，一部分是训练成本，一部分是推理。训练成本好比把一个小孩从生下来到 22岁大学毕业的教育成本。而推理成本好比要给大学毕业生支付工资，让他来帮你做事。微软 / OpenAI 对于 Chatgpt 之类模型的具体训练和推理成本采取了一个刻意模糊和语焉不详的态度，大概是不想让竞争者知道太多实质性细节。从公开信息里大概可以了解到微软在 Openai 的计算上至少投入了一万台 GPU，和价值十亿美元以上的算力成本。
根据各方面信息的综合，从 GPT-3 到GPT-4 在技术上的改进，主要不在于训练参数的增加，而在于对其进行对话方面的专门培训。这里有个概念叫做 “人工反馈增强学习” 。简而言之，就是每次模型生成文本，用人工反馈作为性能衡量标准，优化模型。RLHF 实践的第一个挑战是人工反馈成本相对比较昂贵; 第二是不同的人对同样的输出可能会有不同的反馈，让语言模型无所适从。正确使用社交媒体，也可以看成是对自己的 RLHF。
三、OpenAI+NVIDIA绑定发展，升级版Wintel体系呼之欲出
投资+算法+算力，是GPT大模型得以成就的三架马车。微软强大的投资，为OpenAI公司提供强力基础保障，NVIDIA提供强大的GPU算力，才是GPT成功的必要条件，并且基于持续的成长，形成正向技术屏障和市场优势。
当前，OpenAI通过开放API收取注册费用。粗略模型估算，每小时 A100 GPU 带来的收入是其成本的至少 2.1倍，一万张 GPU 一年带来的收入超过两亿美元。现阶段，OpenAI的主要策略不断降价以吸引更多的开发者进入其生态系统，分摊算力成本，利润多少相对次要。
OpenAI作为AI 市场领先者，来自 ChatGPT 或GPT-4 API 的收入五年内预计会突破五十亿美元，甚至更高的可能性存在。2016 年,微软以二百六十亿美元的价格收购 LinkedIn。后者在 2022 年的年收入就达到一百四十亿美元。 OpenAI 被用户追捧的热度和产品发展的潜力，显然远大于 LinkedIn。有了微软的销售渠道，收入和利润潜力的想象空间，自然大很多。这里还有两个关键，最大的开发者社区，拥有一亿活跃用户的 Github (远超所有其它竞争者)，它的主人是微软;而微软的云服务 Azure, 在全美市场份额占 23%，仅次于 AWS。在 Github 上开发人工智能应用，调用 ChatGPT或GPT-4的API, 再顺手部署到 azure 的云服务上，将成为大部分第三方开发者阻力最小的选择。
OpenAI 积累了几个季度的营收数据后，可能到 2024年的某个时段择机上市。只要能够显示出强劲的市场需求和增长，只要有投行愿意画大饼，勾勒出营收突破五十亿美元的路线图，那么大概率有足够多热钱愿意为之买单，支持二十倍营收，也就是至少一千亿美元的市值。
GPT大模型形成的先发优势，加持微软强大的市场营销和服务支撑，OpenAI+NVIDIA绑定发展的碾压态势正在形成，AI领域升级版Wintel体系呼之欲出。
微软、OpenAI形成的利益共同体，可以看成为一家机构。通过抢先公开测试，收集了大量的用户使用数据，构筑起强大的技术和数据护城河，进而形成强者恒强的虹吸效应。NVIDIA强大的算力支撑，依托微软云服务，进一步加剧OpenAI+NVIDIA绑定态势。可以想见，OpenAI+NVIDIA绑定发展，可以碾压所有其他AI大模型，最终形成一统江湖地位。
如果说三十年前，我们对Wintel体系懵懵懂懂，毫无察觉，那么现在OpenAI+NVIDIA的兴起，我们依然毫无知觉，那就是历史重演，我们就真OUT了。
幸运的是，一切还来得及。我们准备好了吗?