越来越强的 AI 大模型,越来越便宜的 ChatGPT

  本文作者:张炯

  星图比特(StarBitech)创始人、中国通信工业协会信息化科技创新委员会委员、上海技术交易所专家库专家、《一本书读懂Web3.0》《一本书读懂NFT》联合作者。

  ChatGPT聊天机器人持续进化,近期两则关键消息都预示了这一AI技术迅速、大规模商用的潜力。首先,OpenAI于3月14日推出了GPT-4大模型,该模型不仅支持多模态输出,而且在复杂推理和表现方面超越了基于GPT-3.5的ChatGPT,一经推出即引起广泛使用和传播。同时,在这之前,ChatGPT的母公司OpenAI也于3月1日宣布开放了ChatGPT的API(应用程序接口),并将使用成本降低了90%。

  随着AI技术的不断发展,像GPT这类的大型AI模型的价格也将逐步降低。那为什么AI大模型会越来越便宜呢?

  星图比特(StarBitech)创始人张炯与动点科技就此问题进行了探讨。上海星图比特信息技术服务有限公司(StarBitech)成立于2015年,由上海树图区块链研究院与风语筑(603466.SH)联合投资的一家原生智能数字内容资产科技公司。公司日前已获得微软和OpenAI的赞助,将根据中国历史、文化和语言特色,发挥团队在中文自然语言处理和本土合规领域的优势,围绕GPT、DALLE算法以及强化学习的加持,将在对话机器人、视觉内容创作、营销内容创作等国内垂直领域开展AIGC服务,为营销、游戏、动漫、文旅、政府等行业提供人工智能赋能。

  1. 为什么像GPT这样的大型AI模型变得越来越便宜,其他的主流模型是否也会顺应这个降价的趋势?

  大模型越来约便宜主要是由于技术的不断进步和竞争的加剧。OpenAI 表示,gpt-3.5-turbo与ChatGPT产品使用的是相同的模型,它的费用是1000 tokens(约750个词)只需要0.002美元,将GPT-3.5使用成本降低90%。“turbo”代号指的是GPT-3.5的优化、响应速度更快的版本。

  Open AI 成本的大幅下降可能来自于多方面的优化,包括模型架构的调整、算法算力和 GPU 的优化、业务层的优化、模型层优化、量化优化、kernel 层优化、编译器层优化等等。

  模型架构的调整主要是指通过剪枝、量化、微调等技术来精简模型的大小,帮助提高模型的性能和准确度的同时,也可以减少模型的计算量和参数量,降低推理时间和成本。算法算力和 GPU 的优化是通过使用高效的算法和GPU 并行计算来加速计算,提高计算效率。业务层优化是指优化整个系统性能,如使用缓存技术和预测技术等降低延迟和重复调用,从而提高系统的性能和效率。模型层优化可以通过优化网络结构来降低训练和推理的时间和成本。量化优化通过使用低精度计算来降低计算量和参数量。编译器层优化通过使用高效的编译器来优化代码的执行,从而提高计算效率。

  另外,由于越来越多的公司和研究机构涉足AI大模型领域,如google的LaMDA(137B)和PaLM(540B),DeepMind的Gopher(280B)、BigScience的BLOOM(175B)、Meta的OPT(175B)、英伟达的TNLG v2(530B)以及清华大学的GLM-130B(130B)等,导致市场竞争变得激烈,同时价格竞争也开始变得激烈。这个因素导致AI模型价格不断下降。(括号中的数字表示这些AI模型的参数量)

  其他主流的模型是否会顺应这个降价趋势取决于这些模型的规模、性能和需求。如果这些模型的规模和性能与GPT-3模型相当,且市场需求强烈,那么它们也有可能经历价格下降趋势,但是,如果这些模型的规模较小、性能较低,或者市场需求不强,那么它们的价格可能不会大幅下降。长期来看,随着技术的不断发展,以及软硬件技术的进步,处理大量数据和训练模型所需的成本会逐渐降低,大语言模型的价格可能会有所下降。另外,随着越来越多的公司和组织开始使用大语言模型,市场竞争也会推动价格的下降。当然,具体的降价幅度和时间是无法确定的,因为它还取决于市场的供给关系及模型的质量。当然,对于一些高端模型的价格可能会继续保持高价位,因为对于高质量、高性能和高附加值应用场景的模型,可能需要更多的计算资源和专业知识来支持。

  2. 在降价的同时,这些AI大模型是否变得更强大、聪明了?您是否认同OpenAI CEO Sam Altman 说的新AI摩尔定律:AI智能总量每18个月翻一倍?

  我是很认同新AI摩尔定律的,成本的下降和应用的增多同样也会增加可被AI学习的语料和数据,从而进一步的提升AI的能力,从2022年开始,我们认为全球的互联网环境已经进入到一个无时无刻不再进行“图灵测试”的大AI智能时代,和前几年的图像AI不同,语言本文类AI更多的像是人类的大脑,可以影响的范围更广也根深,但目前AI的能力还很大程度取决于硬件,特别是高性能硬件GPU的能力和供给,所以AI的发展和芯片的摩尔定律有很强的正向关联。

  3. 推动AI大模型成本下降的一些关键因素是什么?

  1) 算法的改进:新的算法和技术会不断的迭代和提出,新的算法能更高效地使用计算资源和数据,从而减少训练和推理的成本;

  2) 硬件的改进:随着硬件技术提升,例如GPU和TPU等专用芯片的出现,可以提供更高效的计算能力,加速训练和推理过程,从而降低成本;

  3) 数据集的规模:数据是AI训练的关键,更大更优质的数据集能够提供更多的信息,从而提高模型的准确性和泛化能力,同时也可以通过更高效的数据处理和存储技术来降低数据成本;

  4) 可重用的预训练模型:预训练模型已经成为训练大模型的重要方式,例如BERT和GPT等预训练模型已经充分验证了他们的能力。这些模型可以作为基础模型来训练其他模型,从而减少训练时间和成本;

  5) 分布式计算:将训练过程分解为多个任务并在多台计算机上运行,可以大大缩短训练时间和成本。

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论