0°

ChatGPT-4访问被持续限流,国信证券:预计未来的算力需求缺口将会持续扩大

  ChatGPT-4的访问被持续限流

  OpenAI对于Plus付费用户的GPT-4 访问连续下降阈值,GPT-4 访问限制由第一天的150 msg/ 4 hr 到100 msg/4 hr到50msg/3 hr到最近的25msg/3hr。在较短的时间内GPT-4下降了4次访问阈值。对于GPT-4的限流,OpenAI的官方回复是“开发者可能会对使用GPT-4的应用程序或者服务施加类似限制,以确保合理的资源分配,避免滥用或者控制成本。通常这类限制取决于API访问限制或者特定的订阅服务”。官方主要从控制成本的角度对GPT-4访问量进行优化,也明确了限流几乎只针对GPT-4。

  OpenAI限流的背后是其日活和周活用户数的持续攀升

  由于功能的强大以及回复率准确的高企,ChatGPT的日活和周日跃用户数量屡创新高,截止3月15日,ChatGPT日活突破5837万(3月13日的日活用户数据是4846万,两天新增接近800万日活),截止到3月9日这周,ChatGPT周度的活跃用户数量为331.81万,相比上一周活跃用户数量增加了接近25万。GPT的日活和周度活跃用户数量持续攀升,一方面是GPT4的能力更加强大,使用的体验更加流畅、回复的答案更加精准、上下文溯源的能力更加强大,使得越来越多的用户加入到体验和运用模型的队伍中来,另一方面是因为经过此前GPT-3经历后的付费用户数量越来越多。目前,OpenAI没有提价,对于Plus会员的价格还是20美金/月,但是随着用户数量的持续增加,预计限流的动作会持续。

  OpenAI的需求持续增长将持续推高算力成本

  ChatGPT应对终端访问,每1000tokens需要算力成本0.02美金,3月3日OpenAI发布GPT-3.5-turbo ,对外开放API接口,宣称算力成本下降90%,1000tokens算力成本下降到0.002美金。目前, 以英伟达DGX A1OO服务器作为计算资源 , 采用云服务单天成本约为460美元 ,假设按照ChatGPT日活1300万人,每个人每天平均1000字的问题(共计173.3亿个token),假设峰值为一天均值的5倍,那么需要602万台DGX A100服务器,每天的租用成本为27.77万美金,平均到每1000个token 的推理成本为0.02美金左右。目前, GPT -3.5-turbo 的算力成本下降了90%达到0.002美金每1000个tokens,我们预期模型的参数有所下调(此前测算成本按照GPT-3.5的模型参数3000亿个进行测算),此结果和用户对于new bing 不及Chat GPT 本身交互准确的感受相一致。

  预计GPT-4的算力消耗量远大于GPT-3和GPT-3.5-turbo。目前根据根据GPT-4的公开数据,在8K的上下文长度下,每1000个token的提问成本为0.03美金,每1000个token的回答完成成本为0.06美金;在32K的上下文长度下,每1000个token的提问成本为0.06美金,每1000个token的回答完成成本为0.12美金。这个算力成本相比与GPT-3的成本(每1000个tokens的算力成本约为0.02美金)上升了较高(输入成本增加50%-200%,输出升本增加200%-500%),相比于GPT-3.5-turbo的成本上升更为可观,输入成本增长了14-29倍,输出成本增长了29-59倍。

  预期在应用逐步增长的背景下,GPT的算力成本将进一步攀升。目前OpenAI主要的用户为C端用户,未来有望逐步扩大到B端领域,GPT-3.5-turbo下降精度降低算力成本以适应更多的应用场景是扩大生态中坚实的一步。随着GPT生态的建立、相关应用的爆发,算力的需求将持续扩大。目前,根据微软的数据,Bing的日活首次突破1亿(集成搜索+聊天功能的必应预览版自推出以来总聊天次数已超过4500万次),目前GPT的日活数量接近5800万,Bing日活1亿用户,假设NewBing4000万日活,其他应用4000万日活,合计1.4亿日活。假设普通98.5%的用户使用GPT-3.5-turbo,1.5%的用户使用GPT-4,那么98.5%普通用户的一天的算力成本在28万美金左右(对应607台DGX A100系列服务器),而1.5%付费使用GPT-4的用户的算力成本为每天840万美金(对应1.8万台DGX A100系列服务器)。

  具体测算和假设如下:1)98.5%的用户使用GPT-3.5-turbo,每个人每天问 1 000 tokens ,按照 每1000 tokens需要算力成本0.0 0 2美金 计算,每天的成本大概为28万美金,对应607台 DGX A100系列服务器 ;2)1.5%付费用户使用 GPT-4,每个人每天1万个tokens,按照目前GPT-4给出的最低价格(每1000个tokens 0.06美金),那么算力成本为约840万美金,对应1.8万台DGX A100系列服务器。而根据微软在2019年的公告,投资OpenAI10亿美金,投资1万个GPU建设Azure AI超算平台,可以预见的是,算力将很快被OpenAI的GPT模型消耗完,这也是OpenAI此前持续公布限流的原因之一。

  随着 OpenAI官方公告6.14号开出GPT-4的API接口,按照 目前 用户数量和问询数量 的趋势 ,公司必须做出一些应对措施,要想保留GPT-4强大 和精准的 能力,就 需要继续 扩 大 算力, 或者继续降低 精度 以控制算力成本 。 在全球的AI浪潮下,国内自从百度文心一言大模型推出后,也有几百家的公司成为其合作伙伴,未来阿里和腾讯的大模型也有望推出,对应的算力缺口有望持续扩大,从国内的浪潮信息、中科曙光、工业富联、海光信息、紫光股份等公司下游需求来看已经有些端倪。

  投资建议:

  目前,全球正处于AI浪潮中,海外以OpenAI旗下的GPT大模型为代表,越来越多的C端用户和B端厂商接入生态,在AI赋能后,产品和应用端都出现了较为明显的积极变化。微软已经率先将GPT-4接入了Office等全系列办公场景,预期后续会有更多的现象级应用出现,国内市场也受益于百度文心一言大模型的发布,未来有望在应用端迎来百花齐放。随着应用端逐渐丰富,对算力的需求提出了更多的需求,在此趋势下,预计未来的算力需求缺口将会持续扩大, 建议重点关注 人工智能算力领域的相关标的,如海光信息等 。

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论