OpenAI危险了

  8月7日,国内又一家AI创业公司发布了自己的开源且免费可商用的AI大模型:XVERSE-13B。这家名为元象XVERSE的公司,由前腾讯副总裁、腾讯AI lab创始人姚星创立。

  自从Meta在7月发布了开源可免费商用的LLaMA 2系列大模型,AI大模型市场上正在酝酿一波“开源”的新浪潮。

  8月2日,百度旗下的AI大模型平台文心千帆,宣布接入LLaMA2全系列开源模型,平台可调用的大模型数量增至33款,除了3款文心模型,其他30款均为开源模型,其中包括ChatGLM2、RWKV、MPT、Dolly、OpenLLaMA、Falcon等。

  此后一天,阿里云也宣布加入开源模型行列。开源通义千问70亿参数模型,包括通用模型Qwen-7B和对话模型Qwen-7B-Chat,两款模型已上线魔搭社区,开源、免费、可商用。

  有趣的是,这种对开源开放的积极态度,正是始于闭源大模型ChatGPT的大东家——微软。7月18日,微软宣布携手Meta发布开源可商用版本的LLaMA 2模型,为企业提供OpenAI和谷歌模型的平替产品。OpenAI在AI大模型市场的垄断地位,似乎正在遭到全行业的“针对”,甚至是自己最亲密的合作伙伴。

  作为全球公认的大语言模型第一名,OpenAI的GPT-4是目前唯一一个有大量用户愿意为其买单的大语言模型。

  班里第一名的同学,通常没有参加学习小组的动力。同样,OpenAI也没有什么开源的理由和动力。

  然而,随着LLaMA 2的全面开源,越来越多的开发者投入了Meta以及各种开源模型的阵营。就像Android用开源对抗iOS一样,一众开源AI大模型,正在绕过GPT-4的技术壁垒,以开源生态包围OpenAI。

  为什么开源?

  OpenAI刚刚推出插件功能的时候,就有很多人把AI大模型比做未来的Windows、iOS、Android。如今,随着LLaMA 2的发布,AI大模型不只是功能,连市场格局也正在朝着操作系统的方向发展。

  由UC伯克利主导的组织LMSYS Org发起的,一项针对大语言模型(LLMs)的排位赛;截至7月20日的最新版排名共统计了40款AI大模型,前五名仍是闭源模型(Proprietary),分别是GPT-4、GPT-3.5-turbo和Claude的三款模型。不过,后边的34款模型,除了谷歌的PaLM-Chat-Bison-001,均为开源模型,其中15款为不可商用(Non-commercial)。

  排名模型⭐ Arena Elo rating(评级)MT-bench (评分)MMLULicense(许可)

  1GPT-412068.9986.4Proprietary

  2Claude-111667.977Proprietary

  3Claude-instant-111387.8573.4Proprietary

  4Claude-211358.0678.5Proprietary

  5GPT-3.5-turbo11227.9470Proprietary

  6Vicuna-33B10967.1259.2Non-commercial

  7Vicuna-13B10516.5755.8Llama 2 Community

  8MPT-30B-chat10466.3950.4CC-BY-NC-SA-4.0

  9WizardLM-13B-v1.110406.7650Non-commercial

  10Guanaco-33B10386.5357.6Non-commercial

  11PaLM-Chat-Bison-00110156.4Proprietary

  12Vicuna-7B10066.1749.8Llama 2 Community

  13Llama-2-13b-chat9876.6553.6Llama 2 Community

  14Koala-13B9835.3544.7Non-commercial

  15GPT4All-13B-Snoozy9675.4143x

  16Llama-2-7b-chat9616.2745.8Llama 2 Community

  17MPT-7B-Chat9475.4232CC-BY-NC-SA-4.0

  18RWKV-4-Raven-14B9433.9825.6Apache 2.0

  19Alpaca-13B9234.5348.1Non-commercial

  20OpenAssistant-Pythia-12B9154.3227Apache 2.0

  21ChatGLM-6B9004.536.1Non-commercial

  22FastChat-T5-3B8923.0447.7Apache 2.0

  23StableLM-Tuned-Alpha-7B8632.7524.4CC-BY-NC-SA-4.0

  24Dolly-V2-12B8423.2825.7MIT

  25LLaMA-13B8172.6147Non-commercial

  26WizardLM-30B7.0158.7Non-commercial

  27Vicuna-13B-16k6.8754.1Llama 2 Community

  28Llama-2-70b-chat6.8663Llama 2 Community

  29Tulu-30B6.4358.1Non-commercial

  30Guanaco-65B6.4162.1Non-commercial

  31OpenAssistant-LLaMA-30B6.4156Non-commercial

  32WizardLM-13B6.3552.3Non-commercial

  33Vicuna-7B-16k6.2248.5Llama 2 Community

  34Baize-v2-13B5.7548.9Non-commercial

  35XGen-7B-8K-Inst5.5542.1Non-commercial

  36Nous-Hermes-13B5.5149.3Non-commercial

  37MPT-30B-Instruct5.2247.8CC-BY-SA 3.0

  38Falcon-40B-Instruct5.1754.7Apache 2.0

  39ChatGLM2-6B4.9645.5Apache-2.0

  40H2O-Oasst-OpenLLaMA-13B4.6342.8Apache 2.0

  7月20日发布的LMSYS Org大语言模型(LLMs)的排行榜

  Chatbot Arena:使用超过 50000 名用户投票来计算 Elo 评级。

  MT-Bench:一组具有挑战性的多回合问题。

  MMLU(5-shot):衡量模型在 57 项任务上的多任务准确性的测试。

  虽然论模型能力,纵观整个市场,无论开源闭源都没有一款模型能敢跟GPT-4正面较量。但猛虎顶不住狼多,打不过GPT-4的大模型们,选择了“换道超车”,利用开源抢占应用生态,这似乎与Android对抗iOS时有些相似。

  “现在,所有开源大模型只有一个目的,就是营销。”

  一位国内开源大模型研发公司的创始人对虎嗅坦言,现下主推开源大模型和开源Android系统的理由,主要是靠免费抢市场。“很多大公司发布了AI大模型,甚至只是做了一款基于已有模型的应用,就开始大张旗鼓地宣传。实际上,对于基础大模型的用户来说,花再多钱打广告,也比不上模型开源来得实在。”这也是,AI公司证明自己实力的最好方法。

  首先,开源模型比封闭模型更容易评估。因为开源模型的代码和数据集是公开的,研究人员可以直接检查模型的架构、训练数据和训练过程,从而对模型进行更深入的分析,以了解模型的优缺点。

  “有的AI大模型看似能力很强,但它不开源,你只能看到他输出的结果。”

  相比于开源模型,闭源模型只能通过模型的性能评估来了解模型的优缺点。这导致闭源模型的性能可能被人为夸大,或者其缺点被隐藏。而开源模型的透明性,则可以帮助开发者更深入地了解模型,并对其进行更公正的评价。

  对于后发者来说,闭源模型还有一个问题:容易被质疑技术的原创性。多位大模型研发者曾对虎嗅表示,“对于那些不开源的模型,说句不好听的,就算是套壳LLaMA,或者干脆后台调用ChatGPT接口,又有谁知道呢?”

  在第一波国产AI大模型刚刚问世时,这样的质疑声音就在网络上广为流传。对于那些没有开源的AI大模型来说,则很难自证清白,为了证明自己不是调用ChatGPT的API,有的公司甚至搬出推理服务器,现场拔网线演示。

  开源无疑是AI大模型自证能力最好的途径之一。但开源的真正价值,并不是自证能力,而是要抢占生态。

  “LLaMA 2出来以后,肯定会迅速抢占OpenAI的生态。”一位大模型开发者对虎嗅表示,虽然GPT-4能力最强几乎是业界公认的,但GPT-3以后的模型都没有开源,且GPT-4的API接口开放程度也很低,所以对GPT模型的开发是有很多限制的。由此,很多开发者选择了LLaMA等开源模型,这些开源模型不仅可以进行指令微调,还可以对底层模型进行研究。

  “LLaMA在开发者中肯定比OpenAI更受欢迎。”

  7月19日LLaMA 2刚发布时,GitHub上关键词包括“LLaMA”的项目有5600多个,包括“GPT-4”的有4100多个。发布两周后,LLaMA的增速更快,截至发稿,“LLaMA”为6200多个,“GPT-4”为4400多个。

  另一方面,开源模型可以下载到本地进行私有化部署,这给商业化公司的AI训练提供了便利。这类公司的AI应用需要基于自己的业务数据进行训练,私有化部署的AI大模型,可以最大程度地保护数据安全。同时,私有化部署的算力选择更多,不管是云服务,还是本地部署,甚至是多个IDC的分布式算力,大大拉低了模型的训练、推理成本。

  虽然ChatGPT仅用2个月就收获了1亿月活用户,但在开发者生态中,开源模型抢占用户心智的速度,似乎更快。

  目前,国内很多AI公司都选择发布了开源模型。其中包括,智谱AI发布的开源模型ChatGLM-6B,复旦大学发布的MOSS,超对称公司发布的BBT-2乾元2大模型,智源研究院发布的悟道天鹰Aquila,以及百川智能的Baichuan-7B(13B)等。其中智谱AI发布的开源大模型ChatGLM-6B全球下载量超过400万,在GitHub上获得3.2万颗星,比LLaMA还多3000颗星。

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论