0°

马斯克开源Grok意在报复OpenAI

  马斯克宣布开源Grok模型后,国内科技圈一片沸腾。因为按照周鸿祎说的,只要给开源,中国就能立即赶超世界领先水平。

  但如果静下心来好好研究一下整起事件会发现,开眼Grok对于中国的AI产业而言,帮助并没有想象中的那么大。

  开源Grok

  Grok是马斯克创立的人工智能工具,现已开源,代码版本现已在GitHub上发布。

  马斯克此前曾表示,此举将允许开发人员和研究人员研究该模型并在其基础上进行构建,并可能影响其未来的迭代。

  Grok由马斯克的xAI所有,标志着这位企业家第二次涉足人工智能领域。 他是OpenAI的联合创始人之一,该公司是ChatGPT背后的公司,他现在正在起诉该公司,据称该公司放弃了最初的利他主义意图。

  正如承诺的那样,马斯克开源了xAI聊天机器人Grok-1的模型。

  xAI 网站上的一篇博客文章描述了Grok-1的开放版本如何包含底层模型(称为 Mixture-of-Experts)的“权重和网络架构”。该博客还解释说,该模型尚未针对任何特定目的(例如对话)进行微调。

  它是根据Apache 2.0许可证发布的,该许可证允许商业使用和分发,但不提供任何保证或责任,并且不能注册商标。还必须复制原始许可和版权声明,并注明开发人员所做的任何更改。

  同时,马斯克也没有提供训练数据,这意味着用户无法找出模型在开发过程中使用的数据。它还不包括与X(FKA Twitter)实时数据的连接,这是马斯克过去吹嘘的属性,除非用户是X平台的付费订阅者。

  Grok于去年10月完成,并使用JAX和Rust 作为定制训练堆栈的基础进行开发。据称,它采用了一种新颖的神经网络方法,并且每个代币仅使用其权重的四分之一,这意味着从理论上讲,它比竞争对手更有效和高效。

  批评者指出基准测试中的表现相对黯淡;虽然Grok是一个大模型,但从一些工程师的观察来看,它的表现很差。

  有第三方测评显示,Grok-1的性能仅仅在GPT-3.5的基础上有所改进,但却远远落后最新的GPT-4。甚至连Palm-2和Cladue-2都比不过。

  从它的规模来看,即使有3140亿个参数,它仍然需要赶上OpenAI的 GPT-4,后者在最新统计中拥有1.76万亿个参数。

  值得注意的是, Grok可以通过X.com访问每个人的Xeets的实时数据语料库,这应该会在未来几天进行一些有趣的实验。

  Grok对于马斯克社交媒体平台X的用户来说很熟悉,订阅者可以向聊天机器人提问并获得答案。

  此次发布恰逢OpenAI的GPT-4模型发布一周年之际,马斯克与他的前人工智能朋友之间的法律纠纷仍然存在。本月初,马斯克起诉OpenAI,声称该公司尽管名为OpenAI,但其信息却几乎没有公开。OpenAI回应称,发布了大量电子邮件,声称马斯克完全了解其计划,并希望将其并入特斯拉。

  xAI尚未发布的内容也值得注意。Grok-1权重已经存在,但用于训练的数据却无法在同一许可证下获得。

  开源生成人工智能工具已被证明是有争议的。一些开发人员担心,提供该技术可能会带来滥用风险,而另一些开发人员则指出了透明度的固有好处。

  Meta去年开源了(某种程度上)其 Llama 2 模型,其他公司也纷纷效仿。 另一方面,OpenAI绝对没有。

  通过开放Grok-1获得的权重,马斯克试图在OpenAI专有世界的对立阵营中插上一面旗帜。至于它的最终性能,就像马斯克接触的一切一样,它可能会走向任何一个方向。

  马斯克与OpenAI的恩怨

  很明显,马斯克这次开源Grok,他的主要目的是针对OpenAI最新的闭源模式。无论是GPT-4还是前不久火爆全球的Sora,OpenAI都没有像之前的GPT-3.5那样采用开源模式。这使得一些依赖开源资源发展的科技公司束手无策。

  说到马斯克与OpenAI的矛盾,事情要追溯到疫情前。马斯克原本是OpenAI的投资者之一,但因为过早的退出使得自己错失一个时代性风口。

  根据OpenAI的官方描述,公司原本是一个非营利性组织。当初,公司总共从马斯克那里筹集了不到4500万美元,从其他捐助者那里筹集了超过9000万美元。

  2015年底创办OpenAI时,Greg和Sam最初计划筹集1亿美元。马斯克在一封电子邮件中表示:“我们需要提供比1亿美元更多的资金,以避免听起来绝望……我认为我们应该说我们从10亿美元的资金承诺开始……我将承担其他人没有提供的任何资金 ”。

  当时,创始团队花了很多时间试图找到一条行得通的人工智能发展之路。2017 年初,创始团队意识到构建AGI将需要大量计算。于是,便开始评估AGI可能需要多少计算量。最后发现,公司需要更多的资金才能成功完成使命——每年数十亿美元。这远远超出了投资人和创始团队的预估,尤其是马斯克,他认为公司作为非营利组织能够筹集到的资金。

  创始团队和马斯克认识到需要一个营利性实体来获取这些资源。当讨论以营利为目的的结构以进一步实现使命时,马斯克希望能与特斯拉合并,已实现自己对公司的完全控制。后来这事没谈拢,马斯克选择离开OpenAI,并表示需要有一个与Google/DeepMind相关的竞争对手,而他将自己做这件事。

  2017年底,那时公司的下一步的任务是创建一个营利性实体。马斯克想要获得多数股权、初始董事会控制权并担任首席执行官。在这些讨论期间,他扣留了资金导致运营困难。最后是由里德·霍夫曼弥补了工资和运营方面的缺口。

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论