【新智元导读】破解「CloseAI」，ChatGPT克隆羊问世!0门槛实现「自研」，从此大语言模型不再只是少数大公司的「金手指」。
此前，OpenAI不Open的事件，已经引发了坊间的诸多争议。
光放出基准和测试结果，不提供训练数据、成本、方法，是真的要「赢家通吃」了。
眼看大语言模型似乎要被巨头公司垄断，如今忽然杀出一个初创公司，给了OpenAI一枪——用60亿参数的「Dolly」实现了和ChatGPT相似的能力。
没错，我们现在只需要准备一些高质量的训练数据，再随便拿一个开源的大语言模型，训练30分钟后，就能得到一个ChatGPT「平替」!
对此，Databricks自豪地表示，Dolly的发布，就是自己在人工智能技术民主化道路上打响的第一弹。
60亿参数堪比ChatGPT，30分钟就训好
由于ChatGPT需要消耗大量的数据和算力资源(利用数万个单词训练，消耗大量GPU)，所以这类大语言模型注定只能被少量巨头所掌握。
和「CloseAI」相反，Meta在今年3月向学术界发布了一组高质量(但不是指令跟随的)语言模型LLaMA，每个模型的训练时间超过了80,000个GPU小时。
随后，斯坦福大学基于LLaMA构建了Alpaca，但不同之处在于，它利用一个包含50,000个问题和答案的小数据集进行了微调。令人惊讶的是，这使得Alpaca具有了类似于ChatGPT的交互性。
而Dolly正是受到了Alpaca的启发。
更有趣的是，拥有60亿参数的Dolly并没有利用现在最新的模型，而是选择了一个2021年发布的开源模型——GPT-J。
由于Dolly本身是一个模型的「克隆」，所以团队最终决定将其命名为「多利」——有史以来第一个被克隆的动物。
与当前的大型语言模型(如GPT-3)相比，Dolly允许用户使用更小、更专业的模型，「复刻」ChatGPT的能力。
毕竟对于那些细分用户来说，能够利用针对本行业进行过精调的模型，可以大大增加性能和准确性。
尽管Databricks与OpenAI并无直接竞争关系，但它似乎试图通过证明构建类似ChatGPT这样的服务并非看起来那么困难，来抢占OpenAI的风头。
尤其是，OpenAI采取了「规模越大越好」的方法来开发语言模型，并对其工作越来越保密。
而Databricks除了将Dolly作为开源软件发布外，还强调Dolly只有60亿个参数(在训练过程中微调的语言模型部分)，OpenAI的GPT-3模型有1750亿个参数。(OpenAI并未透露GPT-4的参数数量)。
让老模型，涅槃重生
根据InstructGPT论文中描述的指令跟随能力对Dolly进行评估后发现，它在很多能力上的表现和ChatGPT十分类似，包括文本生成、头脑风暴和开放式问答。
在这些例子中，值得注意的不是生成文本的质量，而是在一个小型的高质量数据集上，微调一个旧的开源模型所带来的指令跟随能力的巨大改进。
内容生成
比如，写一条Databricks官宣大规模语言模型Dolly发布的推特。
可以看到，原始的60亿参数模型(GPT-J)所生成的内容驴唇不对马嘴，而Dolly则给出了一个完全可用的推文——
不仅内容符合要求，而且还贴心地加上了标签，以及提醒你记得加入发布的链接。
对于这一题，ChatGPT给出的答案也是符合期待的，相比于Dolly，ChatGPT给出的推文包含更多评述性词句，并且给出的标签更加精准具体，但整体差距不大。