0°

ChatGPT访问量首次下滑,“降温”背后大模型需要冷思考

  大模型似乎没那么“热”了。今年6月,ChatGPT访问量环比下滑9.7%,为其推出以来首次下滑。从全球范围看,尽管不断有企业发布或更新大模型,但媒体和公众似乎没那么“上头”了。

  在昨天举行的2023世界人工智能大会青年优秀论文奖颁奖仪式暨青年科学家论坛上,复旦大学计算机科学技术学院教授邱锡鹏直言,虽说是“百模大战”,但各家大模型之间同质化严重,实质性的创新比较少。事实上,大模型远未到变成一个单纯的工程问题的时候,距离人们理想中的通用人工智能,其本身还有许多科学问题亟待解决。

  “百模大战”其实是挤同一条赛道

  “大模型还有科学价值吗?”邱锡鹏在开场白中似乎就给大模型浇了一盆冷水。大模型的爆火并非偶然,是几十年科研不断推进的结果,但在ChatGPT爆火后,一个明显的变化是这一领域中科学进步少了,大家都寄希望于通过工程手段“大力出奇迹”。

  比如,现在几乎所有的大模型预训练都基于Transformer架构,这固然是一个非常好用的架构,但其弊端也愈发显现,它所耗费的计算资源非常庞大,需要超级算力的支撑。

  另外,生成范式成为主流,这使得想要使用大模型,就必须将自己的任务变成生成式的,即便是那些非常复杂的结构化预测问题也都要用生成式方法解决。甚至,连生成式范式也在趋向统一,原先还有Seq2Seq(一种用于序列到序列的深度学习模型)和LM(语言模型)两大类,现在只剩下后者。

  而且,研究领域也在萎缩。邱锡鹏说,以自然语言处理(NLP)为例,2015年之前,这个领域还有多个不同方向,比如对话、问答、机器翻译等,那时的学者各自有着自己的研究,并从别的研究领域中获得灵感,而现在大家都涌向大语言模型这条单一赛道。

  大模型面临“十大科学挑战”

  尽管大模型展现出通往通用人工智能的潜力,但这条路并不好走。邱锡鹏列出了大模型亟需解决的“十大科学挑战”,包括架构设计、思维链、幻觉、多模态延展、自动化评价、平民化等。其中,大模型的架构创新是当务之急。邱锡鹏说,大模型之所以称为大模型,是因为其庞大的数据量使其拥有了涌现的能力,虽然人们至今不知道涌现是如何发生的,但是否有涌现是区别大模型与小模型的主要特征。换言之,想要大模型更智能,继续扩大其规模是一条显而易见的路。

  但是,当下主流的Transformer架构已经制约了模型的进一步扩大。这是因为Transformer的复杂度是输入字符长度的平方级,每多输入一个字符,计算量就会以指数级增长。因此,“只有找到更高效的新架构,才能支持未来模型规模的进一步扩张。”

  另一个对大模型发展至关重要的问题是评价体系。尽管当下有许多测评大模型优劣的榜单,但业内对此并没有形成统一标准。而且对于擅长“刷题”的大模型来说,很多数据集上的表现已不足以衡量其真实能力。

  颠覆性创新常在“冷门”处

  深入研究创新规律不难发现,越是扎堆的“热门”圈子,往往难出颠覆性创新成果,ChatGPT本身就是个“冷门选手”爆火的案例。在其火遍全球之前,在大语言模型领域,谷歌的“理解与生成相结合”的路线是绝对的主流,在这种情况下,研发ChatGPT的OpenAI公司仍然选择坚持走自己的路。

  现在,原本默默无闻的生成式AI成为了“顶流”。当人们一哄而上投入其中时,仍有一部分人还在坚持以IBM沃森机器人为代表的“AI符号主义”技术路线。以“爆款”常偏爱“冷门”的创新规律来看,或许未来的“核爆点”会奖励默默坚持的“少数派”。

  事实上,获得今年世界人工智能大会最高奖项SAIL奖(卓越人工智能引领者奖)的论文《机器学习结合阻抗谱技术预测锂电池老化》,就不是一个关于大模型的研究。文章第一作者、中山大学物理学院副教授张云蔚说,她只采集了2万个电化学阻抗谱,就实现了AI精准建模。比起海量数据,更重要的是思路。就是这样一个小模型,将过去需要花费几天才能实现的电池寿命预测缩短到了15分钟,且检测精度是原来的10倍。

  在大模型爆火的半年多时间里,大家似乎形成了一种共识,即只有资金雄厚和数据储备充足的大厂才有进军大模型的资格。对此,邱锡鹏认为,大模型还有大量科学问题需要攻关,这些问题除了预训练阶段需要耗费大算力外,在对齐、指令微调等方面所需的算力并不高。而随着算法的优化,3090显卡足以能完成大模型的研究,这是一条小公司也能“出奇迹”的赛道。

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论