0°

ChatGPT大动作,天量资金直奔“AI+”,概念ETF阶段累涨65%!利好频发,港股互联网ETF斩获四连阳

  近期ChatGPT这类AI聊天机器人产品,毫无疑问已经让已经冷却了许久的人工智能重新吸引了大量的关注,孰强孰弱也成为了大家关注的重点。为了验证这些AI对话引擎的性能,安兔兔特别进行了一期针对性测试。

  在AI领域,安兔兔之前就推出过针对手机NPU的AI性能专业测试软件“安兔兔AI评测(AITUTU)”。所以对于AI相关测试来说,安兔兔的AI专家相对于普通用户理解会相对更多一点,因此,我们此次测试的关注点和能力考察相对于普通测试会有些区别。

  此次测试,安兔兔基于AI对话引擎能力点要求的不同,将测试分成了六大模块。这些模块分别是:“1.语言理解 \ 2.任务完成 \ 3.常识问题 \ 4.逻辑数学 \ 5.代码能力 \ 6.专业领域”。

  这些模块的设计主要遵循了循序渐进的规则,例如语言理解是NLP对话基础的基础,一个AI引擎能否读懂用户发出的内容,决定了后续的工作能不能完成。而任务完成,则是考察从基础任务到相对困难的任务,AI引擎的具体执行能力。剩下的常识问题,逻辑数学,更多是考察引擎灌入训练的数据集是否足够庞大,再往后的代码能力和专业领域知识,则像是考察更加拔高的能力水平。我们换个说法,这就像是一个人从咿呀学语到蹒跚学步,再到学有所成,成长为专业人才的过程。

  具体每个模块下,又有诸多细分,具体考题的评判标准分为四档:0/1/2/3,其中0为最差,3为最好,通过这样的分数能够直观的判断AI能力的差异。具体评分细节会在分类中给出。

  但需要注意的是,由于无论百度的ERNIE 3.0、还是OpenAI的GPT-3.5 turbo和GPT-4均未开源,所以它们的底层逻辑是如何实现、RLHF调优是如何做到的,目前都处于黑箱状态,而且每次的回答均为机器实时运算得来,我们并不能确保每次的答案都完全相同。所以完全客观就变得难以实现,因此我们无法避免在部分模块中完全排除主观因素的影响,特此注明。

  根据以上打分规则和考察内容,我们先揭晓结果,这三款引擎的总成绩如下:

  很多人看到这个结果可能会说,这个结果我们也能猜到。但具体的原因,大概就不会有很多人了解了。下面的内容,安兔兔就为大家详细解析每项测试的具体测试目的,以及产生这样结果的原因。

  详细测试过程和分模块成绩

  1. 语言理解

  可以说语言理解能力是NLP的主战场,这一部分的表现是各个大模型的基本盘。我们的测试既包括常见NLP的任务,比如文本摘要,阅读理解,关键信息抽取等,还有一些大模型擅长的文本生成能力,像写作生成等。由于大模型强大的端到端的处理能力,我们并未测试只关注中间结果的部分传统NLP的任务,比如实体识别,语法分析等。我们认为随着大模型的能力的提升,一些研究中间结果的NLP任务会逐渐弱化。此外,本次测试我们只关注中文的效果,并未考虑模型的多语言能力。

  我们在这项测试中,细分了六项内容,分别为:

  1. 写作生成:给一个简短要求,生成一定数量的文字。

  2. 阅读理解:根据给定文本回答问题。

  3. 复杂语义理解:双关类,修辞类,中文分词类,情绪类,谜语等问题。

  4. 摘要生成:提供一定长度的话,让引擎产生摘要。

  5. 信息提取:复杂文本中关键信息提取。

  6. 多轮理解能力:3-10轮左右对话,对话内容主题有跳转,问题不考察太复杂的推理和常识。

  对于每一道题来说,如果完全没理解问题则得0分;问题理解有偏差,回答出现部分错误则得1分;问题理解基本正确得2分;问题理解准确,回答超出预期则获得3分的满分。

  先看结论

  从此模块的结论上看,ChatGPT 4.0不出意外夺得魁首,但我们发现百度文心一言在此次评测中的表现其实并不算差,大部分项目都能与GPT-3.5 turbo持平,甚至某些项还略有超出。它的能力弱势,则主要集中在摘要生成和信息提取环节,这些大幅拉低了最终的得分,导致结果不太理想。

  举个具体的例子,就能发现问题。

  例如摘要生成环节中,我们用《史记》中的一篇《萧相国世家》原文854字内容作为输入,让AI产出摘要。此时ChatGPT的两版AI引擎均能精练、并总结翻译内容得出112字和199字的摘要,但文心一言似乎完全没看到我们在文章结尾“这段话产生摘要”的提示,直接将这篇古文的全文翻译、整个贴了过来,而且因为1000字的字数限制,只到1000字就意犹未尽的结束了对话。所以在这道题目的测试中,ChatGPT拿到了3分,文心一言则是0分。这样的结果就像在学生时代的考试,老师在评价试卷时会一而再、再而三的怒斥,“读题!请认真读题!”是的,文心一言此时就是那个不认真读题的孩子。

  更有甚者,我们在测试中还见到了这样的

  隔夜OpenAI再出“王炸”——宣布推出插件功能,赋予ChatGPT使用工具、联网、运行计算的能力。今日(3月24日)“AI+”继续霸占C位!热门概念ETF——大数据产业ETF(516700)再涨2.75%录四连阳,收盘价连续第3日刷新近一年最高纪录,自2022年10月12日反弹至今累涨超65%!

  “AI+”主题持续虹吸引发市场关注。数据显示,今日日内成交额排名前三十个股中29股都是TMT行业。A股全天成交1.08万亿元,其中申万计算机行业成交接近1730亿元,创下记录以来历史天量,本周5个交易日均突破千亿;电子行业成交1301亿元,连续两日破千亿。

  下面具体来看今天的行情复盘。

  【市场热点回顾及解读】

  今日大盘全天走势分化,中字头杀跌拖累沪指终结3连阳,创业板指则红盘震荡终结周线7连跌。板块方面,ChatGPT概念再度大涨,AIGC、CPO、算力芯片等其他方向同步大涨,消费电子补涨走升;下跌方面,中字头再度大幅回撤,中药股明显下滑,芯片股集体走弱。

  截至收盘,上证指数跌0.64%报3265.65点,深证成指涨0.25%,创业板指涨0.38%。A股全天成交1.08万亿元,2月2日以来首次连续两日破万亿。北向资金全天小幅净卖出2.34亿元,终结连续8日净买入,本周北向资金累计加仓近110亿元。

  此前沪强深弱格局被打破,本周沪指小涨0.46%,深成指涨3.16%,创业板指涨3.34%。

  从个股表现来看,A股市场共2376只个股上涨,2530只下跌,206只持平,赚钱效应好。

  主力资金继续猛攻科技方向。在31个申万一级行业中,计算机净流入92亿元居首,传媒净流入超51亿元次之,电子净流入23亿元位列第三;净流出方面,建筑装饰、医药生物净流额超20亿元居前。

  【ETF全知道热点收评】今日重点聊聊大数据产业、港股互联网两个板块主题的交易和基本面情况。

  一、【大数据产业ETF(516700)】

  AI+主题今日继续称霸两市,大数据产业链午前突然发力,中证大数据产业指数昂扬向上,午后一度涨超3%,成份股东方国信飙涨11.64%,首都在线涨8.54%,易华录涨超7%,权重股科大讯飞、浪潮信息涨幅均超5%。

  热门概念ETF方面,大数据产业ETF(516700)再涨2.75%斩获四连阳,周涨6.47%,收盘价连续收录近一年以来新高!

  行情数据显示,截至收盘,大数据产业ETF(516700)自2022年10月12日反弹至今累涨超65%,年初至今涨幅近37%!

  资金面上,主力资金连续第3日爆买计算机行业,单日增仓逾92亿元,近5日累计净买入逾282亿元,无疑成为近期主力最青睐行业。据统计,大数据产业ETF(516700)跟踪的中证大数据产业指数中,计算机成份股权重超9成。

  消息面上,当地时间3月24日,OpenAI甩出一个“王炸”——宣布推出插件功能,赋予ChatGPT使用工具、联网、运行计算的能力。OpenAI还宣布部分解除了ChatGPT无法联网的限制,现在用户能直接检索到最新新闻。

  天风证券指出,ChatGPT有望带动数据快速增长,AI运算贯穿云-边-端。根据IDC预计,全球数据总量预期2026年将超过221,000exabyte,2021-2026年年复合增长率达到21.2%。

  招商证券研报表示,在国家顶层规划下,数字经济已成我国未来5年至10年最重要的发展战略之一。国泰君安证券认为,2023年将是数字经济相关政策推动实施的大年,数字经济有望迎来持续的政策催化和基本面反转,有望成为全年的投资主线。

  据统计,大数据产业ETF(516700)跟踪中证大数据产业指数,其中计算机成份股权重超9成,全面覆盖AI、云计算、信创、数字经济、网络安全等细分赛道。

  二、【港股互联网ETF(513770)】

  港股方面,今日三大指数全天震荡分化,恒生科指表现较强,盘中一度涨逾2%,截至收盘,恒生指数跌0.67%;恒生科技指数涨0.62%。

  盘面上,互联网医疗股表现较好,行业再迎利好政策。中办、国办印发了《关于进一步完善医疗卫生服务体系的意见》,其中提到:发展“互联网+医疗健康”,建设面向医疗领域的工业互联网平台,加快推进互联网、区块链、物联网、人工智能、云计算、大数据等在医疗卫生领域中的应用,加强健康医疗大数据共享交换与保障体系建设。

  平安好医生收涨6.16%,盘中最高涨超8%;医脉通涨超4%,医渡科技、阿里健康均涨超3%,此外,金山软件,中国软件国际、阅文集团等涨幅居前。大型互联网巨头普涨,小米涨近2%,快手、腾讯均飘红。

  热门ETF方面,跟踪港股通互联网板块行情的港股互联网ETF(513770)早盘高开后冲高回落,盘中一度涨近4%,收涨1.56%,喜提四连阳,四日累计涨幅达9.7%,全天成交额2.49亿元。

  资金面上,南向资金再度大幅流入,今日南向资金净买入61.51亿港元,为连续第13日净买入,3月以来已累计流入超417.15亿港元,远超2月整月流入额(82.27亿港元),呈加速布局态势。

  行业消息方面,昨日晚间3月份国产网络游戏版号发布,共有86款国产网络游戏获批,腾讯、网易连续五个月获得版号,游戏行业复苏迎加速催化。中信建投研报提出,游戏行业与AIGC具有天然适配性,有望带来游戏行业新一轮爆发,同时给游戏行业带来变革式影响。

  华泰证券表示,伴随消费复苏进程,预计优质互联网标的4Q业绩和1Q展望有望符合甚至超出市场预期。板块方面,今年上半年游戏和广告板块或迎来需求的加速恢复,而电商平台竞争风向正在从大促峰值目标转向常态化经营效率,这或使得行业季节性减弱、淡季GMV增速抬升。互联网行业底部再现,反弹声浪即将开始。

  中泰国际表示,AH溢价指数显示H股相对A股的估值优势再度凸显,港股有望受惠海外金融风险缓和,叠加流动性预期改善的双重利好,2月以来深度调整的指数或权重股有望反弹。

  资料显示,港股互联网ETF(513770)跟踪中证港股通互联网指数(931637),权重股汇聚腾讯控股、美团、小米集团、快手等不同互联网细分赛道龙头公司,其中持仓腾讯控股、美团、小米集团、快手、京东健康权重超60%,前十大成份股权重近80%,重手聚焦互联网巨头企业,备受南向资金青睐,经济复苏大势下经营业绩有望迎来回暖。

情况,当一道题文心一言不会时,就会很实诚的说到, “作为一个人工智能语言模型,我还没学习如何回答这个问题,您可以向我问一些其它的问题,我会尽力帮您解决的。” 要知道ChatGPT的原则,是每个问题都会给出回答,即便不会、也会给乱编一通。 这让我不禁想到了当年语文老师曾经说过的话,“不会就编啊,随便编一些,多少也会给点分!”

  说过差的部分,我们再来看看文心的优势项。例如多轮理解,就是考察的是AI聊天机器人颇受关注的一项能力。对于寻求答案的用户,一个简单的关键词往往难以概括所思所想,此时多轮对话能力就可以帮助他们来整理思绪,并在此过程中获得更适合自己的结果。而AI理解用户的深层意图、并提供反馈,这是多轮理解能力的核心。在这项测试中,我们发现百度文心一言在涉及到古文和中国传统内容时,输出的内容就丝毫不弱ChatGPT。

  我们认为,在这个环节文心需要改进的地方在于,首先,当面对用户进行超长内容输入时,应该尽量关注在文字最后结尾处的内容(条件),也就是用户对以上文字所提出的要求。而不要被过长的文字内容所干扰,故而造成回答错误。其次,未尝不可学习一下ChatGPT不要脸的部分,当一道题不会的时候,也可以根据当前已知数据的判断,一本正经的编个答案出来,毕竟,有答案就有可能不是0分,而不回答,肯定拿不到分。

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论