近期ChatGPT这类AI聊天机器人产品，毫无疑问已经让已经冷却了许久的人工智能重新吸引了大量的关注，孰强孰弱也成为了大家关注的重点。为了验证这些AI对话引擎的性能，安兔兔特别进行了一期针对性测试。
在AI领域，安兔兔之前就推出过针对手机NPU的AI性能专业测试软件“安兔兔AI评测(AITUTU)”。所以对于AI相关测试来说，安兔兔的AI专家相对于普通用户理解会相对更多一点，因此，我们此次测试的关注点和能力考察相对于普通测试会有些区别。
此次测试，安兔兔基于AI对话引擎能力点要求的不同，将测试分成了六大模块。这些模块分别是：“1.语言理解 \ 2.任务完成 \ 3.常识问题 \ 4.逻辑数学 \ 5.代码能力 \ 6.专业领域”。
这些模块的设计主要遵循了循序渐进的规则，例如语言理解是NLP对话基础的基础，一个AI引擎能否读懂用户发出的内容，决定了后续的工作能不能完成。而任务完成，则是考察从基础任务到相对困难的任务，AI引擎的具体执行能力。剩下的常识问题，逻辑数学，更多是考察引擎灌入训练的数据集是否足够庞大，再往后的代码能力和专业领域知识，则像是考察更加拔高的能力水平。我们换个说法，这就像是一个人从咿呀学语到蹒跚学步，再到学有所成，成长为专业人才的过程。
具体每个模块下，又有诸多细分，具体考题的评判标准分为四档：0/1/2/3，其中0为最差，3为最好，通过这样的分数能够直观的判断AI能力的差异。具体评分细节会在分类中给出。
但需要注意的是，由于无论百度的ERNIE 3.0、还是OpenAI的GPT-3.5 turbo和GPT-4均未开源，所以它们的底层逻辑是如何实现、RLHF调优是如何做到的，目前都处于黑箱状态，而且每次的回答均为机器实时运算得来，我们并不能确保每次的答案都完全相同。所以完全客观就变得难以实现，因此我们无法避免在部分模块中完全排除主观因素的影响，特此注明。
根据以上打分规则和考察内容，我们先揭晓结果，这三款引擎的总成绩如下：
很多人看到这个结果可能会说，这个结果我们也能猜到。但具体的原因，大概就不会有很多人了解了。下面的内容，安兔兔就为大家详细解析每项测试的具体测试目的，以及产生这样结果的原因。
详细测试过程和分模块成绩
1. 语言理解
可以说语言理解能力是NLP的主战场，这一部分的表现是各个大模型的基本盘。我们的测试既包括常见NLP的任务，比如文本摘要，阅读理解，关键信息抽取等，还有一些大模型擅长的文本生成能力，像写作生成等。由于大模型强大的端到端的处理能力，我们并未测试只关注中间结果的部分传统NLP的任务，比如实体识别，语法分析等。我们认为随着大模型的能力的提升，一些研究中间结果的NLP任务会逐渐弱化。此外，本次测试我们只关注中文的效果，并未考虑模型的多语言能力。
我们在这项测试中，细分了六项内容，分别为：
1. 写作生成：给一个简短要求，生成一定数量的文字。
2. 阅读理解：根据给定文本回答问题。
3. 复杂语义理解：双关类，修辞类，中文分词类，情绪类，谜语等问题。
4. 摘要生成：提供一定长度的话，让引擎产生摘要。
5. 信息提取：复杂文本中关键信息提取。
6. 多轮理解能力：3-10轮左右对话，对话内容主题有跳转，问题不考察太复杂的推理和常识。
对于每一道题来说，如果完全没理解问题则得0分;问题理解有偏差，回答出现部分错误则得1分;问题理解基本正确得2分;问题理解准确，回答超出预期则获得3分的满分。
先看结论
从此模块的结论上看，ChatGPT 4.0不出意外夺得魁首，但我们发现百度文心一言在此次评测中的表现其实并不算差，大部分项目都能与GPT-3.5 turbo持平，甚至某些项还略有超出。它的能力弱势，则主要集中在摘要生成和信息提取环节，这些大幅拉低了最终的得分，导致结果不太理想。
举个具体的例子，就能发现问题。
例如摘要生成环节中，我们用《史记》中的一篇《萧相国世家》原文854字内容作为输入，让AI产出摘要。此时ChatGPT的两版AI引擎均能精练、并总结翻译内容得出112字和199字的摘要，但文心一言似乎完全没看到我们在文章结尾“这段话产生摘要”的提示，直接将这篇古文的全文翻译、整个贴了过来，而且因为1000字的字数限制，只到1000字就意犹未尽的结束了对话。所以在这道题目的测试中，ChatGPT拿到了3分，文心一言则是0分。这样的结果就像在学生时代的考试，老师在评价试卷时会一而再、再而三的怒斥，“读题!请认真读题!”是的，文心一言此时就是那个不认真读题的孩子。
更有甚者，我们在测试中还见到了这样的
隔夜OpenAI再出“王炸”——宣布推出插件功能，赋予ChatGPT使用工具、联网、运行计算的能力。今日(3月24日)“AI+”继续霸占C位!热门概念ETF——大数据产业ETF(516700)再涨2.75%录四连阳，收盘价连续第3日刷新近一年最高纪录，自2022年10月12日反弹至今累涨超65%!
“AI+”主题持续虹吸引发市场关注。数据显示，今日日内成交额排名前三十个股中29股都是TMT行业。A股全天成交1.08万亿元，其中申万计算机行业成交接近1730亿元，创下记录以来历史天量，本周5个交易日均突破千亿;电子行业成交1301亿元，连续两日破千亿。
下面具体来看今天的行情复盘。
【市场热点回顾及解读】
今日大盘全天走势分化，中字头杀跌拖累沪指终结3连阳，创业板指则红盘震荡终结周线7连跌。板块方面，ChatGPT概念再度大涨，AIGC、CPO、算力芯片等其他方向同步大涨，消费电子补涨走升;下跌方面，中字头再度大幅回撤，中药股明显下滑，芯片股集体走弱。
截至收盘，上证指数跌0.64%报3265.65点，深证成指涨0.25%，创业板指涨0.38%。A股全天成交1.08万亿元，2月2日以来首次连续两日破万亿。北向资金全天小幅净卖出2.34亿元，终结连续8日净买入，本周北向资金累计加仓近110亿元。
此前沪强深弱格局被打破，本周沪指小涨0.46%，深成指涨3.16%，创业板指涨3.34%。
从个股表现来看，A股市场共2376只个股上涨，2530只下跌，206只持平，赚钱效应好。
主力资金继续猛攻科技方向。在31个申万一级行业中，计算机净流入92亿元居首，传媒净流入超51亿元次之，电子净流入23亿元位列第三;净流出方面，建筑装饰、医药生物净流额超20亿元居前。
【ETF全知道热点收评】今日重点聊聊大数据产业、港股互联网两个板块主题的交易和基本面情况。
一、【大数据产业ETF(516700)】
AI+主题今日继续称霸两市，大数据产业链午前突然发力，中证大数据产业指数昂扬向上，午后一度涨超3%，成份股东方国信飙涨11.64%，首都在线涨8.54%，易华录涨超7%，权重股科大讯飞、浪潮信息涨幅均超5%。
热门概念ETF方面，大数据产业ETF(516700)再涨2.75%斩获四连阳，周涨6.47%，收盘价连续收录近一年以来新高!
行情数据显示，截至收盘，大数据产业ETF(516700)自2022年10月12日反弹至今累涨超65%，年初至今涨幅近37%!
资金面上，主力资金连续第3日爆买计算机行业，单日增仓逾92亿元，近5日累计净买入逾282亿元，无疑成为近期主力最青睐行业。据统计，大数据产业ETF(516700)跟踪的中证大数据产业指数中，计算机成份股权重超9成。
消息面上，当地时间3月24日，OpenAI甩出一个“王炸”——宣布推出插件功能，赋予ChatGPT使用工具、联网、运行计算的能力。OpenAI还宣布部分解除了ChatGPT无法联网的限制，现在用户能直接检索到最新新闻。
天风证券指出，ChatGPT有望带动数据快速增长，AI运算贯穿云-边-端。根据IDC预计，全球数据总量预期2026年将超过221,000exabyte，2021-2026年年复合增长率达到21.2%。
招商证券研报表示，在国家顶层规划下，数字经济已成我国未来5年至10年最重要的发展战略之一。国泰君安证券认为，2023年将是数字经济相关政策推动实施的大年，数字经济有望迎来持续的政策催化和基本面反转，有望成为全年的投资主线。
据统计，大数据产业ETF(516700)跟踪中证大数据产业指数，其中计算机成份股权重超9成，全面覆盖AI、云计算、信创、数字经济、网络安全等细分赛道。
二、【港股互联网ETF(513770)】
港股方面，今日三大指数全天震荡分化，恒生科指表现较强，盘中一度涨逾2%，截至收盘，恒生指数跌0.67%;恒生科技指数涨0.62%。
盘面上，互联网医疗股表现较好，行业再迎利好政策。中办、国办印发了《关于进一步完善医疗卫生服务体系的意见》，其中提到：发展“互联网+医疗健康”，建设面向医疗领域的工业互联网平台，加快推进互联网、区块链、物联网、人工智能、云计算、大数据等在医疗卫生领域中的应用，加强健康医疗大数据共享交换与保障体系建设。
平安好医生收涨6.16%，盘中最高涨超8%;医脉通涨超4%，医渡科技、阿里健康均涨超3%，此外，金山软件，中国软件国际、阅文集团等涨幅居前。大型互联网巨头普涨，小米涨近2%，快手、腾讯均飘红。
热门ETF方面，跟踪港股通互联网板块行情的港股互联网ETF(513770)早盘高开后冲高回落，盘中一度涨近4%，收涨1.56%，喜提四连阳，四日累计涨幅达9.7%，全天成交额2.49亿元。
资金面上，南向资金再度大幅流入，今日南向资金净买入61.51亿港元，为连续第13日净买入，3月以来已累计流入超417.15亿港元，远超2月整月流入额(82.27亿港元)，呈加速布局态势。
行业消息方面，昨日晚间3月份国产网络游戏版号发布，共有86款国产网络游戏获批，腾讯、网易连续五个月获得版号，游戏行业复苏迎加速催化。中信建投研报提出，游戏行业与AIGC具有天然适配性，有望带来游戏行业新一轮爆发，同时给游戏行业带来变革式影响。
华泰证券表示，伴随消费复苏进程，预计优质互联网标的4Q业绩和1Q展望有望符合甚至超出市场预期。板块方面，今年上半年游戏和广告板块或迎来需求的加速恢复，而电商平台竞争风向正在从大促峰值目标转向常态化经营效率，这或使得行业季节性减弱、淡季GMV增速抬升。互联网行业底部再现，反弹声浪即将开始。
中泰国际表示，AH溢价指数显示H股相对A股的估值优势再度凸显，港股有望受惠海外金融风险缓和，叠加流动性预期改善的双重利好，2月以来深度调整的指数或权重股有望反弹。
资料显示，港股互联网ETF(513770)跟踪中证港股通互联网指数(931637)，权重股汇聚腾讯控股、美团、小米集团、快手等不同互联网细分赛道龙头公司，其中持仓腾讯控股、美团、小米集团、快手、京东健康权重超60%，前十大成份股权重近80%，重手聚焦互联网巨头企业，备受南向资金青睐，经济复苏大势下经营业绩有望迎来回暖。
情况，当一道题文心一言不会时，就会很实诚的说到， “作为一个人工智能语言模型，我还没学习如何回答这个问题，您可以向我问一些其它的问题，我会尽力帮您解决的。” 要知道ChatGPT的原则，是每个问题都会给出回答，即便不会、也会给乱编一通。 这让我不禁想到了当年语文老师曾经说过的话，“不会就编啊，随便编一些，多少也会给点分!”
说过差的部分，我们再来看看文心的优势项。例如多轮理解，就是考察的是AI聊天机器人颇受关注的一项能力。对于寻求答案的用户，一个简单的关键词往往难以概括所思所想，此时多轮对话能力就可以帮助他们来整理思绪，并在此过程中获得更适合自己的结果。而AI理解用户的深层意图、并提供反馈，这是多轮理解能力的核心。在这项测试中，我们发现百度文心一言在涉及到古文和中国传统内容时，输出的内容就丝毫不弱ChatGPT。
我们认为，在这个环节文心需要改进的地方在于，首先，当面对用户进行超长内容输入时，应该尽量关注在文字最后结尾处的内容(条件)，也就是用户对以上文字所提出的要求。而不要被过长的文字内容所干扰，故而造成回答错误。其次，未尝不可学习一下ChatGPT不要脸的部分，当一道题不会的时候，也可以根据当前已知数据的判断，一本正经的编个答案出来，毕竟，有答案就有可能不是0分，而不回答，肯定拿不到分。