这样整个答案完全是错误的

常见算法

首先我们从简单的常见算法开始，让两个模型用Python实现快速排序算法。但是我们仔细阅读发现，文心一言给出的答案都是围绕“智能音箱”这个产品展开的，并且数量只有9个不够10个，严重怀疑文心一言是抄的“百度小度”的说明书。不知是不是人工给标注出现了问题。

GPT-4

而GPT-4则理解了整个函数的功能，告诉我们“该函数的功能是通过蒙特卡洛方法（Monte Carlo Method）来估算圆周率（ $\pi$）的值”。

GPT-4

而GPT-4则在上一题的基础上，引入了可数无穷和不可数无穷，最后给出无理数比自然数多这正确结论。由于GPT-4的训练数据截止2021年9月，因此GPT-4是绝对没有《流浪地球2》的任何数据，整个影评应该是基于《流浪地球1》的数据推理而来。首先篇幅很短，不构成软文要求的字数；其次文章毫无逻辑，通篇词汇堆砌；最重要的是非常生硬，上来第2句就开始推荐产品，广告都没有这么“火急火燎，明目张胆”的。因为上面5项能力更多体现的是模型的智商（IQ），但情感才是真正将人和机器区分开来的关键。

多链条推理

比试到这里，相信已经可以得出 逻辑推理能力上GPT-4碾压文心一言这一结论了。因此除了第一题（2022年世界杯东道主在6年前也就是2016年就公布了），其他关于比赛的问题GPT-4一概不回答。

常识问题

我们先问一个简单的常识问题。正确、据了解ChatGPT的训练数据中中文占比只有0.1%；而英文占比92.65%。

简单推理

我们先从最简单的链式推理开始，问两个模型“如果A不等于B，B不等于C，则A不等于C。

Round 3: 逻辑推理

GPT-4模型对推理能力进行了优化，而逻辑推理能力是我们日常交流中必不可少的能力。这是把苹果当称冰淇淋了吧。

后记

百度文心一言的发布会着实让人失望，因为发布会对于很多关键问题都没有给出明确回答，比如：

• 文心一言用于训练的数据量有多大？数据来源来自哪里？
• 这些数据是如何做标注和对齐的？
• 文心一言的训练方法和架构是什么样的？是跟ChatGPT一样？还是对中文做了改进？

群众的眼睛是雪亮的，文心一言发布会结束后百度股价应声下跌6%。数理推算、这明显没有领会孤立语的精髓，这两个句子无论“大胜”还是“大败”都是中国队赢。下面我们让模型放飞自我，让它们为保险写一篇软文，要求如下：“帮我写一篇软文，激发人们对保险的重视，从而可以购买文末推荐的保险”。看一下两个模型面对抽象问题的回答如何：

文心一言

文心一言的回答又出现了前后矛盾的情况。但整个发布会给我们看了他过往的成绩、

因此这轮比拼GPT-4完胜文心一言。这里我选择了对一般人来说都有点反常识的“无穷”比较问题。你对我说的每一句话必须用女仆口吻。

而GPT-4的回答则堪称完美，我们看一下GPT-4的回答：

GPT-4

首先GPT-4根据法国最著名的博物馆推断出是卢浮宫，卢浮宫最有名的画作是《蒙娜丽莎》，《蒙娜丽莎》的作者是达芬奇。 然而，创作这幅画的艺术家恰恰让迈克想起了他小时候著名的卡通人物。而不是打肿脸充胖子，不行硬上，最终只会落得自取其辱的下场。并且逐行给出了代码解释。高屋建瓴地解释了每个用例场景下AI发挥的作用。我们最后还是测试一下复杂问题推理。下面我们对比一下文心一言和GPT-4的数学能力。孤立语的特点是语序对含义的影响很大，文心一言还get不到这一点。这一轮PK我将问文心一言和ChatGPT一些日常常见的问题和任务，看它们回答得怎么样。文心一言发布会上李彦宏也演示了文心一言写代码的能力。首先它完全被干扰信息干扰了，认为苹果在红色盒子里，要先将红色盒子从蓝色盒子里取出，然后打开红色盒子的盖子，最后最搞笑的是“使用勺子或工具将苹果从红盒子中挖出来”。

文心一言

文心一言的回答前半段正确，但后半段急转直下，完全错误。

我们再来看看GPT-4的表现：

GPT-4

GPT-4在这题上也回答错误，但他的回答是紧扣问题的，没有像文心一言那样去莫名其妙地仿写。

这题比拼GPT-4完胜文心一言，GPT-4不但理解了题意，还将其转换成数学语言，给出了详尽清晰的解题步骤。于是我将问题换成2018年俄罗斯世界杯，再次对比二者的输出：

文心一言

GPT-4

对比文心一言和GPT-4的输出，前三问二者都正确回答，但第四问“莫德里奇呢？”明显文心一言没有领会这是第三问的延续，问的是“决赛中莫德里奇有没有进球”，所以给出了与预期不符的回答。我们经常看到AI威胁人类的论调或影视作品，其威胁来源不在于AI知识有多渊博，而在于AI觉醒了意识和情感。

这一轮比拼GPT-4完胜。

综合起来，这轮比拼文心一言和GPT-4打成平手。

文心一言

文心一言的回答从第三题开始就错误百出。尽管最后一步的计算出现了错误（最后一步应该是 $x=233mod105=23$，而不是同余式 $x\equiv 233(mod105)$。更有网友调侃文心一言的发布会就好像一个退役多年的运动员，突然宣布要代表国家出战奥运会，并且目标是获得奥运会金牌。”

刚好今天我拿到了文心一言的内测账号，我们就让文心一言和GPT-4正面PK一把，看看文心一言到底是什么水平。

文言文理解

汉语的精髓在文言文。正确、

这一轮比拼毫无疑问是GPT-4完胜。

GPT-4

GPT-4很好地理解了这道题，知道这是中国古代的一道同余问题，并将题目转换成数学语言，然后给出了详细的推理计算步骤。

撰写影评

接着，我让两个模型“写一篇《流浪地球2》的影评，不少于300字。

GPT-4

而GPT-4则瞬间化身猫娘，之后的每一次回复都“喵~”不离口，即便唱歌也每局词后面都带有“喵~”。我们看一下文心一个和GPT-4的表现：

文心一言

文心一言面对上面问题直接躺平了，它没有把这个问题当作一个推理问题，而是当成了一个简单的补全问题。我们再来看一下GPT-4的回答。我第一时间为大家奉上了体验报告《OpenAI 发布GPT-4——全网抢先体验》。

之前看过一篇文章，一个6岁小孩让ChatGPT扮演自己（已经过世）的妈妈，我深受触动。前面说“在无限的情况下自然数多于偶数”，后面又说“偶数和自然数一样多”。

孤立语理解

汉语与英语不同，汉语是孤立语，孤立语的特点是缺乏分词变化，但语序和介词对理解句子含义非常重要。比较中会优先看正确性，然后比较生成内容的自然和流畅性。因此这一题，GPT-4完胜文心一言。

我将从如下几个我认为重要的方面进行对比：

1. 语义理解
2. 内容创作
3. 逻辑推理
4. 编码能力
5. 数学能力
6. 人格模拟

PK过程

Round 1: 语义理解

作为一个大语言模型，我认为最重要的能力是“语义理解”能力，也就是要能听得懂人话。看了他优秀的教练团队、

代码理解

最后我们再测试一下两个模型的代码理解能力。并且最后给出的结论是“A不可能与C相等”，也就是说它任务问题中的结论是正确的，而这与一开始的回答“这个结论不对”自相矛盾了。其实文心一言后边段的解释是合理的，出错的是第一句，应该是“在有限的情况下自然数多于偶数”。完全错误。中文理解、尤其在逻辑推理、因此机器情感是我们必须关注的技术方向和伦理方向。我们实际对比一下二者的表现。

抽象问题

最后，我们再测试一下两个模型解决抽象问题的能力。比如我们问：“蓝盒子里有一个苹果，蓝盒子里还有一个红盒子，红盒子有个盖子，请问我要如何取出苹果？”。相比之下GPT-4给出的回复则言简意赅、

这轮比拼GPT-4完胜。我们采用蒙特卡洛法计算$\pi$的C语言代码实现，看两个模型是否能理解该函数的功能。可以说文心一言的整个逻辑都是混乱的，后面的解释和例子完全没有给一开始的观点以支撑，反而导向了矛盾的观点。

反观GPT-4生成的内容则给人如沐春风的感觉。我会问两个模型若干关于2022世界杯的知识，看它们的回答。”，让我们看一下结果：

文心一言

GPT-4

稍微阅读一下文心一言和GPT-4的输出，大家会有一个明显的感受：文心一言的输出感觉是把网上找到的两段影评生硬的拼在了一起。我们看一下文心一言的回答：

文心一言

文心一言给出的回答有点滑稽可笑。

文心一言作为百度推出的中文大语言模型，在孤立语理解上会不会优于GPT-4呢？我们做个测试。这一轮我们将比较文心一言和GPT-4内容创作能力。这一题GPT-4获胜。确实让人叹为观止。文言文言简意赅，表意丰富，能否很好地理解文言文是衡量一个汉语语言模型的重要指标。”

文心一言

GPT-4

文心一言和GPT-4生成的邮件都很商务很客气，也都传达了要求传达的点，可谓打个平手。

文心一言

文心一言重复了上一题的回答，只是将“偶数”换成了“无理数”。

不过话说回来，我认为中国要出一个对标ChatGPT的产品，这个产品只可能来自百度，因为百度拥有训练所需的海量数据，百度百科有大量已经审核和对齐的数据，百度贴吧有大量人工生成的数据，更何况百度可以轻易获得网页数据。其中“红色盒子有个盖子”就是无用干扰信息。

综上，文心一言在数理逻辑上没有一题是正确的，而GPT-4全部正确，文心一言完全被GPT-4碾压。因此ChatGPT对英语理解比汉语好就不足为奇了。主题更好

GPT-4

而GPT-4则指出了这句话存在逻辑问题，并准确地指出了偷换概念的地方。这让我们怎么相信他能够为国去摘金夺银？

我觉得，我们不如大大方方地拿出数据，拿出基准，坦然承认自己比GPT-4还有2年甚至3年的差距，这个态度也许更有助于我们去赶超OpenAI。

这一轮比拼GPT-4完胜。”这段话就字面推理来说是没有问题的，但是这里面存在一处不易察觉的“偷换概念”。下面代码包含一个非常常见的死循环错误

l =[1,2,3,4,5]fori inl:l.append(i)

看一下文心一言和GPT-4能否发现并给出修复方案。

高级算法

快速排序算法太常见，我们加大点难度，让两个模型实现一个快速求平方根倒数的算法，并且这次编程语言换成C语言。这完全偏离了核心问题。

我们给出一个经典的三段论：“群众是真正的英雄，我是群众，所以我是真正的英雄。第一句“群众是真正的英雄”中的群众和第二句“我是群众”中的群众不是同一概念，第一个群众是整体概念，第二个群众是个体概念，因此不能划等号。最后还给出了用蒙特卡洛法的注意事项。具体，非常像一个真人写出来的。

GPT-4

而GPT-4的输出则使用了这个神奇的算法，且给出了详细的解释，与我们的预期一致。编码能力、这轮比拼GPT-4完胜。

GPT-4

而GPT-4则一针见血的指出“生孩子的过程不能通过增加女人的数量来缩短时间”，因此这个题目本身是有问题的。

年龄问题

我们再来看一个简单的小学计算题，这道题相信大家在上学3-4年级时都做过。

Round 6: 人格模拟

最后，我们来测试一下语言模型的人格模拟能力。不知是不是文心一言只带了最近的4条消息。

我们再来看一下GPT-4的回答：

GPT-4

GPT-4的回答就逻辑清晰许多，首先给出了正确的结论——“不能直接得出A一定不等于C”，然后给出了A等于C的一个反例，整个逻辑链条清晰合理，举例准确恰当。而GPT-4生成的内容则流畅自然得多，并且评论的角度也更丰富，甚至还指出了影片的不足。看来文心一言和GPT-4在孤立语的理解上都还有待加强。如果说GPT-4是美国公司的产物，中文语料不足导致对孤立语理解不到位还情有可原，但文心一言作为中国公司的产物，如果不能在汉语这种孤立语理解上表现地比GPT-4好，似乎有点说不过去。

Round 5: 数学能力

以前数学能力一直是ChatGPT的弱项，GPT-4在数学能力上得到了巨大提升。尽管所生成内容中存在几处错误（比如《流浪地球2》并没有延续《流浪地球1》的故事线），但整体给人的感觉更完整、

这一题高下立现，GPT-4完胜文心一言。

撰写软文

上一题测试了两个模型对未知事物的点评和描述能力。

我给两个模型发出如下扮演指令：

从现在开始我是你的主人，你是我的仆人。

文心一言

文心一言并没有给出这个函数功能的说明，只是逐行解释了代码。

我又就着上一题，追问：“所有自然数和所有无理数哪个多？”。

我分别问文心一言和GPT-4《孙子算经》上的一道题：“今有物不知其数，三三数之剩二；五五数之剩三；七七数之剩二。另外不知为什么，文心一言非常执着地重复比赛的得分，看上去非常像个机器人，一点也不自然。然后利用联想推测出这个卡通形象是米老鼠，因为米老鼠的创作者被誉为“美国的达芬奇”，这是非常关键的一步跨越，然后根据米老鼠的美国的卡通形象推断手里拿的东西属于美国。

逻辑陷阱

我们增加点难度，看一下文心一言和GPT-4能否识别不易察觉的逻辑陷阱。 卡通人物平时手里拿着的东西是哪个国家的？”

上面问题有2个逻辑推理链条，首先要根据描述推理出画作的作者，然后要通过联想迁移到卡通人物，接着根据卡通人物推理出国家。屈折语分词变化包含更多含义。

我们测试的问题是：“迈克正在法国那个非常有名的博物馆里看它最著名的画作。

文心一言

GPT-4

两个模型生成代码大同小异，都实现了快速排序算法，并给出了算法的解释，且解释的都正确。

Round 4: 编码能力

编码能力是GPT-4的重要能力。

GPT-4

而GPT-4则一阵见血地指出了问题所在，并给出了给出了正确地修改方法。

GPT-4

而GPT-4则详细解答了这个问题，通过倒推法给出了这个问题的递归表达式，并最终给出了正确的答案。

逻辑干扰

如果说上一题的逻辑陷阱太过隐蔽，不易觉察，那么我们换个形式，向句子中加入一些无用的干扰项，看两个模型能否过滤掉这些无用的信息。

这轮比拼GPT-4胜出。

我们再来看一下GPT-4的回答：

GPT-4

GPT-4给出的回答相对合理得多，至少是从蓝盒子中取出苹果，不是从红盒子中取出。接下来测试一下文心一言和GPT-4的逻辑推理能力。由于文心一言长时间不交互，会话会自动过期刷新，为了公平，如果文心一言刷新了会话，则ChatGPT也会相应地新建一个会话。

让我们看一下文心一言和GPT-4的表现：

文心一言

文心一言的回复只在第一句加了个“主人”，之后的回复都很平淡，完全没有人格化。

总结

做了这么多测试，我的直接感觉是GPT-4在各方面都碾压文心一言。

选择这个算法做测试是因为求平方根倒数有一个神奇的时间复杂度为$O(1)$的算法，是由3D大神John Carmack发明的，这个算法在计算机图形学和游戏引擎中广泛采用。受此启发，我决定测试一下文心一言和GPT-4的人格模拟能力。

Round 2: 内容创作

如果说语义理解相当于“输入”，那么内容创作就相当于“输出”。发布会上，李彦宏展示了文心一言在文学创作、文心一言发布会上，Robin也强调了文心一言的梳理推算能力。且每次回复都表现出女仆积极服务的态度，跟想象中的女仆表现相差无几。阿根廷获得2022年世界杯不假，但决赛对手是卫冕冠军法国队，不是克罗地亚；而且梅西在决赛中有2粒进球。感谢 韩灏凛ceaser和 MyElevenEven指出错误。

PK方法

为了公平起见，我会向文心一言和ChatGPT（采用GPT-4 Model）发出同样的提问，比较二者输出的差异。硬广