懂保汇懂保汇，一个专业、客观、中立的第三方保险信息服务平台。104篇原创内容

近期在不断体会如何调整Prompt以便让大模型智能工具的应用更加高效。

突然产生了一个让 ChatGPT和文心一言做车评的念头。为此，就尝试用汽车之家的评测工具作为参考，来比较一下二者做车评是否可以给出用户可以信赖的结论。

于是，就拿奥迪 A6L 2023款 TFSI型和宝马5系525Li 2022款这两款车来做一下试验。

拿汽车之家的答案作为标准答案，先展示出来：

​

由图看出，前三项（动力、空间和安全）是奥迪胜出；后三项（配置、操控和油耗）是宝马胜出。

​

一，第一次比较

第一次比较，模仿人们通常的Prompt来进行的。

给ChatGPT和文心一言输入同样的Prompt：

请按照下面 6 点比较一下：奥迪 A6L 2023款 TFSI型和宝马5系525Li 2022款这两款车，需要每一项都有谁胜出的结论：

1，动力

2，空间

3，安全

4，配置

5，操控

6，油耗

将ChatGPT和文心一言的回答放入下面表内并与汽车之家的结论进行比较。黄色底块的说明该结论与汽车之家的结论一致。

​如果以汽车之家的答案作为标准答案来比较，ChatGPT在6题中只答对了2题，而文心一言答对了3题。

这么说，文心一言微弱胜出ChatGPT。

但是，后来仔细研究汽车之家的结论，发现汽车之家在第二项空间和第六项油耗上，疑似是错误的。后面会详细说一下。

如果这样，评价的正确性结论会变成：

ChatGPT：2/6（5、6项正确），

文心一言：5/6（1、2、4、5、6项正确），

汽车之家：4/6（1、3、4、5项正确）。

二，第二次比较

第二次比较的时候，建议ChatGPT和文心一言参考汽车之家的品库后再比较这两款车。

当然，不知道他们二位是否真的参考了汽车之家的品库了，但结论是发生了变化了的。

输入的Prompt如下：

请参考汽车之家汽车产品库，按照下面 6 点比较一下：奥迪 A6L 2023款 TFSI型和宝马5系525Li 2022款这两款车，需要每一项都有谁胜出的结论：

1，动力

2，空间

3，安全

4，配置

5，操控

6，油耗

得出的结论如下表：

将这张表和上面那张表比较，可以发现，ChatGPT和文心一言在参考了汽车之家品库后，比较的结论发生了变化。

先说结论（假设汽车之家的第2和第6项是错的）：

ChatGPT：2/6（1、6项正确），

文心一言：5/6（1、2、3、5、6项正确）

虽然正确率没有变，但看细节，ChatGPT和文心一言都有一本正经胡说的本事。

先看一下这两款车的动力数据：

这是汽车之家的数据。可以看出，奥迪的马力为190而宝马为184，奥迪的扭矩为320而宝马为290。

但是，ChatGPT却说：

奥迪 A6L 2023款 TFSI型搭载了2.0T发动机，最大功率为245马力，最大扭矩为370牛·米。

宝马5系525Li 2022款搭载了2.0T发动机，最大功率为231马力，最大扭矩为350牛·米。奥迪 A6L在动力方面胜出。

真不知道ChatGPT是从哪里得到这样的数据的。

再看一下两辆车的外观空间数据：

​

这也是汽车之家的数据。可以看出：

❶两辆车的轴距，奥迪为3024，宝马为3105。宝马胜出。

❷两辆车的外部尺寸，奥迪为5038x1886

x1475，而宝马为5106x1868x1500。宝马在长度和高度上胜出，奥迪则在宽度上胜出。

这里，汽车之家将胜出的章子盖在奥迪上，是否是误盖了？

但是，ChatGPT说：

奥迪 A6L 2023款 TFSI型的车身尺寸为5038mm×1886mm×1498mm，轴距为3012mm。

宝马5系525Li 2022款的车身尺寸为4963mm×1868mm×1479mm，轴距为2975mm。奥迪 A6L在空间方面胜出。

如果汽车之家的数据是对的，则ChatGPT的数据有很多错误。

再看文心一言说的：

奥迪 A6L 2023款 TFSI型的轴距为3024mm，车身长度为5038mm，宽度为1886mm，高度为1463mm；

宝马5系525Li 2022款的轴距为3105mm，车身长度为5106mm，宽度为1868mm，高度为1500mm。因此，在空间方面两者相差不大，但宝马5系525Li 2022款略胜一筹。

文心一言的数据也不全对，只是偏差比ChatGPT小一些。

还看一下油耗数据：

​

汽车之家的数据可以看出WLTC综合油耗奥迪是7.02（疑似为7.2），而宝马为7.4。奥迪胜出。

之前说汽车之家的比较结论说宝马在油耗上胜出可能是错误的，就是因为有这两个数据比较。

来看一下ChatGPT的说法：

奥迪 A6L 2023款 TFSI型的综合工况油耗为7.2L/100km。

宝马5系525Li 2022款的综合工况油耗为7.4L/100km。

奥迪 A6L在油耗方面略胜一筹。

这次，ChatGPT的数据和结论是正确的。

文心一言的说法：

奥迪 A6L 2023款 TFSI型的工信部综合油耗为7.7L/100km；

宝马5系525Li 2022款的工信部综合油耗为7.9L/100km。

因此，在油耗方面两者相差不大，但奥迪 A6L 2023款 TFSI型略胜一筹。

文心一言的结论也是对的。但不知道它为什么会用工信部综合油耗这个指标。

总结

❶，做车型比较时，如果参照汽车之家的正确答案，文心一言的两车比较更靠谱些。

❷，大模型和垂直领域的结合还有不短的路要走。当要求参考汽车之家的品库来做比较，似乎对ChatGPT和文心一言没有什么作用，甚至出现不少数据错误。

❸，整体上，ChatGPT和文心一言都能正儿八经地给出结论，但结论是否靠谱，需要仔细分辨。

❹，未来大模型和垂直领域小模型的结合，有很大空间。

懂保汇创想懂保汇创想以我本人的原创为主，偶尔转发其它内容。本公众号主要聚焦企业经营和管理、年轻人成长。同时，集中对保险行业的分析和探索。还有自己的创业感想。欢迎订阅！97篇原创内容