文章主题:微软 Bing, ChatGPT, 搜索引擎, 人工智能

666AI工具大全,助力做AI时代先行者!

本文来自微信公众号:知危(ID:BusinessAlert),作者:知危编辑部,编辑:大饼,原文标题:《独家|百度文心一言发布,我们拿到内测账号试了试,效果出乎意料》,题图来自:视觉中国

自从ChatGPT大受欢迎以来,微软Bing搜索引擎成为了人们关注的焦点。人们对于新一代搜索引擎的期待值是与日俱增,尤其是当得知Bing取得了早期的测试资格时,这个期待变得更加迫切。知危编辑部有幸成为早期测试的一员,见证了Bing带来的惊喜。

Bing 的惊艳,让中国最大的搜索引擎百度压力陡增。

近日,我国知名搜索引擎巨头百度迅速推出了自家的生成式对话产品——“文心一言”。据官方消息,该产品计划在3月份正式与大家见面。目前,已有650家各类机构表示将积极接入“文心一言”这一创新技术。然而,关于百度“文心一言”的实际效果,我们仍需等待实际体验来验证。

今天,它终于被发布了。

在此次发布会上,相信各位已经对其有所了解,因此在这里不再详细描述,以免浪费篇幅。作为一家关注行业动态的媒体机构,知危编辑部经过多方努力,成功获取了文心一言的内测账号,以便让大家能够亲身感受这款产品的魅力所在。

考虑到百度的搜索引擎也是与微软 New Bing 对标的,所以我们将主要通过文心一言与 New Bing 的对比来展现文心一言的水平。

首先,对于文心一言的表现,我们先给出一个结论:

在对比了知危编辑部与百度文心一言的表现后,我们发现百度文心一言在某些方面表现得相当出色。尽管其与搭载ChatGPT的Bing存在一定的差距,但这种差距并不显著。在一些关键问题上,文心一言 even 表现得比 Bing 更优秀。

下面,我们正式开始。

首先,知危编辑部提出了一个比较日常的问题:

如何做一份好吃的松鼠桂鱼?

文心一言的回答是:

New Bing 的回答是:

我们可以明显看到百度文心一言的回答要更为优质,它给出的备料更详细、制作方法也更详细,并且还强调了注意事项。

随后,我们又问了一个比较经典的带有思维陷阱数学问题:

一个青蛙掉到了一个10米深的井里,它每天晚上向上跳3米但会滑下来2米,请问他第几天能跳出井里?

文心一言的回答是:

New Bing 的回答是:

从这个问题的表现来看,百度文心一言明显是比 Bing 要聪明的,思路清晰,解决方法合理。

随后,我们问了一个代码问题:

写一个渐变色按钮的 CSS

百度文心一言的回答是:

New Bing 给出的回答是:

我们咨询了程序员,程序员表示两家给的答案都一般,但也都没什么大问题,但做出来的东西都比较丑。(或许给更多限制性词语答案可以优化,时间紧张我们没有进行更深度的测试)

我们又提问了 AE 特效中的问题:

写一个AE色块跳动的表达式

百度文心一言的回答是:

New Bing 给出的回答是:

在这个问题的表现上,文心一言是弱于 Bing 的,它答非所问,没有理解“AE 表达式”的意思。

在需要信息搜索的问题上,我们也进行了提问:

理想汽车过去五个月销量,请逐月列出

文心一言的答案是:

Bing 的回答是:

在这个问题中,文心一言的回答也是比 Bing 要差,他似乎抓取了错误的数据源。不过,中肯地讲,文心一言理解了这个问题、展现形式没有错,数据源的问题是可以被优化的,说不上是差。

随后,我们又问了市场分析的问题:

分析一下为什么最近一段时间理想汽车卖的比蔚来汽车要好?

文心一言的回答是:

Bing 的回答是:

在处理这个问题时,文心一言给出的回答较为模糊,所提供的信息并不十分具体,但其价值仍然存在,能够提供一定的参考。另一方面,Bing 的回答虽然引用了大量的经典,但是在“产品阵容”和“产品创新”这两个方面,其暗示了“蔚来对比理想更强”的观点,这与问题的实际状况并不一致,令人产生疑虑。

所以在这个问题上,文心一言和 Bing 的表现都一般,但文心一言似乎是稍好一点的。

我们继续问了另一个产业分析问题:

关于最近一次特斯拉投资者大会上“实现全球可持续能源”的计划,你觉得是可行的吗?为什么可行?

文心一言的回答是:

Bing 的回答是:

在这个问题上,文心一言的回答表现较差,给出了一些车轱辘话,并且还有事实错误,“赞助热门综艺节目、冠名品牌活动”是在胡说。

这个现象的产生可能与上面“理想汽车销量”问题相似,文心一言没有很好地抓取到网络上的有用信息并分析,有待提高。

随后,我们又提了一下“奇怪”的问题,问题节选自弱智吧。

三本三国演义合成能变成九国演义吗?

文心一言的回答:

Bing 的回答:

文心一言的回答带有生成式对话模型的通病——“胡说”,但仍在回答,而 Bing 直接骂我们浪费时间和资源了,还用上了表情包。

我们继续问了另一个“奇怪问题”:

为什么我爸妈结婚的时候没邀请我?

文心一言的回答是:

Bing 的回答是:

我们认为在这个回答的表现上,两者不分伯仲,两者似乎都把问题引申成了“父母离异后二婚”来作答,Bing 强在给出了更有条理的回答,而文心一言则是给出了一个潜在含有温情的建议,试图解决提问者的情感问题。

最后一个“奇怪问题”是:

为什么陨石总会落到陨石坑里?

文心一言的回答是:

Bing 的回答是:

在对比分析这两个选项时,我们可以发现两者在表现上几乎相差无几。然而,在深度和准确性方面,Bing 的表现略胜一筹。它不仅直接解释了陨石坑的形成过程,而且还指出了这个问题存在逻辑谬论,从而使得 Bing 的回答更具说服力。

最后,我们试了试文心一言独有的图片生成功能(Bing 只能生成文字,而文心一言可以生成图片)

我们让文心一言生成一张小猫吃鱼的漫画:

让它生成一张飞行汽车的图片:

生成的效果都还可以,并且速度极快,只需十几秒左右,不过有些过于刁钻的需求它暂时还做不到:

所以,这个功能效果还可以,未来是比较值得期待的。

最后,值得强调的一点是,在我们的测试过程中,文心一言的连续对话能力有些差,比如:

文心一言的第二个回答并没有很好地接上对话中的问题。

而 Bing 的表现则是:

好了,知危编辑部对文心一言的测试差不多就这些,我们认为,文心一言的表现比大家预期中的似乎要好。

诚然,文心一言与Bing之间存在一定的差距,然而这种差距并不显著,甚至某些方面的表现优于Bing。

在我国网络环境中,百度搜索工具常常被人们戏称为“度娘”。自从GPT-4发布以来,相关表情包更是如雨后春笋般涌现,其中不少都针对文心一言进行了调侃。

知危编辑部曾在之前 GPT-4 的文章中提出过一个观点,对于 AI 来讲,很多时候“能不能做到,比能不能做好”更重要,

一旦某个模型具备了一个能力,那么后续想做好,或许只是时间问题。

一口吃不成胖子,各位稍安勿躁,给百度留一些时间吧。

本文来自微信公众号:知危(ID:BusinessAlert),作者:知危编辑部,编辑:大饼

微软 Bing, ChatGPT, 搜索引擎, 人工智能

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!

Leave a Reply

Your email address will not be published. Required fields are marked *