必威12月7日,谷歌发布自称“迄今为止最强大的人工智能模型”Gemini必威。然而,这一大模型刚发布不久,谷歌就被质疑在宣传Gemini应用效果的演示视频中存在造假嫌疑。
两天前,谷歌在YouTube上发布了一段6分钟的视频,介绍Gemini与用户的互动效果。视频显示,Gemini能够迅速识别图像,并给出相应描述。即使是连点图,Gemini也在几秒钟内做出反应。
此外,Gemini能够实时追踪捕捉画面必威,识别出演示视频中的纸团藏在哪个杯子里。彭博社报道指出,在谷歌发布的演示视频中,Gemini似乎显得“太能干了”。
值得注意的是,就在视频下方的配文里,谷歌写道“为了更好地演示效果,Gemini的反应时间已经被缩短,其输出内容也被简化。”彭博社报道指出,
这说明该视频并不是实时录制的,而是使用了静止图像帧进行编辑后才发布的。这样看来,谷歌的宣传似乎有些夸大其词,误导人们相信Gemini已经超过OpenAI旗下的GPT-4。
此前,谷歌发布的表格显示,Gemini在大多数的基准测试中都优于GPT-4。但仔细观察可以发现,在大多数基准测试中,Gemini只比OpenAI的GPT-4高出几个百分点。
换句话说,谷歌的Gemini仅以微弱优势击败了OpenAI一年前的水平。
在演示视频遭到质疑后,Google DeepMind研究副总裁奥瑞奥·维纳尔斯(Oriol Vinyals)在社交媒体发文表示,
“视频中的所有演示都是真实的,只是出于简洁考虑,缩短了部分内容。”间接承认谷歌发布的视频的确是编辑过的。
美国科技媒体The Verge报道称,坦白来讲,对视频进行略微调整是很常见的,但谷歌在演示视频方面一直存在问题,发布的视频经常是编辑后的,这种预先录制并精心编辑的视频往往会引发质疑。