探索 Google Gemini 與 GPT-4 相比的爭議與能力
- Google Gemini 與 GPT-4:仔細觀察多模式人工智慧的潛力與陷阱
- Google Gemini 不是 GPT-4 的對手:假演示影片和搖搖欲墜的 MMLU 基準引起強烈反對
- Google 承認捏造了 Gemini AI 演示視頻,批評者稱其誤導了觀眾
- Google Gemini 演示的部分內容經過編輯,使人工智慧看起來比實際更快、更聰明
Google 日前的 Gemini AI Demo 竟然是偽造的
Google 新 Gemini AI 模型 Demo
Google的新 Gemini AI 模型在昨天首次亮相後,受到市場瘋狂的追捧,甚至讓 Google 隔天的股價大漲 5%,但在發現最令人印象深刻的 Gemini 影片幾乎是偽造的之後,用戶以及投資人可能對該公司的技術或完整性不再那麼有信心。
一段名為「與 Gemini 互動:與多模式 AI 互動」的影片在最後一天觀看次數達到了 100 萬次,原因不難理解。這個令人印象深刻的演示,展示了 AI 多模式模型(即它理解並混合語言和視覺理解)如何靈活地響應各種輸入。
首先,它講述了一隻鴨子的草圖從一條曲線到一幅完整的圖畫的演變過程,它說這是一種不切實際的顏色,然後當看到一隻玩具藍色鴨子時表現出驚訝(嘎嘎!)。然後它會響應有關該玩具的各種語音查詢,然後演示繼續進行其他炫耀動作,例如在換杯子遊戲中跟踪球、識別皮影手勢、重新排序行星草圖等等。
儘管影片確實警告說“影片透過後製縮短時間,但它的響應速度也非常快。“,但整支影片有嘗試誘導讓觀看者相信 Gemini 的多模型 AI 已經進步令人驚豔的程度。
但日前 Gogole 團隊澄清 - 該影片不是真實的。「我們透過捕捉鏡頭來創建演示,以測試 Gemini 在各種挑戰中的能力。然後使用影片中的靜態圖像幀來提示 Gemini,並透過文字進行提示。
雙子座似乎確實產生了影片中所示的反應。但觀眾在與模型互動的速度、準確性和基本模式上被誤導了。

了解 MMLU 基準爭議
在不斷發展的人工智慧領域,Google的最新創新 Gemini AI 引發了一波討論,特別是與 OpenAI 的 GPT-4 相比。Gemini AI 推出了三種不同的型號:Ultra、Pro 和 Nano,因其卓越的多模式功能而備受讚譽。然而,該版本並非沒有爭議,特別是在各種基準測試中與 GPT-4 進行比較,包括大規模多任務語言理解 (MMLU)。

AbacusAI 執行長 Bindu Reddy 最近強調了 MMLU 基準測試的一個有趣方面,據報道,Gemini 的 Ultra 版本超越了 GPT-4 和 GPT-3.5。她的詳細分析表明,雖然 Gemini 在 CoT@32(思維鏈提示)方面表現出色,但在標準 5 次學習中表現不佳,GPT-4 保持領先。這項啟示指出了一個關鍵的技術細節,即雙子座的所謂優勢取決於特定的方法,而不是全面的表現。
Gemini 的多模式能力:現實與表現
在之前發佈的影片中,Gemini利用其多模態思維能力輕鬆辨識插圖,令觀察者驚嘆不已。正如奧爾森所說,這段影片也讓我們「看到了Google DeepMind 人工智慧實驗室多年來培養的推理能力」。

這確實令人印象深刻,考慮到任何形式的推理都已迅速成為人工智慧產業的下一個聖杯,引起了人們對OpenAI 傳聞中的 Q*等模型的濃厚興趣。事實上,演示不僅顯著加快了速度,使其看起來更令人印象深刻,而且 Gemini Pro 很可能仍然保留著我們之前多次看到的相同舊功能。
Gemini MMLU results
— Hadi Azzouni (@hadiazouni) December 8, 2023
TL;DR: Gemini does not really outperform GPT4 on MMLU, and it will likely show significantly in the product. However, this does not necessarily impact the other metrics, like HumanEval for code etc.
There's been a lot of discussions around the coherence… pic.twitter.com/yZj3yRT3y6
華頓商學院教授 Ethan Mollick在推特上表示:「我認為這些功能並不像人們想像的那麼新穎。」他展示了 ChatGPT 如何輕鬆識別一系列螢幕截圖中鴨子的簡單圖畫。
Google是否試圖透過加快鏡頭速度來欺騙大眾?
Google發言人在給彭博社觀點的聲明中表示,這是透過「使用鏡頭中的靜態影像並透過文字提示」製作的。
Google is trying to fool us with Gemini Ultra’s numbers.
— Igor Pogany (@TheAIAdvantage) December 8, 2023
The benchmark they’re most proud of is Gemini’s score of 90.0% on the MMLU.
This beats GPT-4’s score of 86.4%, and it even tops human test results of 89.8%.
But they’re not comparing the models using the same prompting… pic.twitter.com/oAOWDtkz5U
換句話說,雙子座可能有足夠的時間來分析這些影像。然後它的輸出可給人一種它比實際能力更強的印象。
Google DeepMind 研究和深度學習主管副總裁 Oriol Vinyals 在 X 上的一篇文章中寫道:“該視頻展示了使用 Gemini 構建的多模式用戶體驗是什麼樣子。 ”
這甚至不是Google第一次搞砸人工智慧模型的發布。今年早些時候,當該公司宣布其 ChatGPT 競爭對手時,一個臭名昭著的演示顯示 Bard 公然虛假陳述,聲稱美國宇航局的詹姆斯韋伯太空望遠鏡拍攝了第一張系外行星圖像。
因此,Google最近的失言肯定不是好兆頭。該公司本週出面表示,其最新型號 Gemini Ultra 的更強大的版本能夠在智力測驗中勝過 OpenAI 的 GPT-4。
但從目前我們所看到的情況來看,在相信這些科技公司的 Demo 之前,我們肯定會等待並親自測試一下。
解讀 Google Gemini 的主張與現實
在炒作和懷疑之中,了解 Google Gemini 的實際功能至關重要。雖然報告表明 Gemini 的回應時間比描述的要慢,但認識到這種人工智慧在處理靜態圖像和文字提示方面的潛力很重要。爭論延伸到法律領域,根據聯邦貿易委員會的標準,宣傳資料的準確性受到質疑。
更廣泛的影響力和消費者的視角
從更廣泛的角度來看,Google Gemini 的真正價值將隨著它變得更容易存取並整合到各種應用程式中而實現。雖然人工智慧在某些基準上表現出優於其他模型的前景,但必須承認其不斷發展和缺陷。
總而言之,Google Gemini 和 GPT-4 之間的比較不僅僅是技術優勢,還在於理解 AI 能力的細微差別及其表示中的倫理考量。隨著人工智慧繼續塑造我們的世界,我們必須對這些創新保持批判性的關注,不僅要評估它們的技術實力,還要評估它們對社會和消費者期望的影響。
Yesterday, Google shocked the world with its new AI, "Gemini."
— Clint Ehrlich (@ClintEhrlich) December 7, 2023
But it turns out the video was fake: the A.I. *cannot* do what Google showed.
It's my opinion, as a lawyer and computer scientist, that (1) Google lied and (2) it broke the law. 🧵 pic.twitter.com/VDfvcwfQeO
探索人工智慧表徵的道德和技術領域
圍繞 Google Gemini 和 GPT-4 的爭論不僅限於技術比較,還涵蓋了人工智慧表示中的道德考慮。圍繞 Gemini 推廣策略的爭議凸顯了透明、準確地展示人工智慧能力的必要性。隨著人工智慧與日常生活的連結越來越緊密,影響消費者的期望和行業標準,這一點尤其重要。
Gemini AI:邁向多模式未來的一步?
儘管受到批評,Gemini AI 仍然代表多模式 AI 系統的進步邁出了重要一步。它處理和回應靜態圖像和文字提示的能力為人工智慧在各個領域的應用開闢了新的途徑。然而,充分發揮其潛力的過程充滿挑戰,包括提高即時處理能力和確保道德使用。
人工智慧的未來:合作還是競爭?
Google Gemini 和 OpenAI 的 GPT-4 之間的比較象徵著人工智慧開發中更廣泛的敘述:競爭與協作之間的平衡。雖然競爭推動創新,但最終推動該領域向前發展的是協作和共享學習。透過分析 Gemini 和 GPT-4 所獲得的見解有助於更全面地了解 AI 的功能和限制。
邁向知情且合乎道德的人工智慧採用
隨著人工智慧的不斷發展,使用者、開發人員和利害關係人必須及時了解並批判性地參與這些技術。了解 Google Gemini 和 GPT-4 等人工智慧系統的功能、限制和道德影響對於負責任的採用和應用至關重要。圍繞這些模型正在進行的對話提醒我們人工智慧發展的動態和複雜性。
總而言之,圍繞 Google Gemini 和 GPT-4 的討論凸顯了人工智慧演化的多面向。它融合了技術進步、道德考量以及對消費者認知的影響。當我們在這個領域中航行時,重點不僅應該放在誰「贏得」人工智慧競賽上,還應該放在如何負責任地開發和利用這些技術來改善社會。