每經(jīng)記者｜蔡鼎    每經(jīng)編輯｜蘭素英    

當(dāng)?shù)貢r(shí)間5月13日，OpenAI首席技術(shù)官M(fèi)ira Murati在備受期待的直播演示中宣布，推出名為GPT-4o的新旗艦AI模型，這是其已經(jīng)問世一年多的GPT-4模型的更新版本。同時(shí)，OpenAI還推出了臺式機(jī)版本的ChatGPT以及新的用戶界面（UI）。

GPT-4o模型基于來自互聯(lián)網(wǎng)的大量數(shù)據(jù)進(jìn)行訓(xùn)練，更擅長處理文本和音頻，并且支持50種語言。更值得一提的是，GPT-4o最快可以在232毫秒的時(shí)間內(nèi)響應(yīng)音頻輸入，幾乎達(dá)到了人類的響應(yīng)水平。

Murati稱新模型面向所有人，而不僅僅是付費(fèi)用戶，為“我們的免費(fèi)用戶帶來GPT-4級別的智能水平”。不過，GPT-4o的應(yīng)用程序接口中尚未為所有客戶提供語音功能。鑒于濫用風(fēng)險(xiǎn)，OpenAI計(jì)劃在未來幾周內(nèi)首先向“一小部分可信賴的合作伙伴”推出對GPT-4o新音頻功能的支持。

GPT-4o發(fā)布后，網(wǎng)友對其褒貶不一。英偉達(dá)科學(xué)家Jim Fan評論稱，從技術(shù)角度來看，總體來說是一個(gè)數(shù)據(jù)和系統(tǒng)優(yōu)化問題。有網(wǎng)友也稱，感覺到目前為止，OpenAI沒有那么大的開創(chuàng)性。不過，也有網(wǎng)友認(rèn)為，OpenAI進(jìn)一步拉開了和蘋果的差距，現(xiàn)在該輪到蘋果的Siri“滿頭大汗”了。

GPT-4o最快可以在232毫秒的時(shí)間內(nèi)響應(yīng)音頻輸入，幾乎達(dá)到了人類的響應(yīng)水平。圖為OpenAI的CEO阿爾特曼出席會議。 視覺中國圖

GPT-4o核心能力有三

GPT-4o中的“o”代表“omni”，意為“全能”。OpenAI官網(wǎng)介紹稱，GPT-4o向更自然的人機(jī)交互邁進(jìn)了一步，因?yàn)樗邮芪谋?、音頻和圖像的任意組合作為輸入內(nèi)容，并生成文本、音頻和圖像的任意組合輸出內(nèi)容。

那GPT-4o到底有多強(qiáng)，有哪些核心能力呢？

能力一：“實(shí)時(shí)”互動(dòng)，表達(dá)富有情感，視覺功能更強(qiáng)

OpenAI表示，GPT-4o顯著提升了AI聊天機(jī)器人ChatGPT的使用體驗(yàn)。雖然ChatGPT長期支持語音模式，可將ChatGPT的文本轉(zhuǎn)為語音，但GPT-4o在此基礎(chǔ)上進(jìn)行了優(yōu)化，使用戶能夠像與助手互動(dòng)一樣自然地使用ChatGPT。

例如，用戶現(xiàn)在可以在ChatGPT回答問題時(shí)中斷它。而且，新模型能夠提供“實(shí)時(shí)”響應(yīng)，甚至能夠捕捉到用戶聲音中的情感，并以不同的情感風(fēng)格生成語音，如同真人一般。此外，GPT- 4o還增強(qiáng)了ChatGPT的視覺功能。通過照片或屏幕截圖，ChatGPT現(xiàn)在可以迅速回答相關(guān)問題，從“這段代碼是做什么用的”到“這個(gè)人穿的是什么品牌的襯衫”。

美國科技媒體Quartz報(bào)道稱，GPT-4o的技術(shù)讓人印象深刻。OpenAI的演示表明，機(jī)器人現(xiàn)在可以與人類進(jìn)行實(shí)時(shí)對話，與真人水平幾乎沒有區(qū)別。如果最終版本像OpenAI官方的演示一樣，那么OpenAI似乎已經(jīng)從某種程度上驗(yàn)證AI將在多大程度上改變我們的世界。

能力二：多語言表現(xiàn)出色，響應(yīng)速度幾乎與真人無異

GPT-4o的多語言功能得到了增強(qiáng)，在50種不同的語言中表現(xiàn)更佳。在OpenAI的API中，GPT-4o的處理速度是GPT-4（特別是GPT-4 Turbo）的兩倍，價(jià)格則是GPT-4 Turbo的一半，同時(shí)擁有更高的速率限制。

OpenAI官網(wǎng)介紹稱，GPT-4o 最快可以在232毫秒的時(shí)間內(nèi)響應(yīng)音頻輸入，平均響應(yīng)時(shí)間為320毫秒，這與人類在對話中的響應(yīng)時(shí)間相似。它在英語文本和代碼方面的性能與GPT-4 Turbo的性能一致，并且在非英語文本方面的性能有了顯著提高。

用戶只需發(fā)出簡單的“嘿，ChatGPT”語音提示，即可獲得代理的口語回應(yīng)。然后，用戶可以用口語提交查詢，并在必要時(shí)附上文字、音頻或視覺效果——后者可包括照片、手機(jī)攝像頭的實(shí)時(shí)畫面或代理能“看到”的任何其他內(nèi)容。

能力三：在推理及音頻翻譯方面樹立新標(biāo)桿

據(jù)OpenAI研究人員William Fedus透露，GPT-4o實(shí)際上就是在LMSYS模型競技場上引起整個(gè)AI圈瘋狂試用的GPT-2模型的另一版本，并附上了GPT-4o的基準(zhǔn)測試評分對比圖，相比GPT-4 Turbo提升了超過100個(gè)單位。

在推理能力方面，此次發(fā)布的GPT-4o在MMLU、GPQA、MATH、HumanEval等測試基準(zhǔn)上均超越GPT-4 Turbo、Claude 3 Opusn、Gemini Pro 1.5等前沿模型，取得最高分。

音頻ASR（智能語音識別）性能方面，GPT-4o相比Whisperv3，在所有語言的語音識別性能上均大幅提高，尤其是資源較少的語言。

音頻翻譯方面，GPT-4o也樹立了新的標(biāo)桿，在MLS基準(zhǔn)測試中優(yōu)于Whisper-v3以及Meta、谷歌的語音模型。

評價(jià)褒貶不一

雖然并未在OpenAI這次重磅直播演示中現(xiàn)身，但OpenAI的CEO阿爾特曼對這次演示進(jìn)行了重要的總結(jié)。阿爾特曼稱，OpenAI在ChatGPT中免費(fèi)提供了世界上最好的模型，新的語音和視頻模式是他用過的最好的計(jì)算交互界面，感覺就像電影里的人工智能一樣，達(dá)到了與人類相似的響應(yīng)速度和表達(dá)能力。

目前，GPT-4o的文本和圖像功能開始在ChatGPT中免費(fèi)推出，Plus用戶可以享受到5倍的調(diào)用額度。在接下來的幾周內(nèi)，OpenAI將在ChatGPT Plus中推出Voice Mode新版本，該版本帶有GPT-4o。

而在社交媒體平臺X（原推特）上，網(wǎng)友對GPT-4o的評價(jià)卻褒貶不一。

英偉達(dá)科學(xué)家Jim Fan評論稱，從技術(shù)角度來看，總體來說是一個(gè)數(shù)據(jù)和系統(tǒng)優(yōu)化問題（大多數(shù)事情都是如此）。

對于OpenAI推出的新模型和UI更新，有網(wǎng)友稱，感覺到目前為止OpenAI沒有那么大的開創(chuàng)性。

也有網(wǎng)友指出，GPT-4o不僅可以將語音轉(zhuǎn)換為文本，還可以理解和標(biāo)記音頻的其他特征，例如呼吸和情感，但不確定這在模型響應(yīng)中是如何表達(dá)的。

但大部分網(wǎng)友還是給出了非常積極的看法。

對于阿爾特曼在X上留下的一句“her”，這似乎是暗示ChatGPT實(shí)現(xiàn)了經(jīng)典電影《她》（Her）中像人類一樣“有血有肉”的AI。有網(wǎng)友對此評論：“你終于做到了。”并配了一張將電影《她》劇照中的AI“換頭”成OpenAI的梗圖。

另有網(wǎng)友評價(jià)稱，這太瘋狂了。OpenAI剛剛推出了GPT-4o，它將徹底改變?nèi)斯ぶ悄苤值母傎?。該網(wǎng)友還列舉了10個(gè)GPT-4o的“瘋狂”案例，例如實(shí)時(shí)視覺輔助等。

也有網(wǎng)友覺得OpenAI進(jìn)一步拉開了和蘋果的差距，還發(fā)了一張人滿頭大汗的動(dòng)圖，稱現(xiàn)在蘋果的語音助手Siri應(yīng)該就是這個(gè)樣子。

對于這點(diǎn)，Quartz報(bào)道稱，GPT-4o的情感屬性使AI聊天機(jī)器人比蘋果的Siri更加個(gè)性化。Siri給人的感覺就像在和一個(gè)機(jī)器人對話，但OpenAI的演示清楚地表明，GPT-4o具有“人工情感智能”，能夠識別用戶的情感并與你的情緒相匹配。這讓GPT-4o感覺就像一個(gè)真正的伴侶，為用戶的智能手機(jī)操作系統(tǒng)增添了一絲人性。

實(shí)際上，為了應(yīng)對技術(shù)威脅，蘋果也在與OpenAI進(jìn)行合作洽談。Wedbush分析師Dan Ives在一份報(bào)告中預(yù)計(jì)，蘋果將在6月10日的WWDC（蘋果全球開發(fā)者大會）大會上官宣和OpenAI的合作伙伴關(guān)系，并推出基于蘋果LLM的AI聊天機(jī)器人。

封面圖片來源：視覺中國