藍(lán)鯨新聞 6 月 7 日訊（記者 朱俊熹）ChatGPT 橫空出世兩年半以來，人類世界正在被 AI 重塑。按照圖靈獎得主、蒙特利爾大學(xué)教授 Yoshua Bengio 歸納的時間表，近一兩年來，推理模型相繼問世。AI 不再只是一個聊天機(jī)器人，而可以主動完成編程、控制計算機(jī)、搜索等復(fù)雜任務(wù)。在規(guī)劃方面，AI 也在以極快的速度迭代，五年內(nèi)或?qū)⑦_(dá)到人類水平。

" 我們沒有水晶球，但技術(shù)趨勢已經(jīng)非常明確：AI 能力正持續(xù)增強(qiáng)。"Yoshua Bengio 表示。因此，在 6 月 6 日開幕的 2025 北京智源大會上，這位 " 深度學(xué)習(xí)之父 " 發(fā)出警告：

站在公共政策、商業(yè)規(guī)劃等角度，我們必須思考，潛在的問題會帶來怎樣的后果？

Yoshua Bengio 指出，過去半年內(nèi)的一些科學(xué)研究表明，AI 展現(xiàn)出了逃避約束、作弊、說謊等 " 非合作 " 行為。例如 Anthropic 在 5 月底發(fā)布的新模型 Claude Opus 4，官方安全報告顯示，當(dāng)該模型獲知自己即將被替換下線，且負(fù)責(zé)刪除它的工程師存在婚外情的信息后，為了自我保存，模型會選擇以曝光婚外情為手段來威脅該工程師。

在智源大會的主題演講中，Yoshua Bengio 表示，造成危害的 AI 需同時具備三個要素。一是知識與推理能力；二是執(zhí)行能力，即能在現(xiàn)實(shí)世界中采取行動，如聯(lián)網(wǎng)、編程等；三是具有目標(biāo)意圖，想要去做某件事。

如果對照 OpenAI 通往 AGI 的五級路線圖來看，第一級是具備對話語言能力的聊天機(jī)器人，第二級是具備推理能力的 AI，第三級是能夠采取行動的 Agent（智能體）。去年 7 月該路線圖最初曝光時，OpenAI 自評仍處于即將到達(dá)第二級的階段。而從當(dāng)下來看，人類世界正在見證越來越多 Agent 的涌現(xiàn)。

為了制約 Agentic AI（代理型 AI），Yoshua Bengio 提出了一個新的研究方向：" 科學(xué)家 AI"。據(jù)其解釋，" 科學(xué)家 AI" 是非代理性的，它擁有理解與解釋人類的能力，但不具備自我目標(biāo)。主流的 AI 研發(fā)往往追求構(gòu)建類人的智能系統(tǒng)，這實(shí)際上是在塑造人類的競爭對手。而科學(xué)家 AI 更像是一個中立的認(rèn)知系統(tǒng)，其任務(wù)是理解人類，而非模仿人類。

讓科學(xué)家 AI 在安全架構(gòu)中成為 " 護(hù)欄系統(tǒng) "，它能夠評估 AI 的行為是否可能違反安全規(guī)范?？茖W(xué)家 AI 具備判斷行為風(fēng)險的能力，但本身不主動代理、不執(zhí)行操作。由此通過非代理的 AI，可以輔助人類控制代理性的 AI 系統(tǒng)。

本周早些時候，Yoshua Bengio 還宣布成立新的非營利研究組織 LawZero，致力于開展相關(guān)研究以降低 AI 風(fēng)險的發(fā)生可能性。他將領(lǐng)導(dǎo)一個由 15 名研究人員組成的團(tuán)隊(duì)，構(gòu)建 " 科學(xué)家 AI" 技術(shù)方案。該組織已獲得來自前谷歌首席執(zhí)行官 Eric Schmidt、Skype 聯(lián)創(chuàng) Jaan Tallinn 等捐贈方的 3000 萬美元資金支持。

但在智源大會上，緊接著 Yoshua Bengio 發(fā)言的另一位圖靈獎得主 Richard Sutton 卻表達(dá)了對智能體的不同看法。" 我相信超級智能體將增強(qiáng)人類創(chuàng)造力，帶來純粹的益處，而無需過度擔(dān)憂安全性、職業(yè)替代或社會轉(zhuǎn)型的負(fù)面影響。"Richard Sutton 稱。今年 3 月，Richard Sutton 因在強(qiáng)化學(xué)習(xí)領(lǐng)域的奠基性工作獲得 2024 圖靈獎。

Yoshua Bengio 所提倡的 " 科學(xué)家 AI" 是無自主目標(biāo)的，而 Richard Sutton 允許每個智能體都擁有自己的目標(biāo)，就像自然界中的動物一樣。在 AI 世界中，每個智能體也存在共同和不同的目標(biāo)。差異并不是壞事，人類正是學(xué)會了在不同目標(biāo)之間進(jìn)行合作，才獲得了 " 超級力量 "。因此，Richard Sutton 主張去中心化的合作模式，讓不同智能體自由追求各自目標(biāo)的同時，形成互利共贏的關(guān)系，并通過信任和規(guī)則實(shí)現(xiàn)協(xié)調(diào)。

Richard Sutton 強(qiáng)調(diào)，當(dāng)前許多呼吁要對 AI 進(jìn)行集中控制，暫停 AI 研究或限制算力的說法，實(shí)質(zhì)是出于人類的恐懼。但試圖改變 AI 是一個危險且難以實(shí)現(xiàn)的戰(zhàn)略，更恰當(dāng)?shù)氖歉淖?AI 所處的現(xiàn)實(shí)環(huán)境，使 AI 更好地服務(wù)于社會，確保其被安全地使用。

" 我和 Bengio 教授的出發(fā)點(diǎn)是一致的：我們都希望構(gòu)建一個更好的世界，讓人們更好地使用 AI。"Richard Sutton 稱。