高加索AV无码,99尹人网毛,韩日337p99,一级a片久久无,97色区综合,激情日韩在线一二三,日韩精品久久精品草比,婷婷久久91,亚洲天堂艹比

編輯｜重點君

4月29日，谷歌AI掌門人、DeepMind CEO Demis Hassabis（哈薩比斯）接受了YC訪談，披露了他關于AGI、大模型演進路徑、AI驅(qū)動科學發(fā)現(xiàn)與科技創(chuàng)業(yè)的最新思考。

Demis Hassabis的職業(yè)路徑在科技界極為罕見。他在英國出生，早年作為國際象棋神童展露頭角，并在17歲時主導設計了暢銷電子游戲《主題公園》。此后，他選擇重返學術界，獲得了認知神經(jīng)科學博士學位，其間發(fā)表的關于大腦記憶與想象力運作機制的研究，成為該領域的基礎性成果。2010年，他聯(lián)合創(chuàng)立了DeepMind，將團隊目標鎖定在一個核心使命上：解決智能問題。 這家公司后來被谷歌收購，哈薩比斯此后也一直擔任谷歌DeepMind的CEO。

在過去的十余年里，DeepMind實驗室實現(xiàn)了多項技術突破：AlphaGo戰(zhàn)勝了人類圍棋世界冠軍李世石，AlphaFold則攻克了困擾生物學界長達50年的蛋白質(zhì)結(jié)構(gòu)預測難題，并將核心成果向全球科學家免費開放，這直接促成了他獲得去年的諾貝爾化學獎。目前，Hassabis正帶領Google DeepMind團隊開發(fā)Gemini模型，繼續(xù)推進他自青少年時期便確立的通用人工智能（AGI）目標。

  我們梳理了這場訪談的核心信息，以下是重點內(nèi)容：

1、通往AGI需突破單純上下文窗口擴容，建立持續(xù)學習與記憶機制

當前行業(yè)慣于不斷擴大上下文窗口，但把所有有用、無用甚至錯誤的信息全塞進工作記憶，是一種計算成本極高的暴力做法。即使擁有千萬級Token的上下文，檢索特定信息的成本也高得不切實際。真正的AGI系統(tǒng)需要具備持續(xù)學習能力，能夠優(yōu)雅地將新知識融入現(xiàn)有知識庫中，并在合適的場景精準調(diào)用，而不是每次都從頭讀取冗長的歷史記錄。

2、強化學習將重塑大模型的內(nèi)省與推理能力

強化學習在邁向更高維智能的道路上被嚴重低估。當前前沿大模型展現(xiàn)的思維鏈推理，本質(zhì)上是AlphaGo和AlphaZero理念在大規(guī)模基礎模型上的復現(xiàn)。目前的大模型在推理時往往缺乏內(nèi)省能力，在選錯答案后依然會盲目重試。DeepMind正重新引入蒙特卡洛樹搜索等經(jīng)典算法，將強化學習與大模型深度融合，以此打破當前模型推理能力的天花板。

3、端側(cè)小模型與開源戰(zhàn)略是終端部署的必然選擇

通過模型蒸餾技術，極小參數(shù)量的模型已能達到前沿大模型90%至95%的性能水平，且具備極高的速度和成本優(yōu)勢。未來計算的主流形態(tài)將是由云端大模型負責復雜統(tǒng)籌，由運行在手機、智能眼鏡或家庭機器人上的端側(cè)模型處理本地隱私數(shù)據(jù)。由于端側(cè)模型一旦部署到物理表面，其技術極易被提取，因此直接將其完全開放是戰(zhàn)略上的必然選擇。

4、AI在科學探索中的目標是跨越模式匹配并提出全新假設

科學發(fā)現(xiàn)不能僅停留在對已有數(shù)據(jù)的插值計算，AI不僅需要完美解決現(xiàn)有問題，更需具備發(fā)明新規(guī)則的能力。DeepMind正在推進從“細胞核”切入，目標在未來十年內(nèi)構(gòu)建完整的“虛擬細胞”。衡量AI科學發(fā)現(xiàn)能力的標準在于它能否通過“愛因斯坦測試”：即僅輸入1901年之前的物理知識，跨越模式匹配，獨立推導出狹義相對論。

5、科技創(chuàng)業(yè)者應構(gòu)建高度專業(yè)化的垂直系統(tǒng)以協(xié)同AGI

科技企業(yè)的成長周期通常需要十年，這意味著AGI必然會在當前創(chuàng)業(yè)周期的中途（約2030年左右）實現(xiàn)。面對這一確定性變量，創(chuàng)業(yè)者不應試圖將垂直領域的復雜參數(shù)強行塞進通用大模型中，因為這會破壞通用模型的效率和其他能力。合理的路徑是構(gòu)建高度專業(yè)化的獨立工具系統(tǒng)或基礎設施，未來順應通用AGI作為大腦去自主調(diào)用這些垂直系統(tǒng)的協(xié)作關系。

以下是Demis Hassabis訪談實錄：

1.在實現(xiàn)AGI之前還缺少什么？

Garry Tan：Demis Hassabis擁有科技界最不尋常的職業(yè)生涯之一。他小時候是國際象棋神童，17歲時設計了首款熱門電子游戲《主題公園》。隨后他重返校園獲得認知神經(jīng)科學博士學位，發(fā)表了關于大腦記憶和想象力運作機制的基礎性研究成果。2010年他聯(lián)合創(chuàng)立了DeepMind，只有一個使命：解決智能問題。我認為他們已經(jīng)做到了。

從那時起，他的實驗室不斷取得那些被大多數(shù)人認為還需幾十年才能實現(xiàn)的成就。AlphaGo擊敗了圍棋世界冠軍，AlphaFold攻克了困擾生物學界50年的蛋白質(zhì)結(jié)構(gòu)預測重大挑戰(zhàn)，并將成果免費提供給全球科學家，這項工作讓他贏得了去年的諾貝爾化學獎。如今Demis領導著Google DeepMind團隊構(gòu)建Gemini，并朝著他青少年時期就設定的通用人工智能(AGI)目標努力。讓我們歡迎Demis。

你對AGI的思考比幾乎任何人都要久。審視當前的大規(guī)模預訓練、RLHF和思維鏈(CoT)等范式，你認為在AGI的最終架構(gòu)中我們已經(jīng)掌握了多少？目前根本上缺失的又是什么？

Demis Hassabis：首先感謝Garry精彩的介紹，很高興來到這里，感謝大家的歡迎。這個場地非常棒，我以后得多來。能在這一領域工作確實令人備受鼓舞。回到你的問題，我非常確信你剛才提到的那些技術組件都會成為AGI最終架構(gòu)的一部分。目前它們已經(jīng)取得了長足的進步，我們也證明了其諸多功能。我不認為幾年后我們會發(fā)現(xiàn)這些技術是死胡同，這說不通。

但在已知有效的基礎之上，可能還缺少一兩項關鍵技術。比如持續(xù)學習、長期推理以及記憶系統(tǒng)的某些方面，這些目前仍是懸而未決的問題，包括如何讓系統(tǒng)在各方面表現(xiàn)得更加一致。我認為實現(xiàn)AGI必須解決這些問題。

現(xiàn)有的技術有可能通過一些漸進式的創(chuàng)新直接擴展到AGI的規(guī)模，但也可能還需要攻克一兩個重大的理論難題。即便還有未解之謎，我認為也不會超過一兩個。在這個問題上我認為兩種情況的概率各占一半。所以在Google DeepMind，我們目前正在雙管齊下同時推進這兩方面的工作。

Garry Tan：在處理一系列智能體(Agent)系統(tǒng)時，最讓我覺得不可思議的是它們在很大程度上是在反復使用相同的權(quán)重。因此持續(xù)學習(Continual Learning)的概念非常有趣，因為目前我們有點像是在用膠帶把它們勉強拼湊起來，比如夜間發(fā)生的夢境周期這類機制。

Demis Hassabis：夢境周期確實非�？�。過去我們常將情景記憶結(jié)合起來，通過鞏固機制來思考這個問題。實際上我讀博期間研究的就是海馬體如何運作并進行記憶整合，也就是如何將新知識優(yōu)雅地融入現(xiàn)有的知識庫中。大腦在這方面做得非常出色，它主要在睡眠期間完成這些工作，尤其是像快速眼動睡眠階段，大腦會回放那些重要的片段以便從中學習。

事實上我們最早的Atari游戲AI程序DQN能夠精通游戲的方法之一就是通過經(jīng)驗回放(Experience Replay)。我們算是從神經(jīng)科學中借鑒了這一點，通過多次回放成功的軌跡來訓練模型。那還是在2013年，現(xiàn)在回想起來簡直可以說是AI的黑暗時代了，但那是非常重要的一步。

我同意你的看法，現(xiàn)在我們有點像是在到處修修補補，比如簡單粗暴地把所有東西都塞進上下文窗口(Context Window)里，但這似乎有點不盡如人意。盡管我們研究的是機器而非生物大腦，你可以擁有數(shù)百萬甚至數(shù)千萬規(guī)模的完美上下文窗口或內(nèi)存。但檢索并提取正確的內(nèi)容仍然是有成本的，這實際上與你當前必須做出的特定決策息息相關。這個問題不容小覷，即使你能存儲所有數(shù)據(jù)，其調(diào)用成本也極高。我認為在記憶(Memory)等領域其實還有極大的創(chuàng)新空間。

Garry Tan：確實如此。讓人覺得瘋狂的是，目前百萬級Token的上下文看起來已經(jīng)足夠龐大了，完全可以支持很多操作。

Demis Hassabis：對于絕大多數(shù)應用場景來說，它的確已經(jīng)足夠大了。如果仔細思考，上下文窗口在某種程度上相當于工作記憶。人類只有幾位數(shù)字的記憶能力，平均只有七個。而現(xiàn)在的AI擁有百萬級甚至一千萬級的上下文窗口。但問題在于我們正試圖把所有內(nèi)容都一股腦兒地塞進去，包括那些不重要的或者錯誤的信息。

目前這種暴力破解(Brute Force)的方式看起來并不合理。接下來的挑戰(zhàn)是，如果你嘗試處理實時視頻，只是簡單天真地記錄下所有Token，那么一百萬個Token其實并不算多，大約只能處理20分鐘的視頻。所以如果你想要一個真正能夠理解長期上下文的系統(tǒng)，讓它了解你過去一兩個月的生活中發(fā)生了什么，就需要遠超于此的容量。

Garry Tan：DeepMind在歷史上一直傾向于強化學習和搜索技術，例如AlphaGo、AlphaZero和MuZero。這種理念在你們?nèi)缃駱?gòu)建Gemini的過程中實際融入了多少？強化學習(RL)目前是否仍然被低估了？

Demis Hassabis：是的，我認為強化學習很有可能被低估了。技術的發(fā)展總是呈波浪式起伏。自DeepMind成立之初，我們就一直在研究智能體(Agent)，這也是我們對外明確的目標。所有的Atari游戲研究以及AlphaGo，本質(zhì)上都是智能體系統(tǒng)。

我們所說的智能體系統(tǒng)是指能夠自主實現(xiàn)目標、做出主動決策并制定計劃的系統(tǒng)。我們最初在游戲領域開展這項工作是為了使其具備可操作性，然后逐步挑戰(zhàn)日益復雜的任務。比如在AlphaGo之后，我們研發(fā)了針對《星際爭霸》的AlphaStar�；�本上我們已經(jīng)攻克了當時市面上所有的游戲。

接下來的問題自然是，能否將這些模型泛化為世界模型或語言模型，而不僅僅局限于簡單或復雜的游戲模型？這就是過去幾年我們一直在努力的方向。實際上你可以發(fā)現(xiàn)，今天我們做的很多工作，包括所有具備思考模式和思維鏈推理的前沿模型，在某種程度上都是AlphaGo開創(chuàng)性特性的回歸。

我認為我們當年做的很多工作在如今依然高度相關。我們正在重新審視一些舊想法，并在當今的大模型規(guī)模下以一種更通用的方式進行實踐，包括蒙特卡洛樹搜索(Monte Carlo)等方法，并在現(xiàn)有基礎上進一步增強強化學習。無論是來自AlphaGo還是AlphaZero的理念，對于目前基礎模型的發(fā)展階段都極具參考價值。我認為這些理念正是我們在未來幾年即將看到的重大突破方向。

2.為什么小型模型正變得如此強大

Garry Tan：我還有一個問題。如今我們需要越來越大的模型來提升智能水平，但同時我們也看到了模型蒸餾(Distillation)技術的應用，讓更小的模型運行得快得多。你們擁有令人難以置信的Flash模型，并且發(fā)現(xiàn)它們能達到前沿(Frontier)模型95%的性能水平，而成本卻只有其十分之一。是這樣嗎？

Demis Hassabis：我認為這是我們的核心優(yōu)勢之一。毫無疑問，你必須構(gòu)建最龐大的模型才能具備最前沿的能力。但我們一直以來的最大優(yōu)勢，就是能夠非常迅速地將這種前沿能力進行蒸餾，并封裝到體積更小的模型中。

我們在早期就發(fā)明了這種蒸餾工藝，憑借Jeff和Oriol等科學家的努力，我們至今仍是該領域的全球頂尖專家。同時我們也有巨大的內(nèi)部需求去落地這項技術，因為我們必須為全球規(guī)模最大的AI用戶界面提供服務。

除了帶有AI概覽(AI Overviews)的搜索引擎、Gemini應用之外，如今越來越多的Google產(chǎn)品，比如Google地圖和YouTube等，都已經(jīng)融入了Gemini的相關技術。這觸達了數(shù)十億用戶，我們有十幾個用戶量超十億的產(chǎn)品，因此其推理服務必須極其快速、高效、廉價且具備極低延遲。這給了我們極大的動力去開發(fā)Flash甚至更小巧的Flashlight模型，使其做到極致高效，并希望最終能夠完美適配大家日常處理的各種工作負載。

Garry Tan：我很好奇這些較小的模型實際上能聰明到什么程度。比如模型蒸餾過程是否存在某種理論極限？一個50B或400B參數(shù)規(guī)模的模型，未來能像今天那些神乎其神的前沿大模型一樣聰明嗎？

Demis Hassabis：我不認為我們已經(jīng)觸及了任何形式的極限，或者至少目前業(yè)界還沒人知道我們是否達到了某種信息承載的極限。也許在未來的某個時刻會出現(xiàn)無法逾越的信息密度瓶頸。但基于目前的假設，當我們的Pro模型或前沿大模型發(fā)布半年到一年之后，你就能在那些非常微小的邊緣側(cè)模型中看到同等的能力表現(xiàn)。大家也能在我們的Gemma模型中看到這些優(yōu)勢，希望你們會喜歡這四款Gemma模型�？紤]到它們的參數(shù)尺寸，其能力表現(xiàn)確實令人驚嘆。這背后再次大量運用了模型蒸餾技術，以及如何讓極小模型變得極其高效的創(chuàng)新思路。因此我目前還沒有看到任何理論上的極限，我們離那個天花板還相當遙遠。

Garry Tan：這太驚人了，真的非常棒�，F(xiàn)在我們觀察到的最不可思議的現(xiàn)象之一是，工程師們現(xiàn)在能夠完成的工作量是六個月前的500到1000倍。我想指的就是在這個房間里的很多人，他們現(xiàn)在的工作產(chǎn)出可能達到了過去的一千倍。正如Steve Yegge所說，這相當于2000年代一名Google工程師工作量的總和。這非常令人興奮。

Demis Hassabis：我認為小模型有很多用途，降低成本顯然是其一，但更重要的是速度上的優(yōu)勢。無論是編程還是其他工作，這種速度能讓你迭代得快得多，尤其是在你與系統(tǒng)進行深度協(xié)作時。我們非常需要這種極其快速的系統(tǒng)。也許它們確實沒有完全達到前沿模型的級別，就像你說的，只有95%或90%的性能，但這已經(jīng)足夠好了。在敏捷的迭代速度面前，這種收益遠遠超過了那10%的性能差距。

我認為另一件重要的事情是在邊緣端運行這些模型。這主要是出于效率、隱私和安全方面的考量�？紤]到可能會在處理極其私密信息的設備上運行這些系統(tǒng)，或者在機器人技術領域，例如家用機器人就需要極其高效且強大的本地模型來協(xié)調(diào)運行。隨著云端出現(xiàn)更大規(guī)模的前沿模型，設備只需在特定環(huán)境下將任務委托給云端即可。所有的音視頻流都可以保留在本地進行處理。我認為這會是一種非常理想的最終狀態(tài)。

3.持續(xù)學習與智能體的未來

Garry Tan：關于上下文和記憶能力的話題，目前模型是無狀態(tài)的。對于使用持續(xù)學習模型的開發(fā)者而言該如何引導它呢？ 

Demis Hassabis：這個問題非常有趣。目前缺乏持續(xù)學習能力正是阻礙智能體執(zhí)行完整任務的因素之一。雖然它們在任務的某些方面非常有用且能拼湊起來完成很酷的事情，但無法適應具體的語境。這是它們實現(xiàn)自主完成任務狀態(tài)所缺失的關鍵一環(huán)。它們需要具備針對具體上下文的學習能力。我們必須攻克這一點才能實現(xiàn)完全的通用智能。 

Garry Tan：目前我們在推理方面進展如何？現(xiàn)在的模型已經(jīng)可以進行令人印象深刻的思維鏈推理，但在一些聰明的本科生都不會出錯的基礎問題上仍然會失敗。具體需要做出哪些改變以及您期望在推理方面取得什么樣的進展？ 

Demis Hassabis：思考范式方面仍有很大的創(chuàng)新空間。我們目前所做的事情還相當簡單且非常依賴暴力破解。在監(jiān)控思維鏈方面存在巨大潛力，也許可以在思維過程的中途進行干預。

我經(jīng)常感覺我們的系統(tǒng)以及競爭對手的系統(tǒng)都在過度思考，似乎陷入了某種循環(huán)。我有時喜歡和Gemini下國際象棋。有趣的是所有領先的基礎模型在游戲方面的表現(xiàn)都很差。觀察這些思維鏈非常有意思，因為它們很容易被理解。

我能迅速判斷出模型是否跑題，其思維過程也是高度可驗證的。有時它在考慮某一步棋時會意識到這是一個大錯，但在找不到更好走法的情況下又會趨向于回到那一步并最終執(zhí)行。在嚴密的推理系統(tǒng)中不應該發(fā)生這種情況。目前仍然存在差距，但也許只需一兩個調(diào)整就能修復這些問題。這些差距導致了參差不齊的智能表現(xiàn)。一方面它能解答極難的國際數(shù)學奧林匹克競賽金牌題目，但另一方面如果在提問方式上稍有不同它又會犯基礎的初等數(shù)學和推理錯誤。這說明模型在自我思維過程的反思能力上仍然有所缺失。

Garry Tan：智能體現(xiàn)在非常火熱，雖然有人認為它們被過度炒作了，但我個人認為它們才剛剛起步。關于智能體的能力現(xiàn)狀DeepMind的內(nèi)部研究得出了什么結(jié)論？相比于外界的炒作實際情況究竟如何？ 

Demis Hassabis：我同意你的看法，智能體才剛剛起步。必須擁有一個能主動解決問題的系統(tǒng)才能實現(xiàn)通用人工智能。這對我們來說一直很明確，智能體就是通往目標的路徑。大家都在逐漸習慣如何將其融入工作流并發(fā)揮最佳效果，不僅是把它當作錦上添花的東西，而是真正開始用它處理根本性事務。

目前我們都處于實驗階段。直到最近幾個月技術水平才真正達到能創(chuàng)造實質(zhì)價值的程度。它不再是玩具或漂亮的演示，而是能真正提升時間和效率。我看到很多人讓幾十個智能體運行幾十個小時，但我還不確定是否看到了能證明這種投入合理性的產(chǎn)出。不過這一天終究會到來。

我們尚未看到哪款由智能體生成的3A級游戲能登頂應用商店排行榜。很多人都做過很棒的小型演示程序，我現(xiàn)在半小時就能做一個主題公園原型，而我17歲時這需要花半年時間。這令人震撼。不過開發(fā)依然需要人類的匠心、靈魂和品味。必須確保無論構(gòu)建什么都要將這種特質(zhì)融入其中。

目前尚未達到完美水平，畢竟還沒看到一個孩子做出銷量千萬的熱門游戲�？紤]到已投入的努力這是應該成為現(xiàn)實的，所以不知何故仍然缺失了一些東西，也許與流程或工具相關。我預計在未來半年到一年內(nèi)一旦技術發(fā)揮出全部價值就會看到顯著成果。

Garry Tan：我不認為我們會最先看到完全的自主性。

Demis Hassabis：我們可能首先會看到人類借助工具將工作效率提升千倍，比如游戲等領域的公司利用這些工具開發(fā)出暢銷應用或游戲，隨后更多環(huán)節(jié)才會被自動化。

智能體確實還沒有達到那種高度。如果討論創(chuàng)意的話，可以參考AlphaGo在第二局下出的第37手。我們十年前推出AlphaGo，但我一直在等待像AlphaFold那樣的科學突破時刻。

僅僅想出第37手雖然很酷且有用，但它能發(fā)明出圍棋嗎？我想要的是一個能夠發(fā)明圍棋的系統(tǒng)。如果你給它一個高度概括的描述，要求發(fā)明一種五分鐘能學會規(guī)則但需耗費一生去精通且極具美感的游戲，系統(tǒng)就能反饋出圍棋。顯然今天的系統(tǒng)還做不到這一點，我認為那里仍然缺失了一些東西。

也許也并沒有缺失任何東西，僅僅是我們使用這些系統(tǒng)的方式存在問題，只要有足夠出色的創(chuàng)意人士去使用它就能實現(xiàn)。這可能確實是答案。只要人們?nèi)找岳^夜地鉆研這些工具，熟練掌握達到與工具合二為一的境界，并賦予項目靈魂動力。當這一點與真正的深度創(chuàng)意相結(jié)合時，一些更加不可思議的事情就有可能實現(xiàn)。

4.開放模型、Gemma與本地AI

Garry Tan：把話題切換到開源以及開放權(quán)重。最近發(fā)布的Gemma功能強大且能在本地運行。這對未來意味著什么？AI是否會從主要在云端運行轉(zhuǎn)變?yōu)檎嬲�掌握在用戶手中的工具，這是否會改變模型的開發(fā)者群體？ 

Demis Hassabis：我們是開源和開放科學的堅定支持者。正如前面提到的AlphaFold，我們將其成果和所有科學工作都免費公開，直到今天依然在頂級期刊上發(fā)表論文。我們致力于打造同等參數(shù)規(guī)模下世界領先的模型，Gemma正是為此而生。Gemma在短短兩周半內(nèi)的下載量就達到了四千萬次，我們希望更多人能基于它進行開發(fā)。

受限于人才和算力資源，同時打造兩個具有不同屬性的最高規(guī)格前沿模型非常困難。因此我們決定將應用于安卓設備、智能眼鏡和機器人領域的邊緣模型進行開源。因為一旦將模型部署到終端設備上它們就很容易受到攻擊，不如直接完全開放。我們在Nano尺寸級別上對其進行了統(tǒng)一規(guī)劃，這在戰(zhàn)略上也對我們有利。

Garry Tan：早些時候我向你演示了一個類似電影《她》里面Samantha版本的Gemini。演示成功運行讓人覺得不可思議。Gemini是原生多模態(tài)構(gòu)建的，其上下文深度、工具使用以及語音直接輸入模型的體驗是無與倫比的，毫無疑問是目前最好的。

Demis Hassabis：Gemini系列從一開始就被設計為多模態(tài)這一特點仍然被有些低估了。盡管這增加了研發(fā)難度，不再僅僅專注于文本，但我們堅信長遠來看會從中受益。我們現(xiàn)在正見證著這一點。

在基于Gemini構(gòu)建Genie等世界模型時，這對機器人技術等領域至關重要。機器人基礎模型將建立在多模態(tài)之上，憑借Gemini在多模態(tài)方面的強勁表現(xiàn)，我們擁有競爭優(yōu)勢并越來越多地將其應用于Waymo等項目中。數(shù)字助手隨你進入現(xiàn)實世界并在手機或眼鏡等設備上運行，需要理解物理世界、直觀物理學以及所處的物理環(huán)境。這正是我們系統(tǒng)非常擅長的地方。我們將繼續(xù)在這方面發(fā)力，使其保持領先。

5.從AlphaFold到虛擬細胞

Garry Tan：隨著推理成本的快速下降，當推理幾乎免費時什么將成為可能，這又會如何改變團隊優(yōu)化的目標？

Demis Hassabis：我不確定推理成本是否真的能降到幾乎為零。這有點像杰文斯悖論，最終大家會使用數(shù)以百萬計的智能體協(xié)同工作，或者讓智能體朝著多個方向思考并進行集成，這些都會消耗掉可用的推理資源。如果核聚變、超導體或電池技術取得突破，能源成本確實會降低甚至趨于零，但芯片制造的物理瓶頸依然存在。至少在未來幾十年里依然會有資源配額限制，因此必須高效地利用算力。 

Garry Tan：好在較小的模型正變得越來越聰明，這太棒了。觀眾席中有很多生物和生物技術領域的創(chuàng)始人，我能看到幾位。AlphaFold 3讓我們超越了蛋白質(zhì)，走向了更廣譜的生物分子。我們距離模擬完整的細胞系統(tǒng)還有多遠？或者說這本質(zhì)上仍然是一個屬于另一維度的更難的問題？

Demis Hassabis：Isomorphic Labs是我們在完成AlphaFold 2之后從DeepMind拆分出來的，目前進展非常順利。它不僅試圖構(gòu)建AlphaFold這種只負責藥物研發(fā)過程中單個環(huán)節(jié)的模型，我們還嘗試推進相關的生物化學和化學研究，以設計出具備正確屬性的化合物。我們很快會在該領域發(fā)布一些重大公告。

我們的最終目標是構(gòu)建一個完整的虛擬細胞。我在許多科學演講中都談到過這種完整的運行模擬：你可以對細胞進行擾動，其輸出結(jié)果將足夠接近實驗數(shù)據(jù)從而產(chǎn)生實際效用。你可以借此跳過大量的搜索步驟，生成大量合成數(shù)據(jù)來訓練其他模型，最終預測真實細胞的情況。我認為距離實現(xiàn)完整的虛擬細胞大概還需要10年時間。

DeepMind科學團隊已經(jīng)著手開展這項工作。我們首先從細胞核入手，因為它相對自給自足。解決此類問題的訣竅在于能否切入復雜性的一角。雖然最終目標是模擬人體，但在此之前需要找到正確的細節(jié)模擬水平，并找出一個可以從中提取出足夠獨立內(nèi)容的切面。你可以對其進行建模和近似，將輸入和輸出整合進這個獨立的系統(tǒng)，然后只專注于這一部分。從這個角度來看，細胞核是一個非常有趣的切入點。

另一個問題是目前數(shù)據(jù)不足。我曾與多位頂尖的電子顯微鏡科學家以及其他成像領域的專家交流過。如果我們能在不殺死細胞的前提下對活體細胞進行成像，這顯然是顛覆性的，因為那將把它轉(zhuǎn)化為一個我們擅長解決的視覺問題。但我目前還不知道有任何技術能夠同時提供納米級分辨率、不產(chǎn)生破壞，且能在活體動態(tài)細胞中觀察所有相互作用。雖然現(xiàn)在已經(jīng)可以拍攝出極其精細的靜態(tài)圖像，但這還不足以將其轉(zhuǎn)化為復雜的視覺問題。

解決這個問題有兩種途徑：一種是由硬件和數(shù)據(jù)驅(qū)動的解決方案；另一種則偏向建模，即構(gòu)建出針對這些動力系統(tǒng)更好的學習型模擬器。

6.AI作為科學研究的終極工具

Garry Tan：你一直在關注除了生物學之外的各種科學領域，包括材料科學、藥物研發(fā)、氣候建模和數(shù)學。如果讓你對未來五年內(nèi)將發(fā)生最劇烈變革的科學領域進行排名，你的名單里會有哪些？

Demis Hassabis：這些領域都非常令人興奮。我投身AI領域并在整個30多年的職業(yè)生涯里深耕于此，初衷就是將AI作為終極工具來使用。我一直認為AI將會是科學研究、探索環(huán)境、推進科學理解與發(fā)現(xiàn)，以及加深我們對醫(yī)學和周圍宇宙理解的終極工具。

我們最初的使命分為兩個步驟：第一步是解決智能問題，即構(gòu)建AGI；第二步是利用它來解決其他所有問題。

當時人們經(jīng)常質(zhì)疑我們是否真的打算解決其他所有問題，我們確實是那個意思。具體而言，我指的是解決科學中的根節(jié)點問題，即那些能夠開啟全新科學分支或探索途徑的領域，而AlphaFold正是我們要實現(xiàn)該目標的典型范例。

目前全球有超過300萬名研究人員，幾乎世界上每一位生物學研究人員都在使用AlphaFold。制藥行業(yè)的高管朋友告訴我，今后幾乎每一款研發(fā)出的藥物都將在其研發(fā)的某個階段使用AlphaFold。這正是我們希望通過AI產(chǎn)生的影響力，也是我們非常自豪的事情，但我認為這僅僅是個開始。

我實在想不出有任何科學或工程領域是AI無法提供幫助的。你提到的那些領域，我認為目前正處于類似AlphaFold 1的階段。我們已經(jīng)取得了非常有前景的成果，但還沒有完全解決該領域的重大挑戰(zhàn)。在接下來的幾年里，從材料學到數(shù)學，所有這些領域都有很多值得探討的內(nèi)容。

Garry Tan：就科學方面而言，這感覺具有普羅米修斯般的開創(chuàng)性。

Demis Hassabis：的確如此。但同時，正如普羅米修斯的寓言所警示的那樣，我們必須對如何使用這些工具、將其用于何處，以及如何防止濫用保持謹慎。

Garry Tan：在座的許多人都試圖創(chuàng)辦將AI應用于科學領域的公司。在你看來，一家真正推動前沿發(fā)展的初創(chuàng)公司與那些僅僅在基礎模型上封裝一個API就自稱“AI for Science”的公司相比，區(qū)別在哪里？

Demis Hassabis：這是我建議大家重點關注的事情之一。如果你坐在Y Combinator里觀察各種事物，顯然你必須緊跟AI技術的發(fā)展趨勢。但我確實認為，將AI的發(fā)展方向與其他深科技領域相結(jié)合存在巨大的空間。

這種黃金結(jié)合點無論是材料學、醫(yī)學還是其他極其艱深的科學領域都極具價值。特別是涉及原子世界這種需要跨學科團隊的領域，在可預見的未來是沒有捷徑可走的。在這些領域創(chuàng)業(yè)相當安全，你不必擔心僅僅因為基礎模型的一次更新就被徹底席卷。

我個人一直熱愛深科技，認為任何真正持久且有價值的事情都不是輕而易舉的。在2010年我們剛起步時AI也是如此。當時無論是投資者還是學術界，都認為AI行不通，認為那只是個在90年代嘗試過并被證明失敗的小眾課題。但如果你對自己的想法有堅定的信念，清楚這次有什么不同，或者清楚基于自身背景所擁有的特殊優(yōu)勢，比如你是機器學習專家并且擁有另一個應用領域的專業(yè)知識，或者你組建了一個具備該專業(yè)知識的創(chuàng)始團隊，那你們就能產(chǎn)生巨大的影響并創(chuàng)造極高的價值。

Garry Tan：這是一個非常重要的信息。這很容易被遺忘，一旦你做成了大家就覺得理所當然，但在你成功之前人們往往會反對你。

Demis Hassabis：確實如此，當初沒人相信它。這也是為什么我認為你必須致力于那些發(fā)自內(nèi)心熱愛的事情。對我來說，無論發(fā)生什么我都會致力于AI研究。我從小就認定這是我能想到的最能產(chǎn)生深遠影響的事情，事實證明也確實如此。而且它也是我能想到的最有趣的研究方向。所以哪怕到了今天我們的技術還沒完全跑通，依然身處某個小車庫里，或者退回學術界，我肯定還會通過某種方式繼續(xù)研究AI。

7.AlphaFold的突破模式

Garry Tan：AlphaFold就像是一個你所追求的并且最終成功的突發(fā)性突破案例。你認為是什么讓科學領域具備了實現(xiàn)AlphaFold式突破的成熟條件？是否存在某種模式或者特定的目標函數(shù)？

Demis Hassabis：等我有空閑的時候應該把這件事專門寫下來。但我從AlphaGo和AlphaFold等所有的Alpha項目中學到的教訓是：如果一個問題可以被描述為大規(guī)模的組合搜索問題，那么我們現(xiàn)有的技術就能發(fā)揮巨大的作用。在某種程度上搜索空間越大越好，這就使得任何暴力破解或特殊情況算法都無法解決它。無論是圍棋的著法還是蛋白質(zhì)的不同構(gòu)型，其數(shù)量都遠超宇宙中的原子總數(shù)。

其次，你需要一個明確的目標函數(shù)，比如最小化蛋白質(zhì)中的自由能，或者贏得圍棋比賽。你需要清晰地定義這個目標函數(shù)以便執(zhí)行算法。

最后，你需要足夠的數(shù)據(jù)，或者一個能夠為你生成大量分布內(nèi)模擬合成數(shù)據(jù)的模擬器。只要滿足這些條件，利用當今的方法你就能在解決問題上走得很遠，在大海撈針般的搜索中找到你需要的解決方案。我首先想到的就是藥物研發(fā)。物理定律允許存在某種可以治愈特定疾病且沒有任何副作用的化合物，唯一的問題是如何以一種高效的方式找到它。我們通過AlphaGo首次證明了這些系統(tǒng)能夠在大海撈針般的搜索中發(fā)現(xiàn)完美的目標。

8.AI能否實現(xiàn)真正的科學發(fā)現(xiàn)？

Garry Tan：我們來談點元層面的問題。我們探討了人類利用這些方法來創(chuàng)造AlphaFold，但在這個元層面，人類也可以利用AI來探索可能的假設空間。我們距離能夠進行真正科學推理，而不僅僅是對數(shù)據(jù)進行模式匹配的AI系統(tǒng)還有多遠？

Demis Hassabis：我認為我們已經(jīng)很接近了。所有的前沿實驗室都在進行這方面的實驗，我們正在開發(fā)像Co-Scientist這樣的通用系統(tǒng)，還有AlphaEvolve等能夠比基礎大模型做得更深入的算法。

雖然目前我還未看到任何具有真正意義的重大科學發(fā)現(xiàn)，但我認為它即將到來。這可能與我們討論過的關于創(chuàng)造力以及如何超越已知領域的界限有關。到那時，AI就不只是進行模式匹配或外推，因為已經(jīng)沒有既有的模式可供匹配了，它需要進行類比推理。目前這些系統(tǒng)可能還不具備這種能力，或者說我們還沒有找到正確的方法來激發(fā)這種能力。

我在科學領域經(jīng)常這樣測試它：它能否提出一個真正有趣的假設，而不僅僅是解決一個問題。我們現(xiàn)在談論的可是解決黎曼猜想或千禧年大獎難題這種需要頂尖數(shù)學家投入一生去研究的深奧問題。那是一個更高一級的難度，我們目前還不知道該如何實現(xiàn)這一點，但我認為這并不神秘，這些系統(tǒng)最終將能夠做到。

也許我們還缺少一兩塊拼圖。我有時會把它稱作我的愛因斯坦測試。你能不能把1901年之前的物理學知識教給一個系統(tǒng)，然后看它是否能像愛因斯坦在1905年的奇跡年那樣提出狹義相對論？我們也許應該持續(xù)進行這項測試。一旦實現(xiàn)了這一點，我們離這些系統(tǒng)能夠發(fā)明出真正新穎、前所未有的事物的階段就不遠了。

9.在AGI到來之前該構(gòu)建什么

Garry Tan：最后一個問題提給在座想要致力于類似長期科技項目的資深技術人員。你主導了全球最大的AI項目之一，這些年來你一直是這一領域的先驅(qū)。我想這個房間里的每一個人都會發(fā)自內(nèi)心地感謝你以及DeepMind的同事們。關于在最前沿領域進行構(gòu)建，有哪些事是你現(xiàn)在已知、但希望當初就能掌握的？

Demis Hassabis：我認為我們前面已經(jīng)涵蓋了其中的一部分。攻克深層難題在某些方面并不比解決淺顯表層的問題更難，它們只是難點不同�？紤]到人生苦短、精力和時間都有限，你大可以把生命投入到真正能產(chǎn)生影響的事情中。如果你不去推動，這些影響就不會發(fā)生。

另一件事是我非常熱愛跨學科研究。我認為在接下來的幾年里，跨領域的結(jié)合會變得越來越普遍，有了AI的幫助，尋找這些領域之間的聯(lián)系將變得更加容易。

還有一點我想說的是，如果你開啟了一段深科技之旅，這段征程往往需要長達10年。那么你現(xiàn)在必須考慮AGI可能會在這段旅程的中途出現(xiàn)。我對AGI實現(xiàn)時間的預測大約是2030年。如果AGI在中途出現(xiàn)這意味著什么？它并不一定是壞事，但你必須將它納入考量。AGI系統(tǒng)會如何利用你的技術？它會用來做什么？這又回到了我們之前提到的專業(yè)工具與通用AI系統(tǒng)的關系。

我可以預見，像Gemini或Claude這樣的通用系統(tǒng)會將AlphaFold之類的專業(yè)系統(tǒng)作為工具使用。我不認為我們會把所有的蛋白質(zhì)折疊知識都強行整合進一個通用的大腦中，這會導致過多的回歸問題。如果把所有專業(yè)知識都塞進去，肯定會對其語言等其他能力產(chǎn)生負面影響。因此，更好的做法是擁有非常出色的通用工具調(diào)用模型，讓它們?nèi)フ{(diào)用那些特定的工具。這些專業(yè)工具將處于一個獨立的系統(tǒng)中。你需要認真對待這件事，試著想象一下那個世界會是什么樣子，并在沿途構(gòu)建出一些有價值的東西。

       原文標題 : 哈薩比斯最新訪談：通往AGI需突破單純的上下文窗口擴容，建立持續(xù)學習與記憶機制