高加索AV无码,99尹人网毛,韩日337p99,一级a片久久无,97色区综合,激情日韩在线一二三,日韩精品久久精品草比,婷婷久久91,亚洲天堂艹比

作者：Sophia物聯(lián)網(wǎng)智庫 原創(chuàng)

此前，在一年一度舉辦的 GTC 大會上，英偉達(dá)提出了被命名為“AI Grid”的宏大愿景，試圖將全球電信網(wǎng)絡(luò)轉(zhuǎn)型為人工智能（AI）的基礎(chǔ)設(shè)施。

所謂“AI Grid”，是一個由相互連接的 AI 基礎(chǔ)設(shè)施節(jié)點(diǎn)組成的網(wǎng)絡(luò)，覆蓋 AI 工廠、區(qū)域接入點(diǎn)、中心機(jī)房、移動交換中心以及基站站點(diǎn)。這些節(jié)點(diǎn)配備全棧式 AI 基礎(chǔ)設(shè)施，并通過安全、高帶寬、低延遲的網(wǎng)絡(luò)連接在一起，能夠?qū)崿F(xiàn)數(shù)據(jù)、模型、智能體和工作負(fù)載的無縫流動，從而使整個網(wǎng)格像一個統(tǒng)一的分布式系統(tǒng)那樣運(yùn)行。

圖源：英偉達(dá)官網(wǎng)

當(dāng)前，正在探索“AI Grid” 領(lǐng)域的電信運(yùn)營商包括 T-Mobile US、Comcast 和 SoftBank 等，英偉達(dá)一直強(qiáng)調(diào)，電信公司現(xiàn)有的資產(chǎn)（鐵塔、光纖和頻譜）使它們天然適合承載分布式推理基礎(chǔ)設(shè)施。然而，核心的問題在于——如果這一愿景真的代表了未來大勢，那電信運(yùn)營商現(xiàn)在究竟應(yīng)不應(yīng)該把大量資金投入到分布式 AI 基礎(chǔ)設(shè)施中？

針對這一問題，ABI Research 近日發(fā)布了一份分析報(bào)告，幫電信公司算了一筆賬。該報(bào)告涵蓋了“AI Grid” 落地過程中的邊緣 GPU 部署、網(wǎng)絡(luò)延遲限制、總體擁有成本，其真正試圖厘清的核心矛盾在于：英偉達(dá)這一愿景在今天是否站得住腳，還是說，這是一場押注尚未到來的未來的昂貴賭博？

降低延遲是核心理由嗎？

在網(wǎng)絡(luò)的近邊緣或遠(yuǎn)邊緣部署 GPU，最有力的理由就是延遲——那些需要近乎“實(shí)時”執(zhí)行和控制的應(yīng)用程序?qū)ρ舆t有嚴(yán)格要求，推理服務(wù)器物理上越接近終端用戶，響應(yīng)速度就應(yīng)該越快。

然而，ABI 的分析表明，這一論點(diǎn)聽起來合理，實(shí)則站不住腳，至少對于當(dāng)今主流的 AI 工作負(fù)載而言是如此。對于生成式 AI 來說，最重要的指標(biāo)是首字延遲 (TTFT，一個用于衡量網(wǎng)頁加載性能的關(guān)鍵指標(biāo),反映了從用戶發(fā)起請求到瀏覽器接收到第一個字節(jié)的時間長度) ，而網(wǎng)絡(luò)延遲根本不是其主要影響因素。標(biāo)準(zhǔn)的網(wǎng)絡(luò)往返時間確實(shí)可能達(dá)到 100 毫秒，但造成延遲的更大元兇——包括 DNS 解析、隧道建立，以及計(jì)算密集型的預(yù)填充和解碼階段——無論推理服務(wù)器物理上部署在哪里，都不會改變。以一個大約 1000 個 token 的中等規(guī)模提示詞為例，僅預(yù)填充階段就需要約 160 毫秒，而解碼階段可能延長至數(shù)秒。

這在實(shí)踐中意味著，對于常規(guī)的聊天機(jī)器人交互來說，將推理服務(wù)器移到離用戶更近的地方并不會顯著改善體驗(yàn)。token 生成過程中的計(jì)算延遲，完全壓過了在網(wǎng)絡(luò)傳輸環(huán)節(jié)節(jié)省下來的時間。Latitude 公司首席執(zhí)行官 Guilherme Soubihe 在接受 RCR Wireless 采訪時指出了這一點(diǎn)：“絕大多數(shù)數(shù)據(jù)中心級 GPU 容量已經(jīng)被超大規(guī)模云廠商和前沿模型開發(fā)商用于大語言模型的訓(xùn)練和微調(diào)，而這些工作負(fù)載并不會從邊緣位置中獲得有意義的收益，因?yàn)榫W(wǎng)絡(luò)延遲基本無關(guān)緊要。”

不過，情況其實(shí)要更復(fù)雜一些。英偉達(dá) GTC 大會上的演示顯示，采用邊緣部署后，聊天機(jī)器人的往返延遲從 2000 毫秒下降到了 400 毫秒。Personal AI 首席執(zhí)行官 Suman Kanuganti 則對當(dāng)前延遲討論中通常圍繞單個請求展開的框架提出了質(zhì)疑�！癆I Grid 并非針對單次調(diào)用進(jìn)行優(yōu)化，而是為并發(fā)而優(yōu)化的�！彼�引用了一些基準(zhǔn)測試結(jié)果：在 P99 突發(fā)流量下，一個四節(jié)點(diǎn)的 AI Grid 能將語音延遲保持在 500 毫秒以內(nèi)，同時吞吐量比基線提升 80%，而集中式部署在相同負(fù)載下則會出現(xiàn)性能下降。換言之，邊緣的優(yōu)勢不在于將單個請求縮短幾毫秒，而在于為數(shù)百萬個并發(fā)會話同時保持確定性的服務(wù)質(zhì)量。因此，對于單個消費(fèi)者的查詢而言，延遲方面的優(yōu)勢可能并不明顯，但對于處理海量并發(fā)會話的運(yùn)營商來說，其考量結(jié)果就開始有所不同了。

物理 AI 才是真正讓延遲成為架構(gòu)剛需的領(lǐng)域。自動駕駛汽車、配送無人機(jī)和機(jī)器人、視頻監(jiān)控、智能眼鏡以及 AR/VR，都大幅壓縮了可接受的延遲窗口——云端推理根本無法滿足這些要求。

ABI 用一個直白的例子闡明了這一點(diǎn)：在 100 毫秒的延遲下，一輛時速 100 公里的自動駕駛汽車相當(dāng)于有 2.8 米的距離處于“失明”狀態(tài)。當(dāng)面對需要近乎實(shí)時執(zhí)行的安全關(guān)鍵系統(tǒng)時，通過遠(yuǎn)端的云數(shù)據(jù)中心進(jìn)行路由推理是行不通的。同樣的原理適用于一系列新興應(yīng)用，包括最后一公里配送機(jī)器人和實(shí)時視頻分析。

當(dāng)然，問題在于時機(jī)。這些物理 AI 應(yīng)用中的大部分距離形成任何意義上的規(guī)�；�都還有數(shù)年時間。愛立信美洲思想領(lǐng)導(dǎo)力負(fù)責(zé)人 Peter Linder 的核心觀點(diǎn)是，部署的理由需要來自網(wǎng)絡(luò)效率提升和未來收入潛力兩者的結(jié)合，而不僅僅是物理 AI 本身的需求；Kanuganti 則持更激進(jìn)的觀點(diǎn)，他認(rèn)為語音 AI、視頻智能和企業(yè) AI 服務(wù)是現(xiàn)在已經(jīng)存在的用例。如果自動駕駛汽車、無人機(jī)、人形機(jī)器人真的有那么接近大規(guī)模應(yīng)用，那么基礎(chǔ)建設(shè)現(xiàn)在就必須開始。

建設(shè)成本劃算嗎？

即使延遲論點(diǎn)和應(yīng)用場景最終能夠達(dá)成一致，建設(shè)分布式 AI 網(wǎng)格的財(cái)務(wù)挑戰(zhàn)依然令人望而生畏。ABI 的結(jié)論是，在未來兩到三年內(nèi)，旨在降低標(biāo)準(zhǔn)延遲的大規(guī)模全國性邊緣服務(wù)器部署在財(cái)務(wù)上并不可行�；�站部署尤其面臨嚴(yán)峻的單位經(jīng)濟(jì)效益問題——每個基站服務(wù)的用戶群有限，地理覆蓋范圍狹窄，這使得除了密集、高價(jià)值區(qū)域外，每個站點(diǎn)的回報(bào)都頗具挑戰(zhàn)。

為了用真實(shí)數(shù)據(jù)支撐討論，ABI 以美國的 T-Mobile 為例進(jìn)行了模擬計(jì)算。T-Mobile US 曾在 GTC 大會上表示，“ kinetic tokens”將為全球電信運(yùn)營商帶來巨大機(jī)遇，而為了利用其基礎(chǔ)設(shè)施資產(chǎn)，運(yùn)營商需要 AI-RAN 系統(tǒng)以及在網(wǎng)絡(luò)中部署 GPU。假設(shè) T-Mobile US 在美國運(yùn)營約 13,000 個屋頂基站站點(diǎn)，并開始為其配備 AI-RAN 服務(wù)器（此場景中采用英偉達(dá) ARC-1 服務(wù)器，單價(jià) 6 萬美元，每臺為三個基站提供算力），且到 2035 年完成部署，實(shí)現(xiàn)屋頂站點(diǎn) GPU 全覆蓋——那么包括部署、冷卻及其他輔助成本在內(nèi)，累計(jì)總成本將達(dá)到 37 億美元。如下所示的圖表展示了該示例部署場景下的年度總體擁有成本：

圖：T-Mobile US 在其所有屋頂站點(diǎn)逐步部署 GPU 服務(wù)器的年度總體擁有成本

假設(shè)收入能相應(yīng)增長，將投資分?jǐn)偟骄拍�，部署“AI Grid” 的投入就變得更為可控。此外，37 億美元的估算值在英偉達(dá)的體量下幾乎微不足道，但電信運(yùn)營商及其投資者需要強(qiáng)有力的商業(yè)案例來支撐這一支出——尤其是當(dāng)這筆投入的規(guī)模相當(dāng)于部署一套新一代無線網(wǎng)絡(luò)時。

基礎(chǔ)設(shè)施的現(xiàn)實(shí)情況讓財(cái)務(wù)挑戰(zhàn)更加嚴(yán)峻，Kanuganti 表示，“通信鐵塔的設(shè)計(jì)初衷并不是為了容納和冷卻高密度計(jì)算設(shè)備”，這也解釋了為什么先行者會從具備冗余電源、冷卻和物理安全措施的有線近邊緣設(shè)施入手。Linder 也強(qiáng)調(diào)了這一點(diǎn)，他指出：“無線電站點(diǎn)通常環(huán)境惡劣，因此我們使用專門設(shè)計(jì)的、基于 ASIC 的計(jì)算來優(yōu)化功耗、性能和成本，并盡可能取消風(fēng)扇�！�

這兩種觀點(diǎn)都得出了相同的結(jié)論：遠(yuǎn)邊緣的建設(shè)取決于硬件能效的提升、專為邊緣 AI 設(shè)計(jì)的硬件形態(tài)，以及將無線處理與 AI 推理整合到共享計(jì)算平臺上的 AI-RAN 架構(gòu)的出現(xiàn)。

鑒于所有這些限制因素，ABI 預(yù)測，AI 推理的初期部署將集中在核心網(wǎng)節(jié)點(diǎn)（通常一個國家內(nèi)少于 10 個），之后隨著低延遲需求增長和經(jīng)濟(jì)性改善，再逐步向外擴(kuò)展到基站站點(diǎn)。許多應(yīng)用場景，包括視頻監(jiān)控、自動駕駛、最后一公里配送機(jī)器人、智能眼鏡以及 AR/VR 應(yīng)用，都使得邊緣推理不是可選項(xiàng)，而是架構(gòu)上的必然要求。早期的“AI Grid” 部署主要作用是為電信網(wǎng)絡(luò)面向未來做好鋪墊，為 6G 最終所需的分布式計(jì)算打下基礎(chǔ)。

英偉達(dá)畫的“大餅”好吃么？

按照英偉達(dá)的設(shè)想，“AI Grid” 旨在跨計(jì)算位置無縫處理 AI 工作負(fù)載，從而優(yōu)化成本、性能和用戶體驗(yàn)。簡而言之，它們根據(jù)延遲、成本和策略目標(biāo)來決定模型應(yīng)該在何處運(yùn)行以及 tokens 應(yīng)該如何流動。

賦能實(shí)時 AI 應(yīng)用場景：對話助手、AR/VR、在線游戲和工業(yè)機(jī)器人等實(shí)時 AI 應(yīng)用，為了實(shí)現(xiàn)沉浸式客戶體驗(yàn)，需要嚴(yán)格控制延遲�！癆I Grid” 通過將計(jì)算工作負(fù)載部署在盡可能靠近終端用戶和設(shè)備的物理位置，實(shí)現(xiàn)了此類對延遲高度敏感的應(yīng)用的大規(guī)模運(yùn)行。

大規(guī)模優(yōu)化 Token 成本：多模態(tài)生成和高級推理模型生成的 Token 數(shù)量可達(dá)簡單文本型大型語言模型 (LLM) 的 100 倍，這顯著增加了網(wǎng)絡(luò)數(shù)據(jù)量，并推高了云出口成本。“AI Grid” 通過將這些 Token 密集型工作負(fù)載部署在具有最具成本效益的計(jì)算和網(wǎng)絡(luò)連接的分布式 AI 節(jié)點(diǎn)上來緩解這一問題，從而在不犧牲服務(wù)質(zhì)量的前提下，減少數(shù)據(jù)出口和帶寬消耗。

面向彈性和投資回報(bào)的地理彈性架構(gòu)：“AI Grid” 可以運(yùn)行從 AI 應(yīng)用到網(wǎng)絡(luò)功能的各種工作負(fù)載，同時優(yōu)化每個節(jié)點(diǎn)的利用率，從而提高基礎(chǔ)設(shè)施投資回報(bào)率并降低運(yùn)營開銷，優(yōu)于單一用途系統(tǒng)。它們將多個分布式 AI 節(jié)點(diǎn)視為一個虛擬系統(tǒng)，從而能夠更智能地?cái)U(kuò)展容量、應(yīng)對突發(fā)的需求高峰并顯著減少單點(diǎn)故障。

區(qū)域合規(guī)性和數(shù)據(jù)主權(quán)：企業(yè)可以定義數(shù)據(jù)和模型在“AI Grid” 上的存儲和執(zhí)行位置，使部署符合區(qū)域規(guī)則，同時還能利用全球規(guī)模的協(xié)調(diào)能力。

基于以上受益，我們能看到英偉達(dá)正在積極構(gòu)建一種敘事，即電信公司將成為新型 AI 網(wǎng)格中的關(guān)鍵節(jié)點(diǎn)。但值得清醒認(rèn)識到的是，這一框架對英偉達(dá)的好處，遠(yuǎn)超其他任何一方。設(shè)備銷售、軟件授權(quán)、生態(tài)綁定——無論“AI Grid” 最終以何種形態(tài)落地，英偉達(dá)都將是最大的贏家；而對于電信運(yùn)營商而言，這條路卻遠(yuǎn)沒有那樣明朗。

率先行動的玩家或許未必能在短期內(nèi)看到真金白銀的回報(bào)，它們更多是在這個被英偉達(dá)等公司稱為“AI超級周期”的浪潮中，搶先占據(jù)一個戰(zhàn)略卡位。然而，這種卡位是否真的值得在收入來源尚未得到任何驗(yàn)證之前，就投入數(shù)十億美元的資本支出，仍然是一個懸而未決的問題~

參考資料：ABI on AI infra | AI grid may be the next telecoms arms race (Analyst Angle)——RCRWirelessNvidia’s AI grid and the telco dilemma——RCRWirelessWhat Is an AI Grid?——英偉達(dá)官網(wǎng)英偉達(dá)的電信雄心：重塑2萬億美元網(wǎng)絡(luò)產(chǎn)業(yè)——C114通信網(wǎng)黃仁勛的物理AI野望:將5G網(wǎng)絡(luò)轉(zhuǎn)變?yōu)榉植际紸I計(jì)算機(jī)!——物聯(lián)網(wǎng)智庫

       原文標(biāo)題 : 英偉達(dá)給通信企業(yè)畫的"AI Grid大餅"好吃么?有人算了筆賬~