" 有的項(xiàng)目花兩三年時(shí)間把利用率做到 30%，但設(shè)備壽命只有五年，等真正跑順的時(shí)候，硬件已經(jīng)過時(shí)了。" 并行科技 COO 喬楠對(duì)雷峰網(wǎng)說。

他并不諱言行業(yè)的盲區(qū)，算力行業(yè)看似門檻低，" 有錢就能砸進(jìn)去 "，但很多進(jìn)入者根本不懂市場(chǎng)行情以及技術(shù)選型，買錯(cuò)算力規(guī)格、配錯(cuò)應(yīng)用場(chǎng)景以及無法提供客戶需要的技術(shù)服務(wù)，最終造成資源閑置。

在市場(chǎng)實(shí)踐中，技術(shù)問題引發(fā)的業(yè)務(wù)困境并不少見。

為布局智算產(chǎn)業(yè)，某上市公司在對(duì)服務(wù)器設(shè)備的組網(wǎng)方式、存儲(chǔ)方案、機(jī)頭選型等細(xì)節(jié)毫無了解的情況下，便盲目與頭部人工智能公司簽訂合作方案，后續(xù)因無法交付符合要求的集群設(shè)備，最終只能發(fā)布公告終止雙方合作。

" 早期國內(nèi)的算力市場(chǎng)面臨的最大問題就是組網(wǎng)，但國內(nèi)不超過 20 個(gè)團(tuán)隊(duì)具備組網(wǎng)的能力，而這其中主要還是互聯(lián)網(wǎng)大廠。" 一位從業(yè)者表示。

已經(jīng)投入到實(shí)際應(yīng)用場(chǎng)景中的集群，也同樣會(huì)面臨技術(shù)風(fēng)險(xiǎn)，甚至可能因直接關(guān)聯(lián)業(yè)務(wù)運(yùn)轉(zhuǎn)而造成更大影響。

某集團(tuán)旗下 DeepSeek 云服務(wù)曾發(fā)生的長達(dá) 12 小時(shí)宕機(jī)事件，其直接誘因在于算力調(diào)度算法存在設(shè)計(jì)缺陷，在業(yè)務(wù)訪問高峰期，算法無法對(duì)平臺(tái)內(nèi)的算力資源進(jìn)行有效分配與動(dòng)態(tài)調(diào)度，導(dǎo)致部分虛擬機(jī)因持續(xù)面臨算力資源供給不足的問題，最終出現(xiàn)崩潰，進(jìn)而引發(fā)整體云服務(wù)宕機(jī)。

這些案例都指出：技術(shù)服務(wù)能力才是算力業(yè)務(wù)可持續(xù)運(yùn)營和發(fā)展的關(guān)鍵。

隨著裸金屬租賃業(yè)務(wù)趨向成熟，智算云成為了市場(chǎng)的新焦點(diǎn)，而技術(shù)服務(wù)能力則是左右智算云競(jìng)爭格局的關(guān)鍵變量。

大廠憑借資金實(shí)力、生態(tài)規(guī)模與全鏈路技術(shù)儲(chǔ)備，在智算云場(chǎng)景中占據(jù)天然優(yōu)勢(shì)。反觀中小智算云公司，既難在算力規(guī)模上與大廠抗衡，也容易在技術(shù)服務(wù)的全面性上陷入被動(dòng)，若找不到差異化競(jìng)爭方向，很容易被擠壓生存空間。

" 云業(yè)務(wù)雖遵循馬太效應(yīng)，但并非只有大廠能存活，像混合云、政府云等細(xì)分領(lǐng)域，都有專業(yè)玩家的生存空間。并行科技從誕生起就深耕超算領(lǐng)域，積累的人才、經(jīng)驗(yàn)與技術(shù)方法論都可以直接復(fù)用。這種‘細(xì)分領(lǐng)域做深做透’的策略，正是中小玩家在大廠環(huán)伺下的生存關(guān)鍵。而沒有構(gòu)建壁壘的玩家，時(shí)間線拉長后都會(huì)被逐步淘汰。"喬楠說道。

二十余年的高性能計(jì)算經(jīng)驗(yàn)讓喬楠對(duì)智算產(chǎn)業(yè)有更深刻的理解，他曾擔(dān)任英特爾高性能計(jì)算團(tuán)隊(duì)經(jīng)理，2015 年 9 月加入并行科技擔(dān)任應(yīng)用總監(jiān)，后升任首席運(yùn)營官，主導(dǎo)技術(shù)應(yīng)用落地與業(yè)務(wù)運(yùn)營。

基于這樣的認(rèn)知，他推動(dòng)并行科技打造 " 算力買手 " 模式，將超算時(shí)代的資源調(diào)度經(jīng)驗(yàn)延伸到智算云服務(wù)，實(shí)現(xiàn) 1 小時(shí)內(nèi)為客戶匹配到最合適的算力資源，讓供需雙方高效匹配。

隨著算力行業(yè)逐步進(jìn)入后半場(chǎng)，市場(chǎng)的關(guān)注點(diǎn)也從 " 算力大單 "、" 算力貿(mào)易 " 回歸到算力本身的技術(shù)、效率與適配性。幫助過多家芯片廠商做優(yōu)化的并行科技，對(duì)國產(chǎn)芯片在當(dāng)下的競(jìng)爭環(huán)境中如何突圍有怎樣的理解？在超算這一細(xì)分賽道做到業(yè)內(nèi)領(lǐng)先，又對(duì)大廠圍獵下的智算云競(jìng)爭生態(tài)有何看法？以及如何評(píng)定智算集群的效率，算力優(yōu)化的終局又是什么？

喬楠向雷峰網(wǎng)分享了圍繞算力產(chǎn)業(yè)從硬件、軟件到行業(yè)生態(tài)的多維度洞察，為便于理解，訪談內(nèi)容經(jīng)編輯：

國產(chǎn)芯片突圍策略：摒棄對(duì)「峰值性能」的過度追求，注重撬動(dòng)生態(tài)杠桿

雷峰網(wǎng)：國內(nèi)算力集群 90% 以上用英偉達(dá)服務(wù)器，行業(yè)里似乎有個(gè)共識(shí)，英偉達(dá)存在斷崖式領(lǐng)先的優(yōu)勢(shì)，您如何看待國產(chǎn)芯片和英偉達(dá)的差距？

喬楠：英偉達(dá)并非斷崖式領(lǐng)先，現(xiàn)在英偉達(dá)可能就領(lǐng)先一到兩年。我們研究了英偉達(dá)的多款產(chǎn)品，他們現(xiàn)在最大的問題是芯片性能逐步接近天花板，無論是集成度還是核心浮點(diǎn)計(jì)算能力的平衡性，這從英偉達(dá)的芯片結(jié)構(gòu)大小和成本構(gòu)成就可以看出，之前是一個(gè)快速發(fā)展的曲線，現(xiàn)在已經(jīng)平緩了許多。

在 CPU 時(shí)代，計(jì)算部件的工藝提升是最容易的，存儲(chǔ)部件和網(wǎng)絡(luò)部件的提升的速度是遠(yuǎn)遠(yuǎn)落后于 CPU 的，這會(huì)導(dǎo)致存儲(chǔ)墻、網(wǎng)絡(luò)墻的出現(xiàn)，從而影響真實(shí)應(yīng)用的效率，真實(shí)應(yīng)用只能達(dá)到理論峰值性能的 10%-20%，而這已經(jīng)是優(yōu)化到極致的水平。

現(xiàn)在 GPU 也開始類似的情況，在開源案例里，真實(shí)應(yīng)用下最高效率是峰值性能的 50%。英偉達(dá)從 V100、A100、H100、H200 到 B200 的迭代中，內(nèi)存帶寬利用率的提升速度、通訊訪存比的優(yōu)化速度，都跟不上計(jì)算性能的提升速度，使得它真實(shí)的應(yīng)用的效率并沒有達(dá)到計(jì)算性能提升的水平。

雷峰網(wǎng)：您如何看待國產(chǎn)芯片的發(fā)展，國產(chǎn)芯片現(xiàn)在比較好的切入點(diǎn)是什么？

喬楠：國產(chǎn)芯片要系統(tǒng)的去看芯片設(shè)計(jì)，如何更好的做到應(yīng)用性能的提升，而不是看標(biāo)稱峰值，現(xiàn)在國產(chǎn)芯片很多標(biāo)稱峰值也不低，但實(shí)際跑起來比不上英偉達(dá)，原因就在于芯片組的資源是有限的，比如你把 90% 的芯片設(shè)計(jì)都做成適合 Transformer 的核，但是把顯存設(shè)計(jì)的特別小，那效率就有可能大打折扣，可能理論峰值性能是英偉達(dá)的幾倍，但是效率就低很多。在所有推理場(chǎng)景中，顯存帶寬和顯存容量是很重要的指標(biāo)，H20 的峰值性能只有 H100 的五分之一，但顯存容量和顯存帶寬很高，所以之前在國內(nèi)很受歡迎。

另一方面，芯片行業(yè)需要更多的投入生態(tài)和上下游建設(shè)，英特爾芯片組的人數(shù)跟做生態(tài)的人數(shù)比例是 1：5，生態(tài)是最難的，很多國產(chǎn)芯片廠商會(huì)覺得自己規(guī)模較小、人手不夠，這個(gè)時(shí)候就要尋找合適的上下游合作伙伴，可能你生態(tài)投入 1 個(gè)人就能撬動(dòng)業(yè)內(nèi)的 10 個(gè)人。

最后是市場(chǎng)容量的問題，以前全球只有兩家 GPU 廠商，AMD 和英偉達(dá)。當(dāng)下，在沒有出海的情況下，國產(chǎn) GPU 廠商爆發(fā)到了十幾家，不可能每一家都能存活下去，中國這個(gè)市場(chǎng)每年能增長 50%，但廠商想要活下去還是要找到自己的細(xì)分賽道。（國產(chǎn)算力替代 " 來勢(shì)洶洶 "，關(guān)于國產(chǎn) GPU 廠商更多的產(chǎn)品細(xì)節(jié)及幕后故事，歡迎添加作者微信 YONGGANLL6662 交流更多信息）

雷峰網(wǎng)：如果國產(chǎn)芯片廠商找到并行科技，并行科技能怎么幫他去豐富生態(tài)？

喬楠：主要是兩個(gè)方面，一個(gè)方面是我們有一個(gè)團(tuán)隊(duì)可以幫助國產(chǎn)芯片廠商做移植適配，去加速產(chǎn)品的應(yīng)用落地。另一方面，用戶使用并行科技的算力，其實(shí)并不在意底層用的是什么芯片，只要求輸入輸出的速度更快，并行科技打造了一套幫助國產(chǎn)芯片做驗(yàn)證的架構(gòu)，驗(yàn)證精度、算法、性能沒問題，就可以用性價(jià)比最好的國產(chǎn)芯片的解決方案。

雷峰網(wǎng)：并行科技提到要 " 提升基礎(chǔ)架構(gòu)設(shè)計(jì)能力 " 和 " 優(yōu)化基礎(chǔ)支撐組件 "，具體的實(shí)施路徑是怎樣的？

喬楠：核心優(yōu)化邏輯是 " 從硬件到軟件的全鏈路適配優(yōu)化 "，具體分三個(gè)方向落地：

第一個(gè)是性能診斷工具，我們做了 Paramon 應(yīng)用運(yùn)行性能分析平臺(tái)，它就像 "CT 掃描儀 "，能夠掃描智算集群，找出硬件設(shè)計(jì)問題和軟件適配問題，然后找到關(guān)鍵路徑以及熱點(diǎn)函數(shù)，從硬件設(shè)計(jì)和軟件優(yōu)化相結(jié)合的方式去提升整體系統(tǒng)的性能。

第二個(gè)是國產(chǎn)芯片的適配，現(xiàn)在英偉達(dá)的 middleware（中間件）、SDK 和生態(tài)都是最好的，很多國產(chǎn) GPU 的適配性存在問題，需要做大量移植和優(yōu)化。并行科技有個(gè)幾十人的優(yōu)化團(tuán)隊(duì)與國產(chǎn)芯片廠商保持合作，最近一年已經(jīng)把上百款應(yīng)用移植到國產(chǎn) GPU 上，取得不錯(cuò)的成效，具備一定的競(jìng)爭力，并不像外界所說的與英偉達(dá)的差距很大。

第三個(gè)是生態(tài)合作與人才儲(chǔ)備。比如，中國最優(yōu)秀的體系架構(gòu)人才來自于清華，而清華最優(yōu)秀的體系架構(gòu)人才來自于計(jì)算機(jī)系，其中的一個(gè)創(chuàng)業(yè)團(tuán)隊(duì)就是清程極智，并行科技與清程極智會(huì)在底層架構(gòu)設(shè)計(jì)上進(jìn)行合作。另外，我們每年舉辦 PAC 并行應(yīng)用挑戰(zhàn)賽，現(xiàn)任 Meta 超級(jí)智能實(shí)驗(yàn)室成員的余家輝就是 PAC2015 屆冠軍，2014 屆冠軍目前在并行科技做優(yōu)化方向。

最后是要盡可能刺激需求的發(fā)生，讓需求更快、更廣泛地落地。一個(gè)是創(chuàng)新應(yīng)用場(chǎng)景的發(fā)現(xiàn)和推廣，一個(gè)是降低成本。降低成本又分兩類，一類是硬件成本的下降，它基本是摩爾定律式地往下降，每年 25%，但這是遠(yuǎn)遠(yuǎn)不夠的，所以大部分的成本下降來自于軟件棧成本的下降，以 DeepSeek 為例，百萬 Token 的成本翻番地往下降。年初到現(xiàn)在，并行科技在 DeepSeek 上做的優(yōu)化基本上實(shí)現(xiàn)了幾十倍的性能提升。

智算云 " 生存戰(zhàn) "：大廠圍獵下，押注「細(xì)分賽道」或是唯一生路

雷峰網(wǎng)：當(dāng)下的算力行業(yè)暴露了許多問題，比如服務(wù)器租金下降引發(fā)的違約退租，您覺得這些現(xiàn)象背后的核心原因是什么？

喬楠：表面是短期的供求關(guān)系問題，但是核心是算力行業(yè)的 " 重資產(chǎn) + 快折舊 " 屬性，再疊加部分參與者的認(rèn)知偏差。

首先，算力是個(gè)重資產(chǎn)投入的行業(yè)，投入后的出清過程較長，屬于典型的投入高但回本周期長的生意。設(shè)備投下去后利用率上不來，運(yùn)營方只能虧本經(jīng)營，能做到收入覆蓋電費(fèi)，都算挽回了部分損失。

其次，行業(yè)看似門檻低，" 有錢就能砸進(jìn)去 "，但很多進(jìn)入者根本不懂技術(shù)選型，比如買錯(cuò)算力規(guī)格、匹配錯(cuò)應(yīng)用場(chǎng)景，導(dǎo)致算力資源的錯(cuò)配。

地方的一些指導(dǎo)也存在偏差，認(rèn)為可以參照 IDC 建設(shè)的成功經(jīng)驗(yàn)，適度提前布局算力基建，但算力設(shè)備的使用年限很短，是一個(gè)快速折舊的產(chǎn)品，一般折舊周期就 5 年，很多地方的項(xiàng)目耗費(fèi)很大精力，用兩三年的時(shí)間把服務(wù)器的利用率做起來，往往這個(gè)時(shí)候設(shè)備就過時(shí)了。好在國家今年已經(jīng)注意到這個(gè)問題了，也在出臺(tái)一些政策。

雷峰網(wǎng)：算力資源錯(cuò)配嚴(yán)重，那智算云、算力平臺(tái)或算力網(wǎng)，是不是解決這一問題的有效手段？

喬楠：肯定能在一定程度上解決供需錯(cuò)配的問題，核心邏輯很簡單，無論是 " 東數(shù)西算 " 還是算網(wǎng)協(xié)同調(diào)度，本質(zhì)都是用 " 連接 " 把分散的需求和供給匹配起來，加快交易節(jié)奏。

以并行科技為例，我們通過算力網(wǎng)絡(luò)模式已接入 47 家智算中心和 15 家超算中心，并根據(jù)用戶不同的行業(yè)屬性和應(yīng)用場(chǎng)景的差異化，對(duì)一些算力集群進(jìn)行適當(dāng)改造，把這部分算力資源與用戶的場(chǎng)景和應(yīng)用特征相匹配，提升算力中心的利用率。算網(wǎng)不只是 " 技術(shù)調(diào)度網(wǎng) "，更是 " 交易調(diào)度網(wǎng) "，不能只盯著技術(shù)參數(shù)，還要幫供給端找到精準(zhǔn)需求，這才是解決錯(cuò)配的關(guān)鍵。

雷峰網(wǎng)：并行科技有通過改造算力集群，從而提高其算力利用率的具體案例嗎？

喬楠：早期我們對(duì)接過一個(gè)供應(yīng)商，他們把算力集群的計(jì)算訪存比設(shè)計(jì)得特別小，導(dǎo)致集群只能支撐 10% 左右的工作負(fù)載，基本處于 " 閑置 " 狀態(tài)。我們介入后，第一步是加大存儲(chǔ)和內(nèi)存配置，調(diào)整硬件適配邏輯；第二步是通過算網(wǎng)平臺(tái)篩選適配的用戶場(chǎng)景，比如把它對(duì)接給計(jì)算壓力中等的科研項(xiàng)目。改造后，這個(gè)集群的工作負(fù)載提升到 60%，而且接入了上千個(gè)客戶。

雷峰網(wǎng)：并行科技針對(duì)不同場(chǎng)景推出了超算云、智算云、智造云，這么細(xì)分的布局是基于什么判斷？

喬楠：之前在英特爾、聯(lián)想及 HPC 廠商做超算的人，后來都散落在智算這個(gè)行業(yè)里，業(yè)內(nèi)共識(shí)是智算就是超級(jí)計(jì)算的一個(gè)細(xì)分場(chǎng)景，優(yōu)化的方法論和設(shè)計(jì)的方法論都一樣，只不過針對(duì)的場(chǎng)景是 GPU 場(chǎng)景，本質(zhì)上都在遵循更快、更強(qiáng)的原則。

超算云、智算云、智造云是針對(duì)不同場(chǎng)景的超級(jí)計(jì)算機(jī)云化產(chǎn)品，這是并行科技跟云大廠的區(qū)別，云大廠這幾年才開始布局智算，但并行科技從誕生的第一天起就在做這個(gè)事情，所以并行積累了很多人才、經(jīng)驗(yàn)和 Know-how，這些積累可以讓并行科技在任何底層還是超級(jí)計(jì)算機(jī)的風(fēng)口上復(fù)用。

雷峰網(wǎng)：您提到超算和智算的方法論相通，那是不是可以理解為，有超算經(jīng)驗(yàn)的團(tuán)隊(duì)做智算，會(huì)有 " 降維打擊 " 的效果？

喬楠：2003 到 2004 年期間，我就在參與優(yōu)化聯(lián)想深騰 6800 超級(jí)計(jì)算機(jī)，籃球場(chǎng)大小的設(shè)備，幾百臺(tái)設(shè)備總共發(fā)揮的算力是 4 TFlops，現(xiàn)在一張 GPU 算力卡就遠(yuǎn)超這個(gè)水平。當(dāng)然，浮點(diǎn)精度有差異，早期是雙浮點(diǎn)，現(xiàn)在是半精度，差了 8 倍左右，但從量級(jí)上看，過去是 T 級(jí)，現(xiàn)在是 P 級(jí)（1PFLOPS=1000TFLOPS），20 年里芯片集成度提升了很多。

從超算到智算，有很多經(jīng)驗(yàn)確實(shí)能復(fù)用，而且效率差距很明顯。比如一個(gè)從零開始的智算團(tuán)隊(duì)，要 run up 起來至少需要 3 到 5 年，而有超算經(jīng)驗(yàn)的團(tuán)隊(duì)，一兩個(gè)月就能落地。

雷峰網(wǎng)：云業(yè)務(wù)很注重營收規(guī)模，技術(shù)收斂之后，如何面對(duì)與大廠的競(jìng)爭？

喬楠：營收規(guī)模是成功的必然因素之一，只要符合馬太效應(yīng)的業(yè)務(wù)，都會(huì)有這樣的特性，但這不意味著最終只有一兩家公司能勝出。

跟傳統(tǒng)的云業(yè)務(wù)一樣，會(huì)有很多在細(xì)分賽道里存活下來的企業(yè)，有混合云、政府云，并行科技是超算這個(gè)細(xì)分領(lǐng)域的第一名，只要能夠找到一個(gè)細(xì)分的業(yè)務(wù)場(chǎng)景，這個(gè)業(yè)務(wù)場(chǎng)景跟云大廠有一定的差異化，就能夠活得還不錯(cuò)，但把這件事情做好也面臨比較高的門檻，長期來說小玩家一定會(huì)消失，但是會(huì)有一批細(xì)分領(lǐng)域的領(lǐng)頭羊活下來。

雷峰網(wǎng)：并行科技打造的 " 算力買手模式 " 很受行業(yè)關(guān)注，這種模式的核心是什么？

喬楠：算力買手模式的本質(zhì)，是用并行的專業(yè)能力幫用戶避坑，核心是從需求出發(fā)，1 小時(shí)內(nèi)匹配最優(yōu)算力。

第一步是需求拆解，比如，用戶說要跑大模型訓(xùn)練 / 推理，就需要進(jìn)一步問清楚 " 模型參數(shù)（7B/13B/70B）、訓(xùn)練周期、精度要求、成本預(yù)算 "，同時(shí)把程序的應(yīng)用運(yùn)行特征畫出來，是計(jì)算密集型，現(xiàn)存帶寬密集型，還是網(wǎng)絡(luò)通信密集型？這是第一層分析。再細(xì)展開，例如，計(jì)算密集型又可以拆成對(duì) fp32，fp16，fp8 的 GPU 利用率的呈現(xiàn)。我們把用戶的需求和應(yīng)用特征一層層列出來，就可以把模糊需求轉(zhuǎn)化為具體參數(shù)，比如 " 需要 16 張顯存≥ 40GB 的 GPU，計(jì)算密集型，F(xiàn)P8 精度要達(dá)到 xxpflops 浮點(diǎn)峰值，顯存帶寬與節(jié)點(diǎn)內(nèi)節(jié)點(diǎn)間帶寬不是主要瓶頸，GPU 機(jī)頭的內(nèi)存帶寬要達(dá)到 300GB/s，單卡時(shí)成本≤ 2 元，等等 "。

第二步是資源篩選，并行科技接入了幾百家超算、智算中心和算力廠商的資源，會(huì)根據(jù)用戶參數(shù)自動(dòng)篩選，排除不符合的選項(xiàng)。比如用戶要單卡時(shí)成本≤ 2 元的，就排除溢價(jià)高的廠商，最后剩下 3-5 個(gè)候選。

第三步是方案整合，我們會(huì)對(duì)候選資源做二次驗(yàn)證，比如測(cè)試某款國產(chǎn) GPU 的模型適配度、某智算中心的網(wǎng)絡(luò)穩(wěn)定性，然后把最優(yōu)資源整合到并行的算法平臺(tái)里，給用戶提供一站式服務(wù)。

雷峰網(wǎng)：算力的高投入意味著很多時(shí)候需要為客戶提供定制化服務(wù)，這會(huì)不會(huì)導(dǎo)致公司的人員壓力很大？

喬楠：按照二八定律，對(duì)大客戶肯定要實(shí)行定制化服務(wù)。對(duì)于中小客戶，并行科技會(huì)提供 7 × 24 小時(shí)的服務(wù)，并且是分鐘級(jí)的響應(yīng)，工程師幾乎都是碩士生，這個(gè)活還是很苦很累的。

不過，AI 時(shí)代我們也做了一些智能客服去做補(bǔ)充，基于我們之前積累的數(shù)據(jù)以及專家?guī)扉_發(fā)了一套客服系統(tǒng)，包括消息傳送以及智能的數(shù)據(jù)挖掘。目前，我們已經(jīng)積累了幾百萬條技術(shù)服務(wù)相關(guān)的數(shù)據(jù)，這都是私域數(shù)據(jù)，訓(xùn)練出來的系統(tǒng)有很高的專業(yè)度，現(xiàn)在基本上服務(wù)響應(yīng)每年能夠提效 25%。

雷峰網(wǎng)：并行科技的服務(wù)也在遵循摩爾定律。

喬楠：對(duì)，我經(jīng)常跟技術(shù)服務(wù)的負(fù)責(zé)人說，你今天服務(wù)了一卡時(shí)，你明年再服務(wù)一卡時(shí)的含金量就下降了不少，我們的服務(wù)也需要遵循摩爾定律，不斷擴(kuò)大服務(wù)的效率。

智算集群迭代方向：異構(gòu)推理存在合理性，優(yōu)化的終局是打通產(chǎn)業(yè)鏈

雷峰網(wǎng)：現(xiàn)在開源模型越來越多，很多行業(yè)也打造了垂直模型，模型數(shù)量增加對(duì) AI Infra 這一層會(huì)有什么樣的影響？

喬楠：肯定是好事，開源模型越來越多會(huì)對(duì) AI 架構(gòu)、AI Infra 產(chǎn)生刺激作用。

知識(shí)的開放、架構(gòu)的開放會(huì)吸引越來越多的人參與進(jìn)來，底層的體系架構(gòu)能夠產(chǎn)生正反饋，就會(huì)有越來越多做 AI Infra 的人參與開源模型的優(yōu)化和合作，形成一個(gè)正循環(huán)，這是軟硬件雙方互相協(xié)同開放之下產(chǎn)生的。

早在 CPU 時(shí)代，異構(gòu)一直是體系架構(gòu)和軟件層面之間的一個(gè)矛盾。英偉達(dá)的強(qiáng)大主要在于 CUDA 生態(tài)，而打造 CUDA 生態(tài)的原因就是傳統(tǒng) CPU 的編程模型不適合 GPU，開發(fā)者在 GPU 上進(jìn)行開發(fā)門檻太高。

開源模型多了之后，Paramon 就可以在開源模型上去做非常多性能數(shù)據(jù)的采集，使我們對(duì)不同硬件的理解加深，并推動(dòng)相應(yīng)的硬件進(jìn)行改造，讓強(qiáng)大的開源模型有越來越多的硬件去匹配，如果行業(yè)內(nèi)都是封閉模型，就很難去推動(dòng)這個(gè)事。

雷峰網(wǎng)：國產(chǎn)算力替代讓異構(gòu)集群的概念很火，但有業(yè)內(nèi)人士認(rèn)為異構(gòu)集群是一個(gè) " 事倍功半 " 的偽命題，您如何看待這一觀點(diǎn)？

喬楠：首先異構(gòu)有很多定義，多個(gè)集群異構(gòu)、單個(gè)集群多個(gè)節(jié)點(diǎn)異構(gòu)以及節(jié)點(diǎn)內(nèi)部不同的異構(gòu)，以及單個(gè)集群不同芯片的異構(gòu)。異構(gòu)集群是具備合理性的，以 DeepSeek為例，它有 Prefill 階段和 Decode 階段，這對(duì)硬件的要求是不一樣的，一個(gè)是計(jì)算密集型，一個(gè)是顯存密集型的，這兩個(gè)階段完全可以拿不同的硬件去匹配，這個(gè)就是具備合理性的異構(gòu)。

很多人認(rèn)為異構(gòu)集群有問題，是因?yàn)樵谟?xùn)練場(chǎng)景里，異構(gòu)集群是不成立的。訓(xùn)練場(chǎng)景的算法是把一個(gè)任務(wù)分到不同的計(jì)算單元，每個(gè)計(jì)算單元和計(jì)算節(jié)點(diǎn)做相同的任務(wù)，而且他們非常緊耦合的互相通訊來同步一些進(jìn)展，在這種條件下，就會(huì)出現(xiàn)木桶短板效應(yīng)，任何一個(gè)節(jié)點(diǎn)的性能差都會(huì)影響到整個(gè)集群的性能，使得整個(gè)集群的性能以最差的節(jié)點(diǎn)為單位 × 整個(gè)節(jié)點(diǎn)的數(shù)量。推理階段的算法變化使得異構(gòu)集群有了可能性，而且有可能會(huì)提升性價(jià)比且降低成本。

所以說在未來的多場(chǎng)景下，國產(chǎn)芯片廠商一定要找到一個(gè)細(xì)分產(chǎn)品，然后成為第一名，好比一些芯片，甚至不是馮諾依曼架構(gòu)、不是以計(jì)算為中心點(diǎn)去設(shè)計(jì)，而是以顯存為中心點(diǎn)去設(shè)計(jì)，這些可能性都是存在的。

雷峰網(wǎng)：很多人會(huì)用 MFU（模型算力利用率）評(píng)價(jià)集群效率，您覺得評(píng)價(jià)集群效率的核心指標(biāo)是什么？

喬楠：MFU 是主要指標(biāo)，但不是唯一指標(biāo)，影響集群效率的第一因素是利用率，如果集群整體利用率低，那單節(jié)點(diǎn)利用效率再高，整體效率還是差。比如一個(gè)集群有 100 個(gè)節(jié)點(diǎn)，只用到 20 個(gè)，就算這 20 個(gè)節(jié)點(diǎn) MFU 達(dá)到 90%，整體效率也只有 18%。

其次，MFU 的解讀要結(jié)合場(chǎng)景，尤其是推理場(chǎng)景。比如有的推理集群 MFU 絕對(duì)值很高，但 SLA（服務(wù)質(zhì)量）差，幾秒鐘才輸出一個(gè) Token，那 MFU 再高也沒意義，用戶要的是 " 有效輸出 "。MFU 的真正價(jià)值是 " 衡量非計(jì)算部件的瓶頸 "：MFU 越高，說明存儲(chǔ)、網(wǎng)絡(luò)等非計(jì)算部件的瓶頸越小，計(jì)算部件能更高效運(yùn)轉(zhuǎn)，所以行業(yè)才一直拿 MFU 作為一個(gè)主指標(biāo)，而這里面其實(shí)也藏著很多發(fā)展的趨勢(shì)。

雷峰網(wǎng)：有業(yè)內(nèi)人士認(rèn)為 " 最大程度地利用計(jì)算資源 " 其實(shí)就是算力優(yōu)化這個(gè)道路上最終評(píng)價(jià)技術(shù)好壞的標(biāo)準(zhǔn)，您如何看待這個(gè)觀點(diǎn)？

喬楠：利用計(jì)算資源很重要，但不是終局，終局是設(shè)計(jì)，利用是現(xiàn)有的拼湊，最根本的是設(shè)計(jì)好計(jì)算資源，而設(shè)計(jì)的定義就有很多方面，比如不是設(shè)計(jì)計(jì)算資源，而是設(shè)計(jì)計(jì)算資源網(wǎng)絡(luò)，單一的結(jié)點(diǎn)、單一的集群只是在這個(gè)層面上的性能點(diǎn)，但是從全局點(diǎn)來說，利用率的矛盾大于部件的性能，全局算網(wǎng)的級(jí)別是高于單節(jié)點(diǎn)或單集群的性能的。

此外，如果終局是利用，那只能在賣場(chǎng)的這個(gè)層面，但終局其實(shí)是要打通產(chǎn)業(yè)鏈的，就不僅僅局限于算力部件，甚至是 IDC、能源，把產(chǎn)業(yè)鏈的每一個(gè)點(diǎn)優(yōu)化到極致。

雷峰網(wǎng)：算力行業(yè)在逐步走出早期泡沫階段，您對(duì)算力行業(yè)未來的發(fā)展趨勢(shì)有怎樣的研判？

喬楠：做好算力服務(wù)的難度是非常大的，高投入、高風(fēng)險(xiǎn)，你一旦做不好，可能就會(huì)造成算力資源的錯(cuò)配?，F(xiàn)在硬件飛速發(fā)展，摩爾定律在一定程度上依然發(fā)生作用，而軟件的發(fā)展是十倍于摩爾定律的。這就意味著你今天采購的設(shè)備，它適合 DeepSeek3.0，但 DeepSeek4.0 出來后，它的應(yīng)用的熱點(diǎn)有可能完全變了，對(duì)硬件的要求也就變了，前期的硬件投入就可能血本無歸。

對(duì)芯片廠商也是一樣的，有些硬件大廠早期用 INT8 計(jì)算格式，但現(xiàn)在 FP8 才是主流，這就會(huì)導(dǎo)致廠商推動(dòng)這一部分業(yè)務(wù)比較艱難，因?yàn)樗臏?zhǔn)確度受到了影響。當(dāng)然現(xiàn)在也及時(shí)推出了 FP8，但是業(yè)內(nèi)是不是會(huì)變成 FP4 呢？也很難判斷。

算力是一個(gè)周期性的行業(yè)，有淡季和旺季，幾年供過于求，幾年又供不應(yīng)求。因?yàn)楸举|(zhì)上這是一個(gè)比較滯后，但是出清時(shí)間比較長的行業(yè)，大家說算力緊張了開始建設(shè)了，建完一年過去了，所以他是滯后的，但是出清又艱難，這就導(dǎo)致了周期性，而周期性本質(zhì)就是錯(cuò)配。

但行業(yè)整體是向上發(fā)展的，只是有波峰波谷，所以長期是樂觀的，短期是痛苦的，現(xiàn)在是很殘酷的，未來也只有少數(shù)細(xì)分領(lǐng)域的頭部玩家能存活。

專題介紹

2023 年來，智算產(chǎn)業(yè)迎來爆發(fā)式增長。但兩年過去，國內(nèi)智算企業(yè)的生存狀態(tài)如何？在技術(shù)突破與場(chǎng)景落地中做了哪些新探索、又面臨什么新挑戰(zhàn)？智算行業(yè)的未來還有什么想象空間？本專題與一眾智算領(lǐng)域的先鋒從業(yè)者對(duì)話，回顧近年智算行業(yè)在技術(shù)與商業(yè)上的拓展實(shí)踐歷程，并展望未來發(fā)展方向。即便身處行業(yè)氣候更迭之際，從業(yè)者們憑借智慧與韌性、懷揣對(duì)智算未來的堅(jiān)信，開辟多樣化發(fā)展路徑。對(duì)此專題感興趣的從業(yè)者，歡迎添加微信 YONGGANLL6662 共同參與討論。