The following article is from 差評硬件部 Author 托尼

我知道現(xiàn)在風(fēng)口是 AI ，自家產(chǎn)品不沾點 AI 都不好意思拿出手 —— 但你們這些 " AIPC " 的宣傳，是不是有點過了？

不知道大家有沒有關(guān)注最近的 PC 市場，很多處理器、筆記本都把 " 我是 AIPC、有 NPU " 放在商品頁最顯眼的地方，告訴你我這 NPU 提供了多少多少 TOPS 算力，能在本地跑多少多少 B （ 參數(shù)規(guī)模 ）的大模型，很是唬人。

你買電腦的時候會不會格外在意這個配置呢 —— 好像在這顆小小 NPU 的加持下，你買的不是電腦，而是實打?qū)嵉? " AI 終端 " 。

那這玩意真的有用嗎？經(jīng)過托尼的一番研究，發(fā)現(xiàn)這東西有用是有用，但不多。。。

我們先說廠商們吹得天花亂墜的 " NPU " 到底是個啥。

它的全稱叫做 " 神經(jīng)網(wǎng)絡(luò)處理器 "，這顧名思義它一定跟 " 神經(jīng) " 有關(guān)系 —— NPU 是通過模仿人神經(jīng)元和突觸的運作方式，將存儲和計算一體化，專門用于加速神經(jīng)網(wǎng)絡(luò)計算的處理器，主要是用在圖像識別、語言處理這類應(yīng)用。

它存在形態(tài)上一般有兩種，消費級別的 NPU 一般是以集成的方式存在于處理器里，比如 AMD 、英特爾最新推出的 銳龍 AI 系列和 Ultra 系列處理器，都是在處理器芯片里單獨劃拉了一個區(qū)域去容納 NPU 模塊；還有一些數(shù)據(jù)中心和有智駕能力的車里也會有單獨的 NPU 芯片做推理運算。

小鵬的圖靈芯片就集成了 NPU

這里可能有小伙伴要問了：說到 AI 計算、推理，我們第一反應(yīng)一般都是 GPU ，而現(xiàn)如今絕大部分筆記本電腦和手機的處理器里都有集成的 GPU —— 那為什么要放著原本就有的 GPU 不用，還得專門在不富裕的空間里給 NPU 單獨騰出一個地方呢？

各家都卷 NPU 的理由說到底還是因為效率。記得之前我們也給大家講過 " LPU "，它是專用于大語言模型的推理的芯片，相比 GPU 它的速度更快、功耗更低，而這個 NPU 也類似，它專門針對神經(jīng)網(wǎng)絡(luò)做了優(yōu)化，天生就很適合做矩陣乘法，比如卷積運算。

說了這么多， NPU 到底有多強呢？

托尼找到了瑞典洛桑理工學(xué)院的一篇畢業(yè)論文，論文里曾經(jīng)拉出了三種處理器：

筆記本電腦里的英特爾 i7-11800H 處理器來代表 CPU、 英偉達的 RTX 3070 Max-Q 顯卡來代表 GPU，以及安卓開發(fā)板、高端電視機頂盒上常用的瑞芯微 RK3588 ARM 處理器，用它里邊的內(nèi)置的 NPU 代表 NPU 跑了 YOLOv5 系列模型，對比常見的 CPU、GPU 和 NPU 之間的性能和能耗表現(xiàn)。

論文最終的結(jié)論是：

雖然測試的 RK3588 集成的 NPU 絕對算力不是很強 （ 6 TPOS ) ，在某些項目的運算速度不如 GPU ，但能耗比相當(dāng)出色，在這三者里屬于一騎絕塵的水平。

這不嘛，最近有韓國的研究團隊研究出的 NPU 技術(shù)，宣稱比當(dāng)下主流 GPU ，不僅運算速度快 60% 、耗電量還能節(jié)省 44% ，能大幅降低某些 AI 云服務(wù)的運行成本。

說到這里，廠商們跟進 NPU 的理由就很明顯了，跑 AI 性能好、還省電，這樣的東西誰不愛呢？

特別是手機廠商，要續(xù)航要輕薄，還想破腦袋要在手機這種寸土寸金的地兒卷出點差異化，那這東西他們肯定大大的要。

現(xiàn)在手機的 CPU 里集成 NPU ，提升響應(yīng)的速度、降低網(wǎng)絡(luò)延時和保護隱私，相比直接調(diào)用 GPU 來講還會更省電。

落地到具體的應(yīng)用里，不光可以在本地跑一些簡單的大模型，能聊聊天給視頻加點字幕啥的，還因為 NPU 符合多模態(tài)的 AI 發(fā)展的需求，用它也可以實現(xiàn)一些 " 看世界 " 的功能，分辨面前的物品、翻譯外文的菜單等等。

除此之外，現(xiàn)在手機廠商不都愛卷影像嘛， NPU 可以加速計算攝影，比如人像虛化、夜景降噪、超分算法等等。

但理想很豐滿，現(xiàn)實很骨感。。。盡管 NPU 的能耗非常出色，但在所謂的 AIPC 上，前提是得 " 能用得上 " ：

實際上，現(xiàn)在在我們電腦上真正適配了、能夠調(diào)用 NPU 的軟件，一只手就能數(shù)得過來。

先說 Windows 這邊，托尼去網(wǎng)上看了一圈，發(fā)現(xiàn)能利用好 NPU 的軟件很多都是 Arm 版 —— 但大家都知道， Windows 這邊用 Arm 架構(gòu)的 PC 就不多，看看驍龍 X Elite 筆記本電腦們悲慘的銷量就知道了。

傳統(tǒng) x86 處理器架構(gòu)下能調(diào)用 NPU 的軟件就更少了。

托尼統(tǒng)計了一下，有包括但不限于達芬奇、Capture One、Affinity Photo 2 等軟件的 AI 功能，目前無法利用 x86 平臺 Windows 上的 NPU 進行加速。

Affinity Photo 2 對象選擇功能，僅支持驍龍的 Hexgon NPU

而針對游戲玩家們的輔助工具，比如游戲加加、逗逗游戲伙伴這些，為了兼容性考慮默認都是優(yōu)先調(diào)用 GPU 或者在云端處理信息，之后才是 NPU，并且像逗逗也是直接在官網(wǎng)列出來了只能使用英特爾的 NPU，不能使用 AMD 的 NPU。

換句話說，目前為止英特爾和 AMD 吹的熱火朝天的 NPU 都屬于空有算力、但是使用場景特別特別有限。

比方說，我找了一圈之后終于找到一個能在 x86 Windows 電腦上調(diào)用 NPU 的功能 —— 剪映的 " 一鍵摳圖 " 。但由于摳圖的任務(wù)還是比較輕量了，實際體驗好像跟沒有 NPU 的機型也拉不開什么差距。

我又找到 Premiere Pro 有一個 " 音頻分類 " 的小功能可以用，但這更像是試水，我們的后期老師說除了那種影視行業(yè)的大制作，一般場景下也不會把音頻分得這么細，實用性也挺有限。。。

并且托尼在跟后期老師研究軟件各項 AI 功能的期間，我們特意把 Windows 上的性能監(jiān)視器開著，觀察 NPU 啥時候發(fā)力，很遺憾的是，它除了剪映一鍵摳圖的時候會跳動那么一下以外，其他時間都靜靜躺在那邊睡大覺，貌似世間一些紛紛擾擾都跟它無關(guān)。。。

不兒，要知道處理器為了集成這個 NPU 真的用了很大的面積，它在這摸魚實在是說不過去。

下面是我找的一張 AMD AI 300 系列處理器的芯片內(nèi)部結(jié)構(gòu)圖，大伙兒可以看到右上角 NPU 所占用的巨大面積 —— 這么大一塊我再放幾個 CPU 或者 GPU 核心不香嗎？

也就是說，有一些壓根不需要 NPU 的游戲佬們，本來可以享受制程提升 + 核心堆砌帶來的飛躍般性能提升，但卻因為橫空出了個 NPU ，所以就得掏更多的錢買更好的處理器和顯卡，你這找誰說理去？

而且，即便是生態(tài)高度統(tǒng)一的 Mac ，它上頭的 NPU 發(fā)展的也沒那么好。

就拿 Mac 上的 Lightroom 來說，它有一段時間支持了 Mac 端的 NPU 本地去噪，但后來因為 bug 太多下架，目前的去噪功能主要還是靠 GPU 。。。

Adobe 社區(qū)里，大伙兒對于 NPU 的討論

Mac 上的達芬奇支持一鍵去遮罩、去噪之類的 AI 功能，可以在軟件設(shè)置里選擇在 Apple Neural Engine （ 蘋果 M 芯片的 NPU ）上跑，但托尼打聽了一下我們的后期老師，他們說這東西 bug 也挺多，幾乎不敢用，怕影響到我們后期的工作流。

打聽到這兒托尼仍然不死心，就托了一位后期老師幫我試一下在設(shè)置里分別打開 NPU 和 GPU 去跑，看一下速上會不會有什么差別。

然而結(jié)果是。。。并沒有什么區(qū)別。

實時預(yù)覽速度都差不多

這是啥情況呢？我們找了一個監(jiān)控 Mac 上的性能監(jiān)控軟件 asitop ，在選了 NPU 加速選項、 AI 功能運行的時候看了下 NPU 的使用情況 —— 無論我們怎么折騰各種魔法遮罩、去噪、智能字幕，NPU 使用率都為零，倒是旁邊 GPU 忙得熱火朝天。

我們又試了在 Windows 上會調(diào)用 NPU 的剪映 " 一鍵摳圖 " ，您猜怎么著，Mac 上的 NPU 使用率仍然紋絲不動。

該不是性能監(jiān)控軟件壞了吧！而當(dāng)我們打開 Mac 上的 Photo Booth ，NPU 的使用率卻波動了起來。好好好，合著軟件沒問題，純粹是你們把好鋼用在刀把上了是吧。

說完 Windows 和 Mac 上的糟心事兒，還有很多常用的軟件，比如 Photoshop ，壓根兒不支持在任何平臺上啟用 NPU 進行 AI 功能加速。

在 Photoshop 官方文檔中， 提及到了 Photoshop 會使用 GPU（ OpenCL、D3D12、Metal ）來加速視覺與 AI 功能，沒有提及使用 NPU 的支持能力。

而它最近支持的那些炫酷的 AI 生成功能，則是跑在了云端。

一通打聽、查資料下來，托尼覺得 PC 對 NPU 的支持程度只能用一個慘字形容。。。

換句話講，電腦里多這么一個 xx TOPS 算力的芯片，其實并沒有什么用。我知道有小伙伴會說省電這個優(yōu)點我還沒提，但說實在的，省的這點電在 PC 上，只能算是撓癢癢的 feel 。

最后給大家做個總結(jié)吧： NPU 在現(xiàn)階段看來，用在手機上確實不錯，既能省電，還可以在本地加速 AI 的計算，也很符合未來手機功能的發(fā)展趨勢。

但這東西在 PC 上目前還是噱頭大于實用的狀態(tài)，很多應(yīng)用場景并不剛需，體驗更是拉不開差距。那么未來是不是人人都需要一臺 AIPC 呢？托尼覺得還是得等更多的的主流軟件去挖掘開發(fā) NPU 的潛力，讓它在擅長的領(lǐng)域充分發(fā)揮自己的能力。

不然要只是為了 AI 而去 AI ，還不如處理器賣我們便宜點。

撰文：小柳