你敢想象：僅一臺(tái)僅裝備了單塊24G顯存消費(fèi)級(jí)顯卡的系統(tǒng)，不但能跑滿血671B DeepSeek R1模型，還能帶來5并發(fā)51 Token/秒的性能(更細(xì)節(jié)數(shù)據(jù)見下圖)，要知道這個(gè)性能水準(zhǔn)，足以搞定像報(bào)告解讀或數(shù)據(jù)分析這類對(duì)實(shí)時(shí)性要求不高的任務(wù)了。

這就是英特爾開發(fā)的全新異構(gòu)LLM服務(wù)方案流出的最新測(cè)試數(shù)據(jù)，這個(gè)方案基于HeteroFlow軟件框架，搭配了至強(qiáng)6性能核CPU(配MRDIMM內(nèi)存，開啟AMX加速)作為硬件基座，它的目標(biāo)就是緩解 “滿血”大模型們面臨的存力困局。

眾所周知：大模型，是樂也“大參數(shù)”，痛也“大參數(shù)”——滿血版動(dòng)輒千億級(jí)的參數(shù)規(guī)模，再疊加GPU大佬們?cè)陲@存容量上的“精準(zhǔn)”刀法，總能讓你錢包嚴(yán)重失血!如果你就搞一個(gè)節(jié)點(diǎn)，即便GPU多卡插滿，也就是能剛剛裝下海量參數(shù)，剩余的顯存會(huì)限制并發(fā)性能和上下文的長(zhǎng)度。咬咬牙上多個(gè)節(jié)點(diǎn)，那就只能是……把牙咬碎，因?yàn)楦冻龇丁?/span>

而現(xiàn)在，有了HeteroFlow框架的加持，如果你用的是MoE類大模型，且選擇了英特爾的至強(qiáng)6性能核CPU來做機(jī)頭處理器，那么恭喜你，破局方法來了!

當(dāng)然這個(gè)方法可能會(huì)顛覆你“AI讓CPU走開”，或者“AI應(yīng)用中CPU只是GPU小助手”的觀念。但這個(gè)方法，恰恰是充分利用了GPU和CPU各自的優(yōu)勢(shì)——GPU算力強(qiáng)，CPU內(nèi)存大。HeteroFlow的工作原理就是把Attention、Dense MLP這些算力敏感型的，也是高價(jià)值的任務(wù)留給高算力的GPU，但把MoE這種需要大存力的任務(wù)，部分或全部卸載給CPU+大容量的內(nèi)存。

這種方法的終極奧義，并不是說CPU比GPU更重要，或者你不需要GPU了，而是有了CPU的分擔(dān)與協(xié)助，GPU的工作更有意義了——它能把其成本高昂的算力和顯存全用在榨取并發(fā)性能與上下文長(zhǎng)度上，正所謂“好鋼用在刀刃上”，讓整個(gè)系統(tǒng)不僅性能收益明顯，投資回報(bào)率也是原地起飛。

接下來，讓我們瞧瞧HeteroFlow是怎樣具體干活的：

一、卸載

對(duì)AI任務(wù)做智能拆分，把部分或全部MoE負(fù)載移到CPU上，讓GPU更專注算力密集型任務(wù)，細(xì)節(jié)如下圖。

二、調(diào)度

通過Pipelined Scheduling設(shè)計(jì)，讓CPU與GPU在各自承載的子任務(wù)間實(shí)現(xiàn)無縫銜接，最大化榨取它們各自的潛能，如下圖：

三、加速

雖然至強(qiáng)CPU沒有GPU那么強(qiáng)的AI加速算力，但它還是有自己的看家本領(lǐng)——英特爾AMX(高級(jí)矩陣擴(kuò)展技術(shù)，有人將其比擬為“CPU里的Tensor Core”)，它能為MoE任務(wù)涉及的計(jì)算提供加速。如果你對(duì)AMX技術(shù)沒有那么了解，可以借下面兩張圖快速了解一下它的核心組件與架構(gòu)，以及加速能力。

如果你比較細(xì)心，一定注意到我們?cè)谇拔奶岬降氖荋eteroFlow框架 +至強(qiáng)6 性能核CPU這個(gè)組合，推薦這款CPU的原因很簡(jiǎn)單，因?yàn)樗鼉?nèi)置AMX技術(shù)，且主流型號(hào)(SKU)，特別是用于機(jī)頭的SKU能解鎖對(duì)MRDIMM內(nèi)存(8000/8800)的支持，幾乎是目前市面上能同時(shí)兼顧內(nèi)存的大容量與高帶寬的惟一選擇。

如果你還意猶未盡，覺得前文測(cè)試場(chǎng)景里的“低配”型系統(tǒng)和它實(shí)現(xiàn)的性能，還遠(yuǎn)遠(yuǎn)不能滿足你一些更加“高大上”的需求，先別急，因?yàn)橛⒊譅栒跍y(cè)試HeteroFlow+至強(qiáng)^®6的另外兩種應(yīng)用場(chǎng)景：