WAIC上的燧原：正從萬(wàn)卡，走向十萬(wàn)卡集群

今年WAIC（世界人工智能大會(huì)）燧原科技展位相比往年——在產(chǎn)品展示上簡(jiǎn)單了不少，主打的就是燧原推理卡S60及其應(yīng)用；剛剛發(fā)布的L600訓(xùn)推一體卡也有展示，可惜是以邀請(qǐng)的方式、不向大眾開(kāi)放——所以我們沒(méi)能拍到L600真容。

不過(guò)今年燧原科技參與WAIC給我們的感覺(jué)是：AI技術(shù)更務(wù)實(shí)、更落地了，展臺(tái)工作人員向我們介紹的主要都是燧原芯片和加速卡的各類(lèi)應(yīng)用，以及智算中心的建設(shè)情況。WAIC期間的“芯節(jié)點(diǎn)·新突破——協(xié)同創(chuàng)新聚力 加速智算破局”論壇上，燧原科技創(chuàng)始人、董事長(zhǎng)、CEO趙立東也談到，AI芯片企業(yè)要想長(zhǎng)期可持續(xù)發(fā)展，需要實(shí)現(xiàn)從技術(shù)產(chǎn)品閉環(huán)到商業(yè)化閉環(huán)的跨越。

這次我們就通過(guò)燧原展位的簡(jiǎn)單參觀，看看更務(wù)實(shí)和落地的燧原AI產(chǎn)品商業(yè)化進(jìn)度。

▲ 就我們現(xiàn)場(chǎng)看到的，燧原本次展示主要就圍繞著燧原S60展開(kāi)——這是一款去年就已經(jīng)量產(chǎn)的人工智能訓(xùn)推一體加速卡，基于GCU320。上圖中的這款是PCIe 5.0、全高全長(zhǎng)雙寬規(guī)格，TBP約在300W左右。從官網(wǎng)和工作人員的介紹來(lái)看，其主力應(yīng)用場(chǎng)景應(yīng)當(dāng)就是AI推理。

燧原科技創(chuàng)始人兼COO張亞林在論壇上回顧說(shuō)燧原此前“經(jīng)歷了三代四顆芯片的‘芯’路歷程：2020年發(fā)布第一代產(chǎn)品，完成了千卡集群；2022年發(fā)布第二代的訓(xùn)練產(chǎn)品和推理產(chǎn)品；2024年發(fā)布第三代產(chǎn)品——燧原S60”。

據(jù)說(shuō)，目前僅燧原S60這一款產(chǎn)品，過(guò)去一年就已經(jīng)實(shí)現(xiàn)了“7萬(wàn)卡的落地規(guī)模”，“在國(guó)內(nèi)是第一梯隊(duì)”；“支持超過(guò)300個(gè)應(yīng)用場(chǎng)景，包括大語(yǔ)言模型、多模態(tài)大模型、搜索廣告推薦、傳統(tǒng)AI模型等”；“參與建設(shè)五大智算集群，支持頂流應(yīng)用，服務(wù)10億以上規(guī)模終端用戶(hù)”。

展位工作人員特別介紹說(shuō)，S60對(duì)于傳統(tǒng)模型和生成式AI大模型的支持都相當(dāng)好，無(wú)論是“對(duì)象或圖片分類(lèi)、自然語(yǔ)義理解，還是文本、圖片和視頻生成”，“應(yīng)用面很廣泛”。他特別強(qiáng)調(diào)了大模型推理應(yīng)用，“比如代碼生成——國(guó)內(nèi)很多軟件公司的研發(fā)工程師就開(kāi)始用AI來(lái)輔助代碼生成了”；

“還有AI搜索能替代傳統(tǒng)搜索，大模型結(jié)合RAG把搜索結(jié)果鏈接中的內(nèi)容提煉出來(lái)，并根據(jù)用戶(hù)提問(wèn)，生成一些更明確的信息，大幅提升了用戶(hù)的搜索滿(mǎn)意度。”…“從整體上來(lái)看，互聯(lián)網(wǎng)企業(yè)都開(kāi)始用大模型去替代傳統(tǒng)業(yè)務(wù)應(yīng)用了。”

“燧原S60對(duì)主流大模型的支持都很出色。” “像是我們對(duì)Stable Diffusion的優(yōu)化，對(duì)更多DiT結(jié)構(gòu)模型的支持；還有基于客戶(hù)需求去做定制優(yōu)化。”

▲ 基于燧原S60的一體機(jī)也在展會(huì)現(xiàn)場(chǎng)做了展示。張亞林在演講中提到燧原推出了基于S60的DeepSeek一體機(jī)系統(tǒng)方案矩陣，覆蓋滿(mǎn)血版、蒸餾版不同尺寸大模型。

從宣傳介紹來(lái)看，燧原S60的一體機(jī)產(chǎn)品涵蓋4卡、8卡、16卡、32卡等不同擴(kuò)展版本，上圖展示的主要是8卡方案（一體機(jī)標(biāo)準(zhǔn)版），用于支持中小企業(yè)的各類(lèi)AI應(yīng)用。上到16卡時(shí)，就能支持滿(mǎn)血版DeepSeek 671b了；32卡的一體機(jī)POD版可用于規(guī)模化應(yīng)用。

順帶一提未在展位現(xiàn)場(chǎng)露真容的L600——燧原在介紹中提到，作為第四代訓(xùn)推一體產(chǎn)品，“歷經(jīng)兩年半時(shí)間研發(fā)，面向訓(xùn)練及推理場(chǎng)景，國(guó)內(nèi)首創(chuàng)原生FP8低精度算力，擁有144GB存儲(chǔ)容量、3.6TB/s存儲(chǔ)帶寬、800GB/s互聯(lián)帶寬”。

基于L600的云燧OGX系列多卡方案，如OGX400實(shí)現(xiàn)了單機(jī)八卡OAM全互聯(lián)，1152GB單機(jī)存儲(chǔ)容量、28.8TB/s單機(jī)存儲(chǔ)帶寬、2.8TB/s單機(jī)聚合帶寬，單機(jī)支持DeepSeek滿(mǎn)血版。還有云燧ESL超節(jié)點(diǎn)系統(tǒng)單節(jié)點(diǎn)最高64卡全帶寬互聯(lián)，采用液冷方案，可實(shí)現(xiàn)9216GB單節(jié)點(diǎn)存儲(chǔ)容量、230TB/s單節(jié)點(diǎn)存儲(chǔ)帶寬、51.2TB/s單節(jié)點(diǎn)聚合帶寬、單節(jié)點(diǎn)可支持PD分離優(yōu)化。

▲ AI基礎(chǔ)設(shè)施走向集群化、系統(tǒng)化也是今年國(guó)產(chǎn)AI芯片廠商普遍在談的話題。在超節(jié)點(diǎn)打造和集群建設(shè)方面，張亞林說(shuō)：“燧原和頭部互聯(lián)網(wǎng)企業(yè)聯(lián)合定制開(kāi)發(fā)超節(jié)點(diǎn)，聯(lián)合定制打造萬(wàn)卡訓(xùn)練集群；與中國(guó)移動(dòng)聯(lián)合開(kāi)發(fā)高密度節(jié)點(diǎn)，參與運(yùn)營(yíng)商集群建設(shè)；與‘東數(shù)西算’節(jié)點(diǎn)甘肅慶陽(yáng)聯(lián)合推進(jìn)萬(wàn)卡集群項(xiàng)目，提供高效能?chē)?guó)產(chǎn)化算力。”

據(jù)說(shuō)基于剛剛發(fā)布的第四代產(chǎn)品，燧原正在推進(jìn)十萬(wàn)卡集群建設(shè)。

展位現(xiàn)場(chǎng)工作人員向我們介紹了位于宜昌的智算中心和慶陽(yáng)的萬(wàn)卡推理集群。“西部電價(jià)和各方面的建設(shè)、運(yùn)維成本相對(duì)更低，對(duì)智算中心而言更具性?xún)r(jià)比。我們希望能做到‘算盡其用’，讓各行各業(yè)都能把算力用起來(lái)。”

“湖北宜昌的智算中心是我們2023年建的。”其中主要還是基于燧原的第二代產(chǎn)品與解決方案。“現(xiàn)在也跟下游的很多企業(yè)，比如無(wú)問(wèn)芯穹、智譜合作。基于云租賃這種比較成熟的商業(yè)模式，能夠給客戶(hù)提供具備彈性的算力解決方案。”

“慶陽(yáng)的萬(wàn)卡推理集群已經(jīng)在用S60推理卡。”“作為西部五大算力樞紐之一，在慶陽(yáng)建起萬(wàn)卡集群，就能更好地讓S60服務(wù)于美圖這樣的行業(yè)客戶(hù)。”

▲ 與美圖的合作，在燧原展位上是作為關(guān)鍵應(yīng)用案例之一來(lái)展示的。“美圖現(xiàn)在已經(jīng)在基于燧原S60做生圖、生視頻的應(yīng)用和服務(wù)了，累計(jì)使用燧原近萬(wàn)卡的算力規(guī)模。”“比如像AI換裝功能，背后就有我們的算力支持。”

“燧原通過(guò)對(duì)PyTorch原生推理的支持和優(yōu)化，和美圖的技術(shù)團(tuán)隊(duì)做了深度耦合。”工作人員在介紹與美圖的合作時(shí)提到，“去滿(mǎn)足美圖自研模型、軟件優(yōu)化的需求。”“春節(jié)期間，美圖的用戶(hù)量短時(shí)間內(nèi)發(fā)生暴增——我們就能做到萬(wàn)卡的彈性動(dòng)態(tài)調(diào)度，保證美圖用戶(hù)有好的使用體驗(yàn)。”

“我們慶陽(yáng)的推理集群就能夠給到很好的支持——結(jié)合東數(shù)西算帶來(lái)的性?xún)r(jià)比優(yōu)勢(shì)，這對(duì)我們的合作來(lái)說(shuō)，達(dá)成了雙贏。”

▲ 燧原產(chǎn)品的更多大模型應(yīng)用落地，還囊括了與互聯(lián)網(wǎng)頭部企業(yè)之間的合作。比如論壇活動(dòng)上就出現(xiàn)了騰訊的身影。騰訊云副總裁許華彬說(shuō)，騰訊擁有600多個(gè)業(yè)務(wù)場(chǎng)景，如社交內(nèi)容、游戲、辦公等領(lǐng)域，均用AI大模型進(jìn)行了創(chuàng)新實(shí)踐，也得到了燧原算力的支持。

“基于燧原的算力，跟騰訊這樣的頭部客戶(hù)去實(shí)現(xiàn)應(yīng)用落地。”展位工作人員在談互聯(lián)網(wǎng)應(yīng)用案例時(shí)說(shuō)，“比如微信語(yǔ)音和文字的互轉(zhuǎn)，還有像是公眾號(hào)文章的語(yǔ)音朗讀——這類(lèi)基于傳統(tǒng)模型的特性，可以基于AI去實(shí)現(xiàn)；在大模型方面，很多互聯(lián)網(wǎng)公司會(huì)用Transformer大模型去提升搜索體驗(yàn)，包括充分利用大模型的多模態(tài)理解能力。”“比如圖片+文字+視頻的互動(dòng)，再去生成內(nèi)容。”

當(dāng)然燧原AI產(chǎn)品的合作與落地遠(yuǎn)不止這些，但我們能夠從中窺見(jiàn)生成式AI應(yīng)用的潛在市場(chǎng)仍然是巨大的。趙立東在主題論壇活動(dòng)上談到“對(duì)未來(lái)人工智能產(chǎn)業(yè)發(fā)展趨勢(shì)”的“幾點(diǎn)觀察”。包括“第一，當(dāng)前訓(xùn)練規(guī)模越來(lái)越大，但玩家越來(lái)越少”——這在我們看來(lái)，表明的正是AI市場(chǎng)逐步走向成熟；

“第二，算力基礎(chǔ)設(shè)施正在走向集群化、系統(tǒng)化。”如前所述，這不僅體現(xiàn)市場(chǎng)對(duì)AI算力的渴求，也是AI技術(shù)落地的表現(xiàn)之一。如趙立東所說(shuō)集群“相關(guān)軟硬件技術(shù)，包括超節(jié)點(diǎn)、網(wǎng)絡(luò)技術(shù)、全光互聯(lián)、低精度、分布式并行計(jì)算、虛擬化等，已不再是一家公司可以單獨(dú)完成，而是需要跨行業(yè)協(xié)作，多方聚力，構(gòu)建系統(tǒng)化的解決方案”。

“第三，開(kāi)源開(kāi)放是必經(jīng)之路。”這一點(diǎn)更多表現(xiàn)的，應(yīng)該是打破做自有封閉生態(tài)的國(guó)際巨頭的壟斷，通過(guò)合作共建開(kāi)放生態(tài)，一起實(shí)現(xiàn)AI應(yīng)用普及和大眾化，也是行業(yè)大部分參與者的共識(shí)。展望未來(lái)，隨著包括最新發(fā)布的L600在內(nèi)的第四代產(chǎn)品的推出，燧原正在推進(jìn)從萬(wàn)卡到十萬(wàn)卡的集群建設(shè)——AI創(chuàng)新應(yīng)用大概還會(huì)更大程度地突破現(xiàn)有市場(chǎng)的想象。