WAIC上的燧原:正從萬卡,走向十萬卡集群
關鍵詞: 燧原S60 L600 AI應用 智算中心 集群建設
今年WAIC(世界人工智能大會)燧原科技展位相比往年——在產品展示上簡單了不少,主打的就是燧原推理卡S60及其應用;剛剛發布的L600訓推一體卡也有展示,可惜是以邀請的方式、不向大眾開放——所以我們沒能拍到L600真容。
不過今年燧原科技參與WAIC給我們的感覺是:AI技術更務實、更落地了,展臺工作人員向我們介紹的主要都是燧原芯片和加速卡的各類應用,以及智算中心的建設情況。WAIC期間的“芯節點·新突破——協同創新聚力 加速智算破局”論壇上,燧原科技創始人、董事長、CEO趙立東也談到,AI芯片企業要想長期可持續發展,需要實現從技術產品閉環到商業化閉環的跨越。
這次我們就通過燧原展位的簡單參觀,看看更務實和落地的燧原AI產品商業化進度。
▲ 就我們現場看到的,燧原本次展示主要就圍繞著燧原S60展開——這是一款去年就已經量產的人工智能訓推一體加速卡,基于GCU320。上圖中的這款是PCIe 5.0、全高全長雙寬規格,TBP約在300W左右。從官網和工作人員的介紹來看,其主力應用場景應當就是AI推理。
燧原科技創始人兼COO張亞林在論壇上回顧說燧原此前“經歷了三代四顆芯片的‘芯’路歷程:2020年發布第一代產品,完成了千卡集群;2022年發布第二代的訓練產品和推理產品;2024年發布第三代產品——燧原S60”。
據說,目前僅燧原S60這一款產品,過去一年就已經實現了“7萬卡的落地規模”,“在國內是第一梯隊”;“支持超過300個應用場景,包括大語言模型、多模態大模型、搜索廣告推薦、傳統AI模型等”;“參與建設五大智算集群,支持頂流應用,服務10億以上規模終端用戶”。
展位工作人員特別介紹說,S60對于傳統模型和生成式AI大模型的支持都相當好,無論是“對象或圖片分類、自然語義理解,還是文本、圖片和視頻生成”,“應用面很廣泛”。他特別強調了大模型推理應用,“比如代碼生成——國內很多軟件公司的研發工程師就開始用AI來輔助代碼生成了”;
“還有AI搜索能替代傳統搜索,大模型結合RAG把搜索結果鏈接中的內容提煉出來,并根據用戶提問,生成一些更明確的信息,大幅提升了用戶的搜索滿意度。”…“從整體上來看,互聯網企業都開始用大模型去替代傳統業務應用了。”
“燧原S60對主流大模型的支持都很出色。” “像是我們對Stable Diffusion的優化,對更多DiT結構模型的支持;還有基于客戶需求去做定制優化。”
▲ 基于燧原S60的一體機也在展會現場做了展示。張亞林在演講中提到燧原推出了基于S60的DeepSeek一體機系統方案矩陣,覆蓋滿血版、蒸餾版不同尺寸大模型。
從宣傳介紹來看,燧原S60的一體機產品涵蓋4卡、8卡、16卡、32卡等不同擴展版本,上圖展示的主要是8卡方案(一體機標準版),用于支持中小企業的各類AI應用。上到16卡時,就能支持滿血版DeepSeek 671b了;32卡的一體機POD版可用于規模化應用。
順帶一提未在展位現場露真容的L600——燧原在介紹中提到,作為第四代訓推一體產品,“歷經兩年半時間研發,面向訓練及推理場景,國內首創原生FP8低精度算力,擁有144GB存儲容量、3.6TB/s存儲帶寬、800GB/s互聯帶寬”。
基于L600的云燧OGX系列多卡方案,如OGX400實現了單機八卡OAM全互聯,1152GB單機存儲容量、28.8TB/s單機存儲帶寬、2.8TB/s單機聚合帶寬,單機支持DeepSeek滿血版。還有云燧ESL超節點系統單節點最高64卡全帶寬互聯,采用液冷方案,可實現9216GB單節點存儲容量、230TB/s單節點存儲帶寬、51.2TB/s單節點聚合帶寬、單節點可支持PD分離優化。
▲ AI基礎設施走向集群化、系統化也是今年國產AI芯片廠商普遍在談的話題。在超節點打造和集群建設方面,張亞林說:“燧原和頭部互聯網企業聯合定制開發超節點,聯合定制打造萬卡訓練集群;與中國移動聯合開發高密度節點,參與運營商集群建設;與‘東數西算’節點甘肅慶陽聯合推進萬卡集群項目,提供高效能國產化算力。”
據說基于剛剛發布的第四代產品,燧原正在推進十萬卡集群建設。
展位現場工作人員向我們介紹了位于宜昌的智算中心和慶陽的萬卡推理集群。“西部電價和各方面的建設、運維成本相對更低,對智算中心而言更具性價比。我們希望能做到‘算盡其用’,讓各行各業都能把算力用起來。”
“湖北宜昌的智算中心是我們2023年建的。”其中主要還是基于燧原的第二代產品與解決方案。“現在也跟下游的很多企業,比如無問芯穹、智譜合作。基于云租賃這種比較成熟的商業模式,能夠給客戶提供具備彈性的算力解決方案。”
“慶陽的萬卡推理集群已經在用S60推理卡。”“作為西部五大算力樞紐之一,在慶陽建起萬卡集群,就能更好地讓S60服務于美圖這樣的行業客戶。”
▲ 與美圖的合作,在燧原展位上是作為關鍵應用案例之一來展示的。“美圖現在已經在基于燧原S60做生圖、生視頻的應用和服務了,累計使用燧原近萬卡的算力規模。”“比如像AI換裝功能,背后就有我們的算力支持。”
“燧原通過對PyTorch原生推理的支持和優化,和美圖的技術團隊做了深度耦合。”工作人員在介紹與美圖的合作時提到,“去滿足美圖自研模型、軟件優化的需求。”“春節期間,美圖的用戶量短時間內發生暴增——我們就能做到萬卡的彈性動態調度,保證美圖用戶有好的使用體驗。”
“我們慶陽的推理集群就能夠給到很好的支持——結合東數西算帶來的性價比優勢,這對我們的合作來說,達成了雙贏。”
▲ 燧原產品的更多大模型應用落地,還囊括了與互聯網頭部企業之間的合作。比如論壇活動上就出現了騰訊的身影。騰訊云副總裁許華彬說,騰訊擁有600多個業務場景,如社交內容、游戲、辦公等領域,均用AI大模型進行了創新實踐,也得到了燧原算力的支持。
“基于燧原的算力,跟騰訊這樣的頭部客戶去實現應用落地。”展位工作人員在談互聯網應用案例時說,“比如微信語音和文字的互轉,還有像是公眾號文章的語音朗讀——這類基于傳統模型的特性,可以基于AI去實現;在大模型方面,很多互聯網公司會用Transformer大模型去提升搜索體驗,包括充分利用大模型的多模態理解能力。”“比如圖片+文字+視頻的互動,再去生成內容。”
當然燧原AI產品的合作與落地遠不止這些,但我們能夠從中窺見生成式AI應用的潛在市場仍然是巨大的。趙立東在主題論壇活動上談到“對未來人工智能產業發展趨勢”的“幾點觀察”。包括“第一,當前訓練規模越來越大,但玩家越來越少”——這在我們看來,表明的正是AI市場逐步走向成熟;
“第二,算力基礎設施正在走向集群化、系統化。”如前所述,這不僅體現市場對AI算力的渴求,也是AI技術落地的表現之一。如趙立東所說集群“相關軟硬件技術,包括超節點、網絡技術、全光互聯、低精度、分布式并行計算、虛擬化等,已不再是一家公司可以單獨完成,而是需要跨行業協作,多方聚力,構建系統化的解決方案”。
“第三,開源開放是必經之路。”這一點更多表現的,應該是打破做自有封閉生態的國際巨頭的壟斷,通過合作共建開放生態,一起實現AI應用普及和大眾化,也是行業大部分參與者的共識。展望未來,隨著包括最新發布的L600在內的第四代產品的推出,燧原正在推進從萬卡到十萬卡的集群建設——AI創新應用大概還會更大程度地突破現有市場的想象。
