近日，科大訊飛攜手華為在國(guó)產(chǎn)算力領(lǐng)域取得重大進(jìn)展，雙方聯(lián)合團(tuán)隊(duì)率先突破國(guó)產(chǎn)算力集群上MoE模型的大規(guī)?？绻?jié)點(diǎn)專(zhuān)家并行集群推理，這是繼DeepSeek公布其MoE模型訓(xùn)練推理方案后，業(yè)界首個(gè)基于國(guó)產(chǎn)算力的全新解決方案。
聯(lián)合團(tuán)隊(duì)通過(guò)軟硬件的深度協(xié)同創(chuàng)新，在多個(gè)關(guān)鍵技術(shù)層面深挖硬件潛力，完成昇騰集群上的驗(yàn)證和部署。在算子融合方面，團(tuán)隊(duì)在MLA預(yù)處理階段通過(guò)Vector與Cube異構(gòu)計(jì)算單元并行流水，并將多個(gè)小算子融合重構(gòu)為原子級(jí)計(jì)算單元，消除小算子下發(fā)開(kāi)銷(xiāo)，MLA前處理時(shí)延降低50%+，實(shí)現(xiàn)性能的顯著提升。
在混合并行策略和通信計(jì)算并行優(yōu)化方面，團(tuán)隊(duì)構(gòu)建了TP（張量并行）+EP（專(zhuān)家并行）混合范式：對(duì)MLA計(jì)算層采用機(jī)內(nèi)TP并行，發(fā)揮機(jī)內(nèi)高速互聯(lián)優(yōu)勢(shì)，降低跨機(jī)通信損耗；創(chuàng)新MoE專(zhuān)家分層調(diào)度，64卡均衡分配專(zhuān)家計(jì)算節(jié)點(diǎn)，定制AllToAll通信協(xié)議，專(zhuān)家數(shù)據(jù)交換效率提升40%，構(gòu)建跨機(jī)/機(jī)內(nèi)雙層通信架構(gòu)，通過(guò)分層優(yōu)化降低跨機(jī)流量60%；同時(shí)研發(fā)路由專(zhuān)家負(fù)載均衡算法，實(shí)現(xiàn)卡間負(fù)載差異小于10%，集群吞吐提升30%。
通過(guò)分布式架構(gòu)創(chuàng)新與算法協(xié)同優(yōu)化，聯(lián)合團(tuán)隊(duì)在國(guó)產(chǎn)算力上實(shí)現(xiàn)了顯著的性能提升。單卡靜態(tài)內(nèi)存占用縮減至雙機(jī)部署的1/4，效率提升75%，專(zhuān)家計(jì)算密度增加4倍，推理吞吐提升3.2倍，端到端時(shí)延降低50%。
這一突破性的解決方案也將應(yīng)用于訊飛星火深度推理模型的訓(xùn)練加速，預(yù)期訓(xùn)練時(shí)推理效率將提升200%。同時(shí)，基于該方案的推理引擎也實(shí)現(xiàn)了國(guó)產(chǎn)算力上DeepSeek V3和R1的高效推理。
近期，科大訊飛深度推理大模型星火X1也完成升級(jí)，在模型參數(shù)量比業(yè)界同行少一個(gè)數(shù)量級(jí)的情況下，星火X1的數(shù)學(xué)能力全面對(duì)標(biāo)DeepSeek R1和OpenAI o1，在中文數(shù)學(xué)各項(xiàng)任務(wù)中均實(shí)現(xiàn)領(lǐng)先?？拼笥嶏w始終堅(jiān)定走國(guó)產(chǎn)化道路，星火X1也是當(dāng)前唯一采用全國(guó)產(chǎn)算力訓(xùn)練的深度推理大模型。
科大訊飛將持續(xù)迭代升級(jí)星火大模型，并通過(guò)推理引擎加速為開(kāi)發(fā)者帶來(lái)更普惠的星火SparkAPI，星火大模型系列API以及星辰MaaS平臺(tái)上開(kāi)源的相關(guān)模型API成本也將進(jìn)一步降低，為開(kāi)發(fā)者提供更優(yōu)惠、更可靠的自主可控新選擇。
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問(wèn)題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。?。?a href="/">首頁(yè) > 星空人工智能產(chǎn)業(yè) > 智能物聯(lián) » 科大訊飛聯(lián)合華為率先實(shí)現(xiàn)國(guó)產(chǎn)算力大規(guī)?？绻?jié)點(diǎn)專(zhuān)家并行集群推理