股票杠杆

杠杆炒股,股票融资!

科大讯飞联袂华为,达成基于国产算力的MoE模子推理决策

发布日期:2025-03-12 13:11    点击次数:73

3月11日,据“科大讯飞有计划院”公众号,近日,科大讯飞联袂华为在国产算力鸿沟获取要紧进展,两边迷惑团队领先冲突国产算力集群上MoE模子的大范围跨节点民众并行集群推理,这是继DeepSeek公布其MoE模子推行推理决策后,业界首个基于国产算力的全新处置决策。

科大讯飞先容,迷惑团队通过软硬件的深度协同翻新,在多个要道技巧层面深挖硬件后劲,完成昇腾集群上的考据和部署。在算子交融方面,团队在MLA预处理阶段通过Vector与Cube异构诡计单位并行活水,并将多个小算子交融重构为原子级诡计单位,排斥小算子下发支拨,MLA前处理时延裁减50%+,达成性能的显赫普及。

在夹杂并行战略和通讯诡计并行优化方面,团队构建了TP(张量并行)+EP(民众并行)夹杂范式:对MLA诡计层接管机内TP并行,默机会内高速互联上风,裁减跨机通讯损耗;翻新MoE民众分层更动,64卡平衡分派民众诡计节点,定制AllToAll通讯公约,股指期货配资民众数据交换效果普及40%,构建跨机/机内双层通讯架构,通过分层优化裁减跨机流量60%;同期研发路由民众负载平衡算法,达成卡间负载相反小于10%,集群朦拢普及30%。

通过散播式架构翻新与算法协同优化,迷惑团队在国产算力上达成了显赫的性能普及。单卡静态内存占用缩减至双机部署的1/4,效果普及75%,民众诡计密度增多4倍,推理朦拢普及3.2倍,端到端时延裁减50%。

科大讯飞称,这一冲突性的处置决策也将欺诈于讯飞星火深度推理模子的推行加快,预期推行时推理效果将普及200%。同期,基于该决策的推理引擎也达成了国产算力上DeepSeek V3和R1的高效推理。

近期,科大讯飞深度推理大模子星火X1也完成升级,在模子参数目比业界同业少一个数目级的情况下,星火X1的数学能力全濒临标DeepSeek R1和OpenAI o1,在汉文数学各项任务中均达成杰出。科大讯飞恒久将强走国产化谈路,星火X1亦然刻下独一接管寰宇产算力推行的深度推理大模子。