Mó ěr摩尔xiàn chéng线程kāi yuán开源 Megatron-MUSA-Titan,jù jiāo聚焦mò万kǎ卡jí级jí qún集群de的wàn yì万亿cān shù参数 MoE mó xíng模型xùn liàn训练
I T zhī jiāIT之家 1 0 yuè10月 28 rì日xiāo xi消息,Mó ěr摩尔xiàn chéng线程jīn rì今日xuān bù宣布kāi yuán开源dà大mó xíng模型xùn liàn训练jī chǔ shè shī基础设施xiàng mù项目 Megatron-MUSA-Titan。gāi该xiàng mù项目jī yú基于Mó ěr摩尔xiàn chéng线程Quán全gōng néng功能 GP UPU,jù jiāo聚焦mò万kǎ卡jí级jí qún集群de的wàn yì万亿cān shù参数 MoE mó xíng模型xùn liàn训练xū qiú需求,fù gài覆盖yù预xùn liàn训练yú与qiáng huà强化xué xí学习liǎng两dà大chǎng jǐng场景,wéi为kāi fā zhě开发者tí gōng提供miàn xiàng面向 MUSA píng tái平台de的xùn liàn训练shì pèi适配yú与xì tǒng系统yōu huà优化néng lì能力。jù据jiè shào介绍,Megatron-MUSA-Titan yǐ已zài在Mó ěr摩尔xiàn chéng线程mò万kǎ卡jí级jí qún集群de的wàn yì万亿cān shù参数 MoE mó xíng模型yù预xùn训liàn练Zhōng中chí xù持续yìng yòng应用,jīng guò经过zhǎng shí jiān长时间xùn liàn训练shí jiàn实践jiǎn yàn检验,shí xiàn实现Gāo高 MFU(mó xíng模型suàn lì算力lì yòng利用lǜ率)yú与cháng长wěn稳xùn liàn训练,tóng shí同时zhī chí支持yú与 slime、miles qiáng huà强化xué xí学习kuàng jià框架xié tóng协同,jié hé结合 Megatron xùn liàn训练yú与 SGLang yàng běn样本shēng chéng生成,gòu jiàn构建guàn tōng贯通wàn yì万亿cān shù参数 Mo
Score: 99442 words
