Téng xùn腾讯hùn yuán混元 Hy4 flash mó xíng模型fā bù发布:224bīB zǒng总cān参、12bīB jī huó激活,Shàn单rèn wu任务chéng běn成本yāo约 Hy4 de的 5%
I T zhī jiāIT之家 1 1 yuè11月 16 rì日xiāo xi消息,Téng xùn腾讯hùn yuán混元tuán duì团队jīn tiān今天xuān bù宣布zhèng shì正式tuī chū推出 Hy4 flash,guān fāng官方jiāng将qí其dìng wèi定位wéi为qì jīn迄今xìng jià bǐ性价比zuì gāo最高de的 Hy mó xíng模型。qí其mó xíng模型zǒng总cān参shù liàng数量 224B,qí zhōng其中bāo hán包含 64bīB Engram cān shù参数,měi ge每个 token jī huó激活 12bīB cān shù参数,zhī chí支持duō多mó tài模态shū rù输入yú与 100 mò万 token shàng xià wén上下文cháng dù长度,API jià gé价格jiào较 Hy4 dà fú大幅jiàng dī降低。Téng xùn腾讯biǎo shì表示,Hy4 flash de的Gāo高xìng性jiè价Bǐ比lái zì来自yù预xùn liàn训练、Hòu后xùn liàn训练hé和tuī lǐ推理Sān三gě个jiē duàn阶段de的xié tóng协同yōu huà优化。yù预xùn训liàn练jiē duàn阶段yǐn rù引入hùn hé混合zhù yì lì注意力、LatentMoE yú与 Engram(I T zhī jiāIT之家zhù注:Engram shì是yī zhǒng一种kě可kuò zhǎn扩展de的Zhā查biǎo表shì式cān shù参数mó kuài模块,yòng yú用于yǐ以jiào较dī低suàn lì算力chéng běn成本kuò chōng扩充mó xíng模型róng liàng容量)děng等jià gòu架构,KV c a c h ecache dà xiǎo大小jiàng降 zhì至 Hy3 de的
Skóre: 96533 slov

