【美团发布并开源5600亿参数混合专家模型】美团宣布正式发布LongCat-Fl

科学制造的力量 2025-09-01 16:04:41

【美团发布并开源5600亿参数混合专家模型】美团宣布正式发布LongCat-Flash-Chat AI模型,并同步开源,采用创新性混合专家(MoE),总参数量达560B(5600亿),实际激活参数18.6-31.3B,平均仅27B,从而实现计算效率与性能的双重优化。

美团声称,根据多项基准测试综合评估,作为一款非思考型基础模型,LongCat-Flash-Chat在仅激活少量参数的前提下,性能就可以比肩当下领先的主流模型,尤其在智能体任务中具备突出优势。

同时,因为面向推理效率的设计和创新,LongCat-Flash-Chat具有明显更快的推理速度,更适合于耗时较长的复杂智能体应用。

美团LongCat-Flash在架构层面引入“零计算专家(Zero-Computation Experts)”机制,总参数量560B,每token依据上下文需求仅激活18.6-31.3B参数,实现算力按需分配和高效利用。

为控制总算力消耗,训练过程采用PID控制器实时微调专家偏置,将单个token的平均激活量稳定在约27B。

此外,LongCat-Flash在层间铺设跨层通道,使MoE的通信和计算能很大程度上并行,极大提高了训练和推理效率。

配合定制化的底层优化,LongCat-Flash在30天内完成了高效训练,并在H800 GPU上实现单用户100+ tokens/s的推理速度。

LongCat-Flash还对常用大模型组件和训练方式进行了改进,使用了超参迁移和模型层叠加的方式进行训练,并结合了多项策略保证训练稳定性,使得训练全程高效且顺利。

针对智能体(Agentic)能力,LongCat-Flash自建了Agentic评测集指导数据策略,并在训练全流程进行了全面的优化,包括使用多智能体方法生成多样化高质量的轨迹数据等,实现了优异的智能体能力。

通过算法和工程层面的联合设计,LongCat-Flash在理论上的成本和速度都大幅领先行业同等规模、甚至规模更小的模型。

通过系统优化,LongCat-Flash在H800上达成了100 tokens/s的生成速度,同时输出成本低至5元/百万token。

0 阅读:0
科学制造的力量

科学制造的力量

感谢大家的关注