正式开源!美团 LongCat-2.0 同步开放国产卡推理代码
美团正式开源了万亿参数大模型LongCat-2.0。该模型总参数1.6T,平均激活约48B,专为Agentic Coding任务设计。其核心技术突破在于通过模型架构、芯片适配与部署策略的深度协同优化,实现了在显存与带宽受限的国产算力集群上的高效稳定推理。模型层面创新性地引入LongCat稀疏注意力(LSA)和N-gram Embedding,分别提升了长上下文处理效率与Token级表示能力。在芯片适配上,通过Super Kernel、Weight Prefetch及基于高速互联的KV-cache传输等技术最大化硬件利用率。部署策略则采用PD分离,通过缩小Expert-Parallel域、序列并行、KV-cache切分及异步负载均衡等方法,兼顾首Token延迟与生成速度,并支持多种推理优化特性。此次开源同步提供BF16、FP8、INT8等多精度模型权重及针对国产NPU优化的推理代码,旨在为行业提供一条可复现的技术路径,盘活存量国产算力,推动其在真实场景中的应用。