热门资讯

月之暗面 7 月 28 日正式开源 2.8 万亿参数模型 Kimi K3 并发布模型权重和技术报告。

同一天，摩尔线程是基于的 AI 培训推送一体化智算卡 MTT S5000 及 MUSA 软件栈，宣布完成 Kimi K3 的 Day-0 支持。

Kimi K3 它是世界上第一个开源 3 万亿级模型，总参数达到 2.8 万亿，基于 KDA 混合线性注意机制（Kimi Delta Attention）和注意力残差（Attention Residuals）技术建设，采用 Gated MLA 与 Stable Latent MoE 等架构创新，原生支持视觉理解，并有 100 万 token 上下文窗口。

与传统 Transformer 模型不同，Kimi K3 的 69 层 KDA 与 24 层 Gated MLA 构成混合注意力的主干，Stable Latent MoE 以 896 每一个专家，每一个 token 激活 16 以专家的方式提高模型容量。

面对新的架构 AI 对于芯片软件栈提出的系统性挑战，摩尔线程在模型开源后第一时间完成了模型结构分析、权重加载、核心算子、缓存管理和分布式运行链路的适应。针对 KDA 核心创新，团队分别完成 Prefill 与 Decode 适应阶段的关键路径，并使用Triton MUSA 作为稳定基线实现正确性。SGLang-MUSA 同步适配了 Hybrid State Pool，用于管理 KDA 递归状态和卷积状态，覆盖 Prefix Cache、分块 Prefill 及 PD 分离场景所需的状态生命周期。

针对 Stable Latent MoE 的 896 专家、TopK 16 激活规模，摩尔线程快速完成 DeepEP 适配，打通 token dispatch、combine 与跨卡 All-to-All 通信链路。MUSA 软件栈通过模型路由、专家映射和分布式执行链路适应，进一步完成模型路由、专家映射和分布式执行链路适应 MCCL、DeepEP 与 MTSHMEM 协同承载张量并行、专家并行、低延迟通信。面对面对。 Kimi K3 官方 MXFP4 checkpoint，摩尔线程设计了加载期在线层量化方案，无需离线转换即可快速拉起推理。

MTT S5000 摩尔线程是基于第四代“平湖”芯片架构建造的 AI 培训推送一体化智算卡，单卡 AI 最高的密度计算能力可达配备1000TFLOPS 80GB 显存，显存带宽达 1.6TB/s，卡间互联带宽为 784GB/s，完整支持从 FP8 到 FP64 全精度计算。

免责声明：网站内容仅作资讯展示，不构成各类业务指导建议。访问者应当自行甄别信息，审慎评估风险，因使用本站信息产生的相关后果由使用者自行承担。本站尊重各方知识产权，如有侵权内容，可联系站长进行处理。