Kimi K3架构白皮书公开：彻底放弃RoPE，Code Arena全栈编程登顶

月之暗面于7月29日正式公开Kimi K3架构白皮书，首次披露了这款2.8万亿参数大模型的多项核心技术细节。其中最引人注目的决策是：K3彻底放弃了当前主流的位置编码方案RoPE，转而采用ALiBi加滑动窗口注意力的混合方案，训练效率因此提升27%。

K3总参数达2.8万亿，激活参数480亿，采用MXFP4权重格式后仅需1.4TB存储空间。在Code Arena全栈编程能力榜上，K3首次登顶，被瑞银分析师称为'第二个DeepSeek时刻'。此前有报道显示，K3生成的AI ASIC行业研究网站经历了120轮以上递归改进、2800次以上网页搜索，处理超1.1万页内容。

架构层面的激进创新释放出一个明确信号：中国大模型厂商正在从'复现'走向'原创'，在注意力机制、位置编码等底层架构上敢于做出与主流方案截然不同的选择。当参数规模的红利逐渐见顶，架构创新正在成为模型差异化的新战场。