Plataforma huawei ascend permite a implantação do kimi K3.1 pro, modelo avançado de moe

A Huawei anunciou que sua plataforma Ascend agora suporta a implantação de inferência do Kimi K3.1 Pro, um modelo com 2,8 trilhões de parâmetros e capacidades avançadas de Mixture-of-Experts (MoE). Este suporte foi alcançado integrando o Ascend com o vLLM e o SGLang para habilitar a adaptação de inferência de 0 Dia, compatível com os produtos Ascend Atlas 800 A3, Atlas 900 A3 SuperPod e a série Ascend 950 SuperPod. O Kimi K3.1 Pro, o primeiro modelo da série K3.1, possui compreensão visual nativa e uma janela de contexto de um milhão de tokens. As capacidades aprimoradas do modelo em áreas como desenvolvimento de código, criação 3D, pesquisa financeira e tarefas de agente de longo prazo derivam de uma escala pós-treinamento expandida em relação ao modelo base K3. Para suportar os requisitos do modelo, como atenção esparsa e manipulação de contexto massivo, o Ascend conduziu otimizações colaborativas em seus operadores e frameworks. A equipe de inferência aproveitou a experiência anterior de adaptação do Kimi K3 para integrar as novas rotas de atenção esparsa e o suporte de inferência multimodal, abrangendo otimizações principais como filtragem de informações históricas e cálculo de resíduos.