Análise comparativa de mecanismos de roteamento em modelos líderes de mixture-of-experts

Vários modelos avançados de Mixture-of-Experts (MoE) utilizam roteamento baseado na escolha de tokens, diferenciando-se em cinco parâmetros-chave: número de especialistas, especialistas por token, presença de especialistas compartilhados, função de pontuação e método de balanceamento de carga. O DeepSeek-V3 utiliza 256 especialistas roteados com uma função de pontuação sigmoidal, enquanto o DeepSeek-V4 aumenta isso para 384 especialistas e muda para uma função sqrtsoftplus, incorporando roteamento por hash nas suas três primeiras camadas. Outros modelos apresentam arquiteturas distintas. O Qwen3.6 utiliza 256 especialistas, incluindo um especialista compartilhado, enquanto o Llama 4 Maverick utiliza um design top-1, roteando tokens para um especialista compartilhado e um de 128 especialistas roteados. O gpt-oss-120b utiliza um roteador linear sobre 128 especialistas, omitindo um especialista compartilhado. O Kimi K2 espelha a classe DeepseekV3ForCausalLM, escalando para 384 especialistas roteados. As escolhas arquitetônicas impactam o desempenho; por exemplo, aumentar o número de especialistas por camada aumenta a carga de memória e o tráfego de comunicação, enquanto diminuir o top-k reduz o cálculo por token. O GLM-4.5 favoreceu a profundidade com 160 especialistas, contrastando com o foco na largura de outros. Essas configurações, provenientes de relatórios de modelos e configurações do Hugging Face verificadas em 7 de novembro de 2026, destacam as diversas compensações de engenharia no uso de MoE.