Thinking machines revela o inkling 2 small, um modelo moe esparso com 594 bilhões de parâmetros

O laboratório Thinking Machines apresentou o Inkling 2 Small, o modelo da segunda geração da série Inkling. Este modelo Mixture-of-Experts (MoE) multimodal possui um tamanho total de 594 bilhões de parâmetros, com 17 bilhões de parâmetros ativos. É projetado para tarefas como codificação, visão e trabalho de conhecimento, aceitando entradas de texto e imagem, embora atualmente não suporte áudio. Na Artificial Analysis Intelligence Index, o Inkling 2 Small obteve uma pontuação de 31, superando significativamente seu antecessor, o Inkling Small, que obteve uma pontuação de 13. O laboratório confirmou que os pesos do modelo estão atualmente fechados, mas espera-se que uma versão Apache 2.0 seja lançada na próxima semana, após avaliações de segurança externas. Tecnicamente, o modelo incorpora um decodificador Transformer de 48 camadas, onde cada token é direcionado a 8 dos 384 especialistas. O componente de visão utiliza um codificador de percepção de 292M de parâmetros. O desenvolvimento envolveu um regime de pré-treinamento complexo em quatro fases, incluindo uma execução conjunta de RL que durou 9 dias em 2.048 GPUs, excedendo 4 * 10^23 FLOPs. Além disso, o laboratório melhorou o alinhamento adicionando uma recompensa e auto-destilação baseada na política, reduzindo sua pontuação interna de comportamento de 66,8 (no Inkling) para 14,9. O modelo está atualmente disponível no Tinker para ajuste fino e inferência, com a Artificial Analysis listando seu preço em US$ 0,30 por 1 milhão de tokens de entrada e US$ 1,00 por 1 milhão de tokens de saída.