Zyphra apresenta o zyfa: núcleos de atenção fp8 alcançam ganhos de velocidade significativos no amd mi355x

A Zyphra introduziu o ZYFA, um conjunto de núcleos de preenchimento de atenção de código aberto FP8 e BF16, projetados para GPUs AMD Instinct MI355X. Este motor, que alimenta o Zyphra Optimization Engine (ZOE) usado no Zyphra Cloud, demonstra ganhos de desempenho substanciais em relação à biblioteca AITER padrão da AMD. Em ativações de modelos reais, os núcleos FP8 do ZYFA exibem ganhos de velocidade variando de 1,16x a 1,76x, com taxas de erro 62-78% menores do que o AITER, em uma dimensão de cabeça de 128. O ZYFA emprega três otimizações principais: um padrão de bit e4m3, uma implementação P enxuta para softmax que reduz os ciclos de vetor de 896 para 384 e uma técnica de dimensionamento que aproveita as instruções de matriz do CDNA4. Embora a velocidade do clock do MI355X possa variar com base nas inversões de bits dos operandos, o ZYFA ainda requer menos ciclos totais do que o AITER, apesar de operar em uma velocidade de clock mais baixa (1.628 MHz vs 2.108 MHz para o Mistral-7B). Os testes de desempenho mostram que o ZYFA atinge 2.672 TFLOP/s em benchmarks gaussianos em 32K, em comparação com 1.944 TFLOP/s do AITER. Além disso, o ZYFA alcança uma eficiência energética superior, entregando 1,94 TFLOP/J nas camadas do Mistral-7B capturadas, em comparação com 1,60 TFLOP/J do AITER. O erro FP8 em relação à atenção fp64 é notavelmente baixo, com o ZYFA exibindo 0,22x o erro do AITER no Mistral-7B.