Guia detalha como executar o modelo nvidia dory 4b com llama.cpp, analisando os efeitos do loop

Um guia técnico detalha o processo de executar o modelo de raciocínio NVIDIA Dory 1.0 4B usando llama.cpp. Este modelo apresenta um bloco recorrente compartilhado que pode ser iterado de uma a quatro vezes por token, permitindo que um único checkpoint opere em quatro diferentes orçamentos de computação sem re-treinamento. O tutorial envolveu a construção de uma ramificação específica do llama.cpp e o carregamento do arquivo GGUF de 3,7 GB para prever os custos de parâmetros e memória em cache com base na arquitetura. A análise envolveu testes rigorosos em sete configurações (de uma a quatro iterações em ambos os modos de cache). As medições incluíram a velocidade de decodificação em um prompt fixo e uma avaliação GSM8K emparelhada para rastrear as mudanças na precisão e no comprimento da resposta à medida que o número de iterações aumentava. O processo confirmou que o número de iterações embutido no cabeçalho GGUF de 4 diferia da recomendação do cartão do modelo de 2, exigindo sobrescrita explícita. As principais descobertas da investigação incluíram que o bloco recorrente representava 1,84 dos 3,98 bilhões de parâmetros do modelo. O guia também destacou avisos práticos: os usuários devem definir explicitamente o número de iterações, pois o padrão do GGUF é de quatro, e o commit específico do fork deve ser fixado devido ao suporte Dory ser uma solicitação de pull aberta em llama.cpp.