Novos testes de referência avaliam agentes de IA em análise complexa de dados do laboratório

Uma nova ferramenta de avaliação, BioBasicsBench, foi introduzida para avaliar a eficácia de agentes de inteligência artificial na interpretação de dados brutos, frequentemente ambíguos, encontrados no trabalho de laboratório biológico rotineiro. Desenvolvida em parceria com a Ligo, uma empresa de biotecnologia especializada no design de enzimas, a ferramenta de referência compreende 100 tarefas abrangendo cinco áreas: métodos de proteínas, imagem e citometria, quantificação e ensaios, métodos de ácidos nucleicos e clonagem molecular. O teste avalia agentes na interpretação de evidências brutas – como imagens de gel, pilhas de microscopia e exportações de leitores de placas – e na identificação de quando os dados são insuficientes para tirar uma conclusão. Ao testar sete modelos, incluindo GPT-6 Astra e GPT-5.6 Sol, a avaliação envolveu 18.500 resultados em 37 configurações de modelo e esforço de raciocínio. No nível de raciocínio mais elevado, o GPT-6 Astra alcançou uma pontuação média de 66,7%, superando significativamente o GPT-5.6 Sol, que obteve 43,8%. Os resultados destacam que modelos avançados, como o Astra, demonstram capacidades aprimoradas no tratamento de dados multimodais e na discriminação do contexto experimental. Por exemplo, o Astra identificou corretamente um erro em uma placa de controle de clonagem de DNA devido a uma etiqueta de antibiótico incorreta, enquanto o GPT-5.6 Sol não percebeu este detalhe. Além disso, o Astra demonstrou uma capacidade aprimorada de reconhecer limitações de dados, como quando o contraste da imagem pode ser revertido alterando o foco, evitando conclusões infundadas.