Andrej Karpathy lança projeto de código aberto autoresearch, que executa automaticamente cem vezes experimentos de treino de LLM

Gate News notícias, 9 de março, o fundador da Eureka Labs e cofundador da OpenAI, Andrej Karpathy, anunciou ontem (8 de março) o projeto de código aberto autoresearch, que separou o fluxo de trabalho de ajuste automático do AI Agent anteriormente utilizado no projeto de treinamento de LLM nanochat, para uso pelos desenvolvedores. O projeto adota o padrão de design “escrito por humanos em Markdown, código gerado por IA”: os desenvolvedores definem a direção da pesquisa escrevendo o arquivo program.md, enquanto o AI Agent modifica autonomamente o código train.py, que inclui o modelo GPT completo, o otimizador Muon + AdamW e o ciclo de treinamento (cerca de 630 linhas). Cada experimento é executado por 5 minutos fixos, usando o número de bits por byte do conjunto de validação (val_bpb) como único indicador de avaliação; melhorias que superam a linha de base são mantidas e enviadas, caso contrário, descartadas. Nesse ritmo, é possível rodar cerca de 12 experimentos por hora, completando aproximadamente 100 em uma noite. O exemplo apresentado por Karpathy mostra que, de 83 experimentos, 15 resultaram em melhorias eficazes. O projeto requer apenas uma GPU NVIDIA (testada na H100), depende do PyTorch e de poucos pacotes de software, e é de código aberto sob a licença MIT. Atualmente, já existem ramificações compatíveis com macOS e MLX na comunidade.