Andrej Karpathy abre el proyecto de investigación automática de código abierto, que permite que la IA ejecute automáticamente cien veces experimentos de entrenamiento de LLM

Gate News informa que, el 9 de marzo, Andrej Karpathy, fundador de Eureka Labs y cofundador de OpenAI, anunció la publicación del proyecto de código abierto autoresearch, que independiza el flujo de trabajo de ajuste automático del AI Agent previamente desarrollado en el proyecto de entrenamiento LLM nanochat, para que los desarrolladores puedan usarlo. Este proyecto adopta un patrón de diseño de “el humano escribe Markdown, la IA escribe código”: los desarrolladores definen la dirección de investigación mediante la creación del archivo program.md, y el AI Agent modifica de forma autónoma el código train.py, que incluye un modelo GPT completo, el optimizador Muon + AdamW y el ciclo de entrenamiento (aproximadamente 630 líneas). Cada experimento se ejecuta durante 5 minutos fijos, y la única métrica de evaluación es el número de bits por byte (val_bpb) en el conjunto de validación; las mejoras que superen la línea base se conservan y se envían, mientras que las que no, se descartan. Con este ritmo, se pueden realizar aproximadamente 12 experimentos por hora, y unas 100 noches se pueden completar. La demostración de Karpathy muestra que, de 83 experimentos, 15 produjeron mejoras efectivas. El proyecto requiere solo una GPU NVIDIA (probada en H100), depende de PyTorch y algunos paquetes de software, y se publica bajo la licencia MIT. Actualmente, la comunidad ha desarrollado ramas compatibles con macOS y MLX.