Андрей Карпати запустил проект autoresearch с открытым исходным кодом, автоматизированное выполнение сотен экспериментов по обучению LLM с помощью ИИ

Gate News сообщает, что 9 марта основатель Eureka Labs и соучредитель OpenAI Анджей Карпати вчера (8 марта) выпустил в открытый доступ проект autoresearch, который представляет собой отдельный пакет автоматической настройки AI-агента, ранее используемый в проекте обучения LLM nanochat. Этот проект использует дизайн-модель «человек пишет Markdown, AI пишет код»: разработчики создают файл program.md для определения направления исследования, а AI-агент самостоятельно модифицирует код train.py (около 630 строк), содержащий полноценную модель GPT, оптимизаторы Muon + AdamW и цикл обучения. Каждый эксперимент длится ровно 5 минут, а единственным метриком оценки является количество битов на байт в валидационной выборке (val_bpb); улучшения по сравнению с базовым уровнем сохраняются и отправляются, а неудачные — отклоняются. В таком режиме можно запускать примерно 12 экспериментов в час, а за ночь — около 100. Демонстрационный пример Карпати показывает, что из 83 экспериментов 15 привели к значительным улучшениям. Для работы проекта достаточно одного GPU NVIDIA (уже протестировано на H100), он зависит от PyTorch и нескольких небольших библиотек, распространяется под лицензией MIT. В настоящее время в сообществе появились ветки для macOS и MLX.