Андрей Карпати відкрив проект autoresearch з відкритим кодом, що автоматично виконує сотні запусків тренувальних експериментів з великими мовними моделями (LLM) за допомогою штучного інтелекту.

Gate News повідомляє, 9 березня, засновник Eureka Labs та співзасновник OpenAI Анджей Карпатьї опублікував відкритий проект autoresearch, який був раніше частиною роботи над тренуванням LLM у проекті nanochat. Проект ізольовано упаковано для використання розробниками та базується на концепції «людина пише Markdown, AI пише код»: розробники створюють файл program.md для визначення напрямків досліджень, а AI-агент самостійно модифікує код train.py (близько 630 рядків), що містить повну модель GPT, оптимізатор Muon + AdamW та цикл тренування. Кожен запуск триває 5 хвилин, а для оцінки використовується єдиний показник — кількість бітів на байт у валідаційних даних (val_bpb). Покращення, що перевищують базовий рівень, зберігаються та подаються, інші — відкидаються. За цим режимом можна запускати близько 12 експериментів на годину, а за ніч — приблизно 100. Демонстрація Карпатьї показала, що з 83 експериментів 15 дали ефективні покращення. Проект потребує лише один GPU NVIDIA (перевірено на H100), залежить від PyTorch та кількох невеликих бібліотек, відкритий за ліцензією MIT. Вже з’явилися гілки для macOS та MLX.