Gate Newsの報道によると、3月9日、Eureka Labsの創設者でありOpenAIの共同創設者であるAndrej Karpathyは、昨日(3月8日)にオープンソースプロジェクト「autoresearch」を公開しました。このプロジェクトは、以前のLLM訓練プロジェクト「nanochat」上でのAIエージェントの自動調整ワークフローを独立してパッケージ化したもので、開発者が利用できるようになっています。
このプロジェクトは「人がMarkdownを書き、AIがコードを書く」という設計パターンを採用しています。開発者は「program.md」ファイルに研究方向を定義し、AIエージェントはGPTモデル、Muon + AdamW最適化器、訓練ループを含む「train.py」コード(約630行)を自主的に修正します。各実験は固定で5分間実行され、検証セットのバイトあたりビット数(val_bpb)が唯一の評価指標です。基準を上回る改善は採用され、提出されます。そうでなければ破棄されます。
このペースで、1時間に約12回の実験を行うことができ、一晩で約100回の実験を完了できます。Karpathyが示した例では、83回の実験のうち15回に有効な改善が得られました。
このプロジェクトは、NVIDIAのH100上でテスト済みの1つのGPUだけで動作し、PyTorchと少量のソフトウェアパッケージに依存しています。MITライセンスの下でオープンソース化されています。現在、コミュニティにはmacOSやMLX向けの適応ブランチも登場しています。