AI agents running research on single-GPU nanochat training automatically
autoresearch 是一个用于自动化深度学习研究的实验性项目,旨在通过 AI Agent 实现训练代码的自主迭代与优化。它利用单一 GPU 环境,通过让 Agent 自动修改模型架构、参数和训练循环,从而在受限时间内实现模型性能的持续改进。
该项目允许 AI Agent 自主修改训练脚本以探索更优模型,并设定了五分钟的固定训练时间预算以进行快速实验反馈。通过监控验证集上的 bits-per-byte 指标,系统可以自动化地评估实验结果并决定保留或放弃所做的改动。用户可以通过编写 Markdown 格式的指令文件来配置研究目标和 Agent 的行为准则。项目内置了精简高效的 nanochat 实现,包含完整的模型、优化器以及训练评估流程。
适用于对大模型训练自动化感兴趣的 AI 研究者与开发者,适合在有限算力资源下进行模型架构探索、超参数自动寻优或验证自动化科研工作流。