Loading... # autoresearch：AI 智能体自主机器学习研究项目 # 一、新闻概述 ## 1. 标题 autoresearch：Andrej Karpathy 推出 AI 智能体自主机器学习研究项目 ## 2. 发布时间 2026 年 3 月 ## 3. 来源 GitHub 仓库：karpathy/autoresearch # 二、核心内容 ## 1. 事件摘要 ### A. 主要内容 Andrej Karpathy 发布了一个名为 autoresearch 的实验性项目，旨在探索让 AI 智能体自主进行机器学习研究的可能性。项目的核心思想是：给 AI 智能体一个小型的 LLM 训练环境，让它整夜自主实验，修改代码，训练 5 分钟，检查结果是否改进，然后重复这个过程。 ### B. 核心亮点 - 完全自主的研究流程：AI 智能体独立完成从代码修改到结果评估的全过程 - 固定时间预算：每次实验运行 5 分钟，确保结果可比较 - 单文件可修改：智能体仅修改 train.py，保持 scope 可控 - 自动实验循环：支持约 12 次/小时的实验频率 ## 2. 关键信息 ### A. 项目名称 autoresearch ### B. 核心文件 - prepare.py：固定常量、数据准备、运行时工具（不可修改） - train.py：模型架构、优化器、训练循环（智能体修改） - program.md：智能体指令（人类编辑） ### C. 硬件要求 单块 NVIDIA GPU（已在 H100 上测试） ## 3. 背景介绍 ### A. 相关项目 autoresearch 基于 nanochat 项目的简化版本，是一个单 GPU、单文件的实现。 ### B. 相关上下文 Karpathy 在 X 上发布了关于这个项目的推文，引发了社区对 AI 自主研究潜力的讨论。 # 三、详细报道 ## 1. 主要内容 ### A. 项目架构 autoresearch 采用极简设计，整个项目仅包含三个关键文件，每个文件有明确的职责分工： prepare.py 包含固定常量、一次性数据准备（下载训练数据、训练 BPE 分词器）和运行时工具（数据加载器、评估）。这个文件被设计为只读，智能体不能修改。 train.py 是智能体唯一可以修改的文件。它包含完整的 GPT 模型、优化器（Muon + AdamW）和训练循环。模型架构、超参数、优化器、批大小等所有内容都可以被智能体调整。 program.md 是给智能体的指令，人类通过编辑这个 file 来设置和调整自主研究组织。 ### B. 核心工作流程 智能体的工作流程可以分为设置和实验两个阶段。在设置阶段，智能体与用户确认运行标签、创建新分支、读取相关文件、验证数据存在、初始化结果文件。在实验阶段，智能体进入无限循环，不断尝试新的实验想法。 每次实验的流程包括：查看 git 状态、根据实验想法修改 train.py、提交代码、运行训练脚本、读取结果、将结果记录到 TSV 文件。如果 val_bpb 改进则保留更改，否则回退到起点。 ### C. 技术细节 项目使用固定的 5 分钟时间预算（墙钟时间，不包括启动/编译）。评估指标是 val_bpb（validation bits per byte），越低越好。这个指标与词汇表大小无关，因此可以公平比较架构变化。 模型配置采用深度 × 宽高比的设计方式，DEPTH = 8，ASPECT_RATIO = 64，因此模型维度为 512。窗口模式支持滑动窗口，SSSL 模式表示部分层使用短窗口，最后层使用长窗口。 优化器采用混合设计：Muon 用于二维矩阵参数，AdamW 用于其他参数。学习率按参数类型分别设置，包括嵌入层学习率（0.6）、反嵌入层学习率（0.004）、矩阵参数学习率（0.04）和标量学习率（0.5）。 ## 2. 系统架构 ```mermaid graph TB subgraph "人类研究" A[编辑 program.md] A --> B[启动智能体] end subgraph "AI 智能体" B --> C[读取代码库] C --> D[设计实验] D --> E[修改 train.py] E --> F[提交到 git] F --> G[运行训练 5 分钟] G --> H[评估 val_bpb] H --> I{结果改进?} I -->|是| J[保留更改] I -->|否| K[回退代码] J --> D K --> D end subgraph "固定组件" L[prepare.py<br/>数据准备/评估] M[数据集<br/>~/.cache/autoresearch] end G --> L C --> L C --> M L --> G style A fill:#e1f5ff style B fill:#e1f5ff style C fill:#e1f5ff style D fill:#e1f5ff style E fill:#e1f5ff style F fill:#e1f5ff style G fill:#e1f5ff style H fill:#e1f5ff style I fill:#fff4e6 style J fill:#d4edda style K fill:#f8d7da style L fill:#f8f9fa style M fill:#f8f9fa ```  ## 3. 实验循环流程 ```mermaid graph LR A[开始循环] --> B[查看 git 状态] B --> C[设计实验想法] C --> D[修改 train.py] D --> E[git commit] E --> F[运行训练 5 分钟] F --> G[读取 val_bpb] G --> H{val_bpb 改进?} H -->|是| I[保留更改<br/>前进分支] H -->|否| J[回退到起点] I --> K[记录到 results.tsv] J --> K K --> B ```  ### D. 设计原则 单文件可修改：智能体只能修改 train.py，这保持了 scope 可控且 diff 可审查。 固定时间预算：训练总是运行 5 分钟，无论平台如何。这意味着可以预期每小时约 12 次实验，以及约 100 次实验（平均睡眠时间）。这个设计有两个优点：无论智能体更改什么（模型大小、批大小、架构等），实验都可直接比较；autoresearch 会为该平台在时间预算内找到最优模型。 自包含：除了 PyTorch 和少量小包外没有外部依赖。没有分布式训练，没有复杂配置。一块 GPU、一个文件、一个指标。 ## 3. 数据与事实 ### A. 性能预期 根据 README 的描述，每次实验大约需要 5 分钟（加上几秒钟的启动和评估开销）。这意味着每小时可以运行约 12 次实验，在人类平均睡眠时间内可以完成约 100 次实验。 ### B. 模型配置 默认配置包括：8 层 Transformer、序列长度 2048、词汇表大小 32768、多头注意力机制、混合窗口模式。 ### C. 评估指标 使用 val_bpb 作为主要评估指标，这是 validation bits per byte 的缩写，数值越低表示模型性能越好。 # 四、影响分析 ## 1. 行业影响 ### A. 技术趋势 autoresearch 代表了 AI 自主研究的前沿探索。它展示了如何将机器学习研究的重复性任务自动化，让研究者专注于更高层次的问题设计和方向规划。 ### B. 生态影响 如果这种自主研究模式成熟，可能会改变机器学习研究的组织方式。研究者可以从实验迭代中解放出来，专注于提出新的研究方向和理论突破。 ## 2. 用户影响 ### A. 现有研究者 可以大幅减少重复性实验工作，提高研究效率。研究者可以设计好研究方向，让智能体整夜自动迭代，第二天早上直接查看结果。 ### B. 潜在应用 这种自主研究框架可以扩展到更多研究领域，不限于语言模型预训练。 ## 3. 技术趋势 ### A. 自动化研究 从自动化脚本到完全自主的 AI 智能体，机器学习研究正在向更高程度的自动化发展。 ### B. 人机协作 未来的研究可能是人类提出问题和方向，AI 智能体执行实验和迭代，形成新的人机协作模式。 # 五、各方反应 ## 1. 官方回应 Andrej Karpathy 在 X 上发布了项目说明，称这是探索 AI 自主研究的实验性项目。 ## 2. 业内评价 ### A. 创新性 将研究过程自动化是机器学习领域的前沿方向，autoresearch 提供了一个具体的实现框架。 ### B. 实践性 项目采用极简设计，易于理解和复现，为社区提供了探索自主研究的良好起点。 ## 3. 用户反馈 ### A. 社区讨论 项目引发了关于 AI 自主研究潜力的讨论，特别是关于智能体的决策能力和研究效率。 ### B. 分支发展 已有多个针对不同平台的分支，包括 macOS 和 MLX 实现，显示社区对该框架的兴趣和参与度。 # 六、相关链接 ## 1. 官方资源 - GitHub 仓库：karpathy/autoresearch - Karpathy 的推文：https://x.com/karpathy/status/2029701092347630069 ## 2. 相关项目 - nanochat：autoresearch 的父项目 - Flash Attention 3：项目使用的注意力机制优化 ## 3. 平台适配分支 - miolini/autoresearch-macos：macOS 适配版本 - trevin-creator/autoresearch-mlx：MLX 框架版本 *** ## 参考资料 1. [autoresearch - GitHub Repository](https://github.com/karpathy/autoresearch) 最后修改：2026 年 03 月 17 日 © 允许规范转载 赞 如果觉得我的文章对你有用，请随意赞赏