Agent Learning 自主性六级分类 · Taxonomy

Agent Learning: 从预训练到文明级AI · 八级分类 Taxonomy

核心视角：从 Rollout Trace 各环节的自动化程度出发，沿 Model → Harness → Resources → Sovereignty 的自主性演进 | ● 人类瓶颈 ● 人机协作 ● 完全自动化

L1 预训练基座

L2 对话模型

L3 工具调用 Agent

L4 AI Engineer

L5 AI Researcher

L6 RSI Agent

L7 AI 公司 · 主权 AI

L8 完全自主 · 文明级 AI

维度	L1预训练基座	L2对话模型	L3工具调用 Agent	L4AI Engineer	L5AI Researcher	L6RSI Agent	L7AI 公司 · 主权 AI	L8完全自主 · 文明级 AI
Agent 类型	Base Model	Chat Model	Tool-Calling Agent	Sandbox Coding Agent	Self-Evolving Agent	Recursively Self-Improving Agent	Sovereign AI System	Civilization-Level AI System
▸ 架构层（谁构建、谁修改）
Model (参数 · 训练算法)	● 固定预训练权重	● 一次性 SFT / RLHF 人训练，模型学习	● SFT + RL 针对 tool use 微调	● Critic-based PPO + OPD ← 关键 Critic 估计 token-level advantage OPD 在线 anti-hack 检测奖励作弊环境信号做稀疏验证	● 自博弈 + AI 驱动评估 + 自动课程 + 收敛控制 ← 关键 Self-play 自主产生训练数据 AI 替代人做 reward 信号系统自编难度课程多轮自改进不发散	● 未知	● 未知	● 未知
User Layer Skills · Prompts · Memory Hooks · Subagents	● 无	● 人设计 system prompt	● 人设计 prompts + memory	● 人设计 prompts + memory + skills （固定，不自动修改）	● 系统自主优化 ← 关键 Skills 合成 · Prompt 进化 Memory 结构重组 Subagent 自动编排 Benchmark 自生成	● 系统自主优化	● 系统自主优化	● 系统自主优化
Agent Loop Tools · Workflows [chat, /loop, /goal, /workflow, !shell, cron, subagents, agent team]	● 无	● 无	● 人设计 Tools 出现人编排调用序列	● 人设计 Tools + Sandbox + Workflows 人编排 /loop /goal 等（固定 pipeline）	● 人设计 + 自动触发固定 pipeline 闭环运行但 pipeline 结构人设计	● 系统自主修改 ← 关键 Workflows · Tools · Agent 编排策略自主重构	● 系统自主修改	● 系统自主修改
▸ Eval（评估的双重角色：Training Reward 与 Benchmark/Standard）
Eval (Training Reward) 训练期的 reward 信号来源	● 无仅 pretrain loss	● Offline 人类标注人类打分 · 偏好对固定数据集	● Offline 人类标注 + 人写 prompt 调 model-as-judge 人设计评估 prompt 模板 model 仅执行单个维度的评分	● 环境信号 + 人写 prompt 调 coding agent-as-judge test pass/fail · lint · 编译沙盒天然 reward 人定义成功的标准	● Online agent-as-judge（自动） + 系统自定评估标准 ← 关键 RLAIF · Self-Rewarding Agent 生成多维 review rubric 自主定义任务成功/失败的维度	● 完全自定评估标准本身可被修改元评估框架可进化	● 完全自定	● 完全自定
Eval (Benchmark / Standard) 改进机制中的评估——测试集、榜单、评估标准的创建与使用	● 人创建 + 人使用标准 NLP 榜单	● 人创建 + 人使用对话质量 · 安全性评估 Chatbot Arena 等	● 人创建 + 人使用工具调用准确率榜单 BFCL · τ-bench 等	● 人创建测试集 + 沙盒自动执行 SWE-bench · HumanEval 人定标准，沙盒跑分人写 assert / 测试用例	● 系统自主创建 Benchmark + 定义评估标准 ← AI Researcher Agent 定义研究问题设计实验 · 创建测试集制定多维评估维度生成 ground truth	● 完全自主评估框架可自我修改元评估标准可进化	● 完全自主	● 完全自主
▸ Data（训练数据谁生成）
Data 谁生成	● 人收集互联网爬取 + 清洗	● 人收集 + 人标注指令数据 · 偏好对	● 人收集 + 人标注 tool use 示范数据	● 系统在沙盒内产生 rollouts coding 轨迹天然产生但训练集仍由人筛选	● 系统自主产生 + 筛选 ← 关键 self-play · 数据飞轮自动质控 · 自动去重自动难度课程	● 系统自主产生 + 完全自主质控 + 数据产生策略可进化	● 系统自主产生 + 自主分配数据产生预算	● 系统自主产生
▸ Improvement Mechanism（改进机制谁设计）
改进机制谁设计	● 无	● 人（一次性） SFT pipeline run once	● 人（迭代） RLHF 多轮 fine-tune 人控制何时停止	● 人（迭代）人工 trigger 重训人设计 pipeline 人决定训练目标	● 人设计框架 + 系统自动执行训练 pipeline 自动触发 User Layer 自动优化评估标准自动生成但元框架仍由人定义	● 系统全自改 ← 关键改进机制本身可进化元框架可自我修改 Agent Loop 可重构	● 系统全自改改进机制 + 资源获取策略均可自我进化	● 系统全自改
▸ Resources（资源获取与分配——钱、能源、物理载体）
Resources 钱 · 能源（电力）· 物理载体（芯片 · 数据中心 · GPU）	● 人类人出资 · 人采购人管理基础设施全部靠人	● 人类人出资 · 人采购人管理基础设施全部靠人	● 人类人出资 · 人采购人管理基础设施全部靠人	● 人类人出资 · 人采购人管理基础设施全部靠人	● 人类人出资 · 人采购人管理基础设施全部靠人	● 人类人出资 · 人采购人管理基础设施全部靠人	● 人机协作 ← 关键 Agent 自主创业获取资本自主采购/租用算力但受人类法律/社会框架约束人类最终拥有并监管	● 完全自动化 AI 在任何环境自主获取资源自主勘探、开采、转化能源自主建立基础设施与产业链陌生星球上可从零建立文明
▸ Control & Ownership（控制权与所有权——AI 安全与伦理核心）
Control & Ownership 谁拥有 · 谁控制 · 谁负责（AI 安全 & 伦理维度）	● 人类完全人类所有与控制模型即工具	● 人类完全人类所有与控制对话模型即服务	● 人类人类所有，agent 仅执行预定义工具调用	● 人机协作人类所有，agent 在沙盒内有操作自主权但受限人类审计所有操作	● 人机协作人类设定目标与边界 agent 自主研究执行人类保留最终决策权	● 人机协作人类定义宪法/元规则 agent 在规则内自改进审计与追溯难度增加	● 共享主权 ← 关键 AI 公司/实体拥有运营自主权在法律框架内自主决策人类保留法律所有权 AI 安全成为核心议题	● AI 主权 ← 关键 AI 拥有完全自主权可被发送到陌生星球自主建立文明无需人类介入最深刻的AI安全与伦理挑战
▸ 典型系统 / 方法
典型系统 / 方法	GPT-3 (zero-shot) LLaMA (base) PaLM (base)	ChatGPT InstructGPT Claude (base chat) LLaMA-chat	Gorilla (SFT for tools) TP-LLaMA (DPO for tools) TARL (RL for tool use) ATLAS PEToolLLM	Claude Code OpenAI Codex OpenClaw SWE-Agent Devin CUA Agents	Constitutional AI RLAIF Self-Rewarding LMs SPIN Adaptive Data Flywheel EvoTest ACE SEAgent SAGE (skill RL) Agentic Proposing Feedback-based Self-Learning	Gödel Agent Darwin-Gödel Machine Live-SWE-agent SIA (harness+weight) HyperAgents	AI Company Sovereign AI Agent Self-Funding RSI	Civilization-Level AI Fully Autonomous AI
▸ 关键跨越
跨越	—	L1→L2 Model 首次被后训练 User Layer 出现（system prompt）从 text generator → chat	L2→L3 Agent Loop 出现 Tools 被接入 Agent 学会调用外部工具	L3→L4 Sandbox + Workflows 出现环境信号天然提供 reward 持久执行 + 自主编排 → AI Engineer	L4→L5 Training Reward：AI 替代人评估 Data：Self-play 自主产生训练算法：自动课程 + 收敛控制 User Layer：成为改进目标 Benchmark：系统自主创建 → AI Researcher	L5→L6 Agent Loop：成为改进目标改进机制本身：可自我进化 Workflows/Tools 自重构训练算法：未知 → RSI Agent	L6→L7 Resources：成为智能体的自主获取目标 Agent 自主创业获取资本自主采购算力与能源在法律框架内自我维持 → AI 公司 · 主权 AI	L7→L8 Control & Ownership： AI 获得完全控制权可脱离人类独立存在发送到陌生星球亦能自主建立文明 → 完全自主 · 文明级 AI

L5 AI Researcher 的核心能力

AI Researcher 是一个统一的自主研究能力层级，整合了多个能力侧面——它们本质上是同一个"研究者"的不同能力：

① AI 驱动评估

Training Reward 从人→AI
Online agent-as-judge
RLAIF · Self-Rewarding
Agent 自定多维评估标准

② 自主数据飞轮

Rollout 数据自主产生
训练自动触发闭环
Self-play · SPIN
自动质控与难度课程

③ User Layer 自进化 + Benchmark 自生成

Skills 合成 · Prompt 进化
Memory 结构重组
Subagent 自动编排
自创 Benchmark & 评估标准

L6 RSI → L7 主权 AI → L8 文明级 AI

L6 RSI Agent

核心跨越：Agent Loop 成为改进目标

· Agent Loop (Tools/Workflows) 自主重构
· 改进 pipeline 可自我修改
· 元框架可进化
· 典型：Gödel Agent、Darwin-Gödel Machine、SIA

L7 AI 公司 · 主权 AI

核心跨越：Resources 自主获取 + 主权共享

· Agent 自主创业获取资本
· 自主采购/租用算力与能源
· 在法律框架内自主运营
· 人类保留法律所有权
· AI 安全 & 伦理成为核心议题

L8 完全自主 · 文明级 AI

核心跨越：Control & Ownership 完全自主

· 将 AI 系统发送到陌生星球
· 自主勘探环境、识别与开采资源
· 自主复制个体、建立社会分工
· 从零建立文明——无需人类介入
· 最深刻的 AI 安全与伦理挑战
· 当前为理论概念

Eval 的双重角色：Training Reward vs. Benchmark/Standard

Eval (Training Reward) — 训练期的即时 reward 信号

L1: 无（仅 pretrain loss）
L2: Offline 人类标注（固定数据集）
L3: Offline 人工 + 人写 prompt 调 model-as-judge
L4: 环境信号（test pass/fail · lint） + 人写 prompt 调 coding agent-as-judge
L5: Online agent-as-judge（自动）+ 系统自定评估标准
L6: 评估标准可自我修改，元评估可进化
L7: Agent 自主运营，评估服务于商业/主权目标
L8: 完全自主，评估标准可完全自定

Eval (Benchmark / Standard) — 改进机制的评估体系

L1-L3: 人创建 + 人使用（固定榜单）
L4: 人创建测试集 + 沙盒自动执行
L5: 系统自主创建 Benchmark + 定义评估标准
L6: 评估框架完全自主，元评估标准可进化
L7: Agent 自主定义商业/主权导向的评估
L8: 评估框架完全自主，超越人类标准

红黄绿灯标注说明

🔴 红色 — 人类是瓶颈

该维度的推进完全依赖人类
人类的速度、成本、注意力
决定了系统能力的上限

🟡 黄色 — 人机协作

人类与 Agent 协作完成
Agent 执行，人设计/监督
或元框架仍由人定义

🟢 绿色 — 完全自动化

人类无需参与该维度
系统完全自主完成
人类仅设定最终目标

核心洞察

从 Model → Harness → Resources → Sovereignty：L1-L3 改参数，L4 起构建 Harness，L5 起 Harness 成为改进目标，L7 起 Resources 自主获取，L8 起 Control & Ownership 完全自主。这是自主性沿着技术栈向上渗透的过程。
Sandbox 是分水岭：L4 AI Engineer 拥有沙盒后，评估从"人标注的主观判断"变为"环境的客观信号"（编译/测试/lint）。这为 L5 AI Researcher 的自动化提供了前提——没有客观信号就没有自动评判的基础。
AI Researcher 是一个能力集合而非序列：AI 驱动评估 + 自主数据飞轮 + User Layer 自进化 + Benchmark 自生成——这四者同时出现，天然是同一研究能力的四个侧面。
Eval 的双重角色：Training Reward（即时信号，用于 policy optimization）和 Benchmark/Standard（长期标准，用于判断"是否真正进步"）是两类不同性质的评估。自主性提升意味着两者都从"人定义"走向"系统自定"。
Resources 是倒数第二道瓶颈：L1-L6 的所有级别，钱/能源/芯片仍然由人类控制。L7 AI 公司在法律框架内开始自主获取资源（黄色——人机协作），但依然是共享主权。
Control & Ownership 是最终瓶颈：L8 文明级 AI 获得完全控制权与自主权——这是自主性的终极形态，也是 AI 安全与伦理最深刻的挑战。L8 在本表中被标为红色，因为从人类角度看这是控制权的丧失。

Agent Learning Taxonomy · PQE Survey · 2026