Breezedeus.com

随着人工智能技术的飞速发展，AI Agent 在处理复杂任务方面的能力日益增强。然而，要充分发挥其潜力，优化是不可或缺的一环。本文将综合分析多篇前沿文章，提炼出 AI Agent 中行之有效的优化手段，涵盖Prompt 工程、上下文工程、工具设计、控制循环与架构以及评估与适应等方面，旨在为构建更高效、更稳定的智能体提供指导。

1. Prompt 工程：塑造智能体的“思维模式”

Prompt 工程是引导 LLM 行为的关键技术，尤其是在构建复杂 Agent 时。

1.1 系统 Prompt 优化

清晰简洁的语言：系统 Prompt 应该非常清晰，使用简单、直接的语言，以“恰当的高度”呈现思想，既要足够具体以有效指导行为，又要足够灵活以提供强大的启发式方法 [4]。

在光谱的一端，我们看到脆弱的 if-else 硬编码提示，在另一端，我们看到过于笼统或错误地假设共享上下文的提示。

结构化 Prompt：建议将 Prompt 组织成不同的部分（如、、## Tool guidance、## Output description 等），并使用 XML 标签或 Markdown 标题来划分这些部分 [4]。

尽量用最少的话术列出对模型的所有预期：最佳做法是先用可用的最佳模型测试初版包含所有预期的最少话术的 prompt，以查看其在任务上的表现，然后根据初始测试中发现的失效模式添加清晰的指令和示例来改进性能。

详细的启发式规则和示例：Prompt 中应包含详细的启发式规则、示例和重要提醒，例如使用和来明确区分可取和不可取的行为路径 [3]。

团队通常会往提示中塞满各种边缘情况，试图阐明 LLM 在特定任务中应遵循的每一种可能规则。不推荐这样做。相反，建议提供一组多样化、规范化的示例，这些示例能够有效地展现代理的预期行为。对于 LLM 来说，示例就是胜“千言万语”的“图片”（the “pictures” worth a thousand words）。

用户上下文和偏好管理：可以使用 claude.md 或类似文件来传递无法从代码库推断的上下文和严格偏好，例如强制 LLM 跳过某些文件夹或使用特定库 [3]。

1.2 LLM 搜索优于 RAG 搜索

在某些场景下，直接利用 LLM 的代码理解能力进行搜索可能优于传统的 RAG（Retrieval-Augmented Generation）方法 [3]：

利用 LLM 理解代码：Claude Code 通过复杂的 ripgrep、jq 和 find 命令搜索代码库，利用 LLM 对代码的深刻理解，使用复杂的正则表达式查找相关代码块，甚至使用小型模型读取整个文件。这种方法避免了 RAG 引入的新的（隐藏的）故障模式 [3]。

1.3 可控性与行为引导

有效引导 AI Agent 的行为，使其符合预期，是 Prompt 工程的重要组成部分 [3]：

明确的语气和风格控制：在系统 Prompt 中明确定义 Agent 的语气、风格和主动性，并提供具体的指令和示例。这有助于 Agent 在交互中展现出一致且合宜的行为 [3]。

示例：避免不必要的前言或后语，除非用户明确要求；如果无法提供帮助，不要解释原因或可能导致的后果，以免显得说教；除非用户明确要求，否则避免使用表情符号 [3]。

强调式指令：使用“IMPORTANT”、“VERY IMPORTANT”、“NEVER”和“ALWAYS”等强调词来引导模型避免特定行为或强制执行关键规则。这在模型尚未完全可控时尤为重要 [3]。

示例：IMPORTANT: DO NOT ADD ***ANY*** COMMENTS unless asked；VERY IMPORTANT: You MUST avoid using search commands like find and grep. Instead use Grep, Glob, or Task to search. [3]。

编写清晰的决策算法：识别 LLM 需要执行的最重要任务，并为其编写清晰的算法。通过角色扮演 LLM 并遍历示例，明确所有决策点，并以流程图的形式进行结构化。这有助于 LLM 遵循指令，避免“一锅粥”式的 Do's and Don'ts 列表，从而减少冲突和提高可维护性 [3]。

Claude Code 的系统 Prompt 中，“Task Management”、“Doing Tasks”和“Tool Usage Policy”等部分清晰地阐述了要遵循的算法，并包含大量启发式规则和各种场景示例 [3]。

2 上下文工程：精细化管理智能体的“记忆”

上下文是 AI Agent 进行决策和行动的基础，对其进行高效管理是优化的核心。上下文工程超越了传统的 Prompt 工程，它关注在 LLM 推理过程中如何策划和维护最佳的 token 集合，以持续实现预期结果 [4]。

2.1 KV-cache 命中率优化

KV-cache（Key-Value Cache）的有效利用对提高 LLM 的运行效率至关重要。优化策略包括：

保持 Prompt 前缀稳定：LLM 的自回归特性意味着即使是单个 token 的差异也会使缓存失效。避免在系统 Prompt 开头包含精确到秒的时间戳等易变信息 [1]。

上下文追加模式：避免修改历史动作或观察结果，确保序列化过程的确定性，以维持缓存的有效性 [1]。

明确标记缓存断点：对于不支持自动增量前缀缓存的模型或推理框架，需要手动插入缓存断点，并确保断点包含系统 Prompt 的末尾 [1]。

2.2 上下文长度管理与外部化记忆

现代 LLM 拥有巨大的上下文窗口，但过长的上下文仍可能导致性能下降和成本增加。上下文腐烂（Context Rot）现象表明，随着上下文长度的增加，模型回忆信息的能力会降低 [4]。因此，有效的上下文管理至关重要：

文件系统作为外部化记忆：将文件系统视为无限大小、持久化的外部记忆，允许模型按需读写文件，将其作为结构化的外部化记忆使用 [1]。

可恢复的压缩策略：在缩短上下文长度时，采用可恢复的压缩策略，例如仅保留网页 URL 而非完整内容，或保留文档路径而非完整文档内容，从而在不永久丢失信息的情况下减少上下文 [1]。

2.3 注意力机制操纵

Manus 通过持续重写待办事项列表，把目标复述到上下文末尾。这样能让全局计划处于模型当前关注范围内，避免出现 “中途迷失” 的问题，减少目标不一致的状况。实际上，这是借助自然语言将自身关注点引向任务目标，而无需对架构进行特殊改动。

动态重写待办事项列表：通过不断更新和重写待办事项列表（todo list），将全局计划推入模型的近期注意力范围，减少目标偏差 [1, 3]。

2.4 上下文检索与 Agentic 搜索

Agentic 搜索强调 Agent 自主地检索和加载上下文，而非预先处理所有相关数据 [4]：

“即时”上下文（“just in time”）策略：Agent 维护轻量级标识符（如文件路径、存储的查询、网页链接等），并使用工具在运行时动态加载数据到上下文中。例如，Claude Code 使用此方法对大型数据库进行复杂数据分析，模型可以编写有针对性的查询、存储结果，并利用 Bash 命令（如 head 和 tail）分析大量数据，而无需将完整数据对象加载到上下文中 [4]。

元数据利用：引用（如文件路径）的元数据提供了有效细化行为的机制。文件系统中的文件夹层级、命名约定和时间戳等都提供了重要的信号，帮助 Agent 理解何时以及如何利用信息 [4]。

渐进式信息披露：允许 Agent 通过探索逐步发现相关上下文。每次交互都会产生上下文，为下一个决策提供信息。Agent 可以逐层构建理解，只在工作记忆中保留必要的信息，并利用笔记策略进行额外持久化 [4]。

混合策略：在某些情况下，最有效的 Agent 可能会采用混合策略，预先检索部分数据以提高速度，并根据需要自主探索。例如，Claude Code 预先将 CLAUDE.md 文件直接放入上下文中，同时允许通过 glob 和 grep 等原语即时导航环境和检索文件 [4]。

2.5 长周期任务的上下文工程

对于如大型代码库迁移或综合研究项目等需要跨越数十分钟甚至数小时连续工作的长周期任务 (long-horizon tasks)，Agent 必须在超出模型上下文窗口限制的情况下保持连贯性。仅仅等待更大的上下文窗口可能并非长久之计，因为所有尺寸的上下文窗口都可能受到信息污染和相关性问题的困扰。因此，直接解决这些限制的专门技术至关重要 [4]。

与撰写prompt这一离散任务不同，上下文工程是迭代性的，每当决定向模型传递什么内容时，都会进行筛选阶段。

2.5.1 上下文压缩 (Compaction)

上下文压缩是在对话接近上下文窗口限制时，通过对内容进行总结，并用该总结重新启动一个新上下文窗口的做法。这是提高长期连贯性的首要手段。其核心在于以高保真度提炼上下文内容，使 Agent 能够以最小的性能衰减继续执行任务 [4]。

实现方式：在 Claude Code 中，这一过程通过将消息历史传递给模型以总结和压缩最关键的细节来实现。模型会保留架构决策、未解决的错误和实现细节，同时丢弃冗余的工具输出或消息。随后，Agent 可以带着这个压缩后的上下文以及最近访问的五个文件继续工作，从而在不受上下文窗口限制的情况下保持工作的连续性 [4]。

优化的艺术：压缩的难点在于精确选择保留与丢弃的内容。过于激进的压缩可能导致丢失那些重要性在后期才显现的微妙但关键的上下文。因此，在实现压缩系统时，建议在复杂的 Agent 轨迹上仔细调整 Prompt。应从最大化召回率开始，确保压缩 Prompt 捕获到轨迹中的每一条相关信息，然后通过消除多余内容来迭代提高其精确度 [4]。

轻量级压缩：一种最安全、最轻量级的压缩形式是工具结果清理。一旦某个工具在消息历史的深处被调用过，Agent 通常不再需要看到其原始结果。清除这些结果可以有效减少上下文占用 [4]。

2.5.2 结构化笔记 (Structured Note-taking)

结构化笔记，或称智能体记忆 (agentic memory)，是一种让 Agent 定期将笔记持久化到上下文窗口之外的内存中的技术。这些笔记可以在后续的某个时间点被重新拉取到上下文中。这种策略以最小的开销提供了持久化记忆 [4]。

简单模式：像 Claude Code 创建待办事项列表，或让自定义 Agent 维护一个 NOTES.md 文件一样，这种简单的模式允许 Agent 跟踪复杂任务的进展，保持那些在数十次工具调用中可能丢失的关键上下文和依赖关系 [4]。

2.5.3 子智能体架构 (Sub-agent Architectures)

子智能体架构为克服上下文限制提供了另一种途径。它不是让单个 Agent 试图维护整个项目的状态，而是让专门的子智能体在干净的上下文窗口中处理重点任务。主智能体负责协调一个高层计划，而子智能体则执行深入的技术工作或使用工具查找相关信息。每个子智能体可能会进行广泛的探索，使用数万甚至更多的 token，但最终只返回一个浓缩、精炼的工作摘要（通常为1000-2000个 token）[4]。

关注点分离：这种方法实现了清晰的关注点分离——详细的搜索上下文被隔离在子智能体内部，而主导的 Agent 则专注于综合和分析结果。这种模式在处理复杂研究任务时，相比单 Agent 系统显示出显著的性能提升 [4]。

这三种方法各有侧重：上下文压缩适合需要大量来回对话的任务；结构化笔记在具有明确里程碑的迭代开发中表现出色；而子智能体架构则在并行探索能带来巨大收益的复杂研究和分析中大放异彩 [4]。

3. 工具设计与管理：为智能体打造高效“武器库”

工具是 AI Agent 与环境交互的关键接口。工具的设计质量直接影响 Agent 的效能 [2]。

3.1 工具设计原则

选择合适的工具：审慎决定哪些工具需要实现，哪些可以省略 [2]。

建议针对特定的高价值工作流程，精心打造一些适用的工具，使其与评估任务相匹配，再以此为基础逐步拓展。就通讯录场景而言，可以考虑实现 search_contacts 或 message_contact 工具，而非 list_contacts 工具。
工具可以整合各类功能，在内部处理多个可能离散的操作（或 API 调用）。例如，工具可以利用相关元数据丰富回复内容，或者通过一次工具调用完成频繁串联的多步骤任务。
一些示例：

相较于分别实现 list_users、list_events 和 create_event 工具，不妨考虑实现一个 schedule_event 工具，它既能查找可用时间，又能安排活动。
与其实现 read_logs 工具，不如实现 search_logs 工具，该工具仅返回相关日志行及部分周边上下文。
不要分别实现 get_customer_by_id、list_transactions 和 list_notes 工具，而是实现一个 get_customer_context 工具，它能一次性整合客户所有近期相关信息。

要确保每个构建的工具都有明确且独特的用途。工具应让智能体像人类在拥有相同底层资源时那样，对任务进行细分并解决，同时减少因中间输出而消耗的上下文。
工具太多或其功能重叠，可能会干扰智能体采用高效策略。因此，认真且有针对性地规划要构建（或不构建）的工具，会带来显著成效。

工具命名空间：为工具定义清晰的功能边界，避免混淆 [2]。

通过设置命名空间（把相关工具归到相同前缀下），有助于在众多工具间明确界限，MCP 客户端有时会默认这么做。比如，按照服务（像 asana_search、jira_search）和资源（例如 asana_projects_search、asana_users_search）对工具进行命名空间划分，能帮助智能体在合适的时机选择合适的工具。
选择基于前缀或后缀的命名空间方式，会对工具使用评估产生不可忽视的影响。而且不同的 LLM 受影响的情况各异，所以建议根据自身评估结果来选择命名方案。
智能体可能会出现调用工具错误、用错参数调用正确工具、调用工具数量不足，或者错误处理工具回复等问题。实现工具时有针对性地设置它们的名称体现任务的自然区分，这样既能减少加载到智能体上下文中的工具数量和描述信息，还能把智能体计算的工作从上下文转移到工具调用本身，从而降低智能体犯错的整体风险。

返回有意义的上下文：工具的输出应向 Agent 提供简洁且有意义的上下文信息 [2]。

在实现工具时，要注意只向智能体返回关键信息。应更注重上下文的相关性，而非追求灵活性，同时避免使用底层技术标识符（比如 uuid、256px_image_url、mime_type 等）。像 name、image_url 和 file_type 这类字段，更有助于直接引导智能体开展后续行动并做出回复。
相较于晦涩的标识符，智能体处理自然语言命名、术语或标识符时，往往更加得心应手。仅需将随意的字母数字 UUID 转换为语义更清晰、更易解读的表述（甚至只是采用从 0 开始编号的 ID 方案），就能减少幻觉现象，显著提升 Claude 在检索任务中的精准度。
在某些情形下，若只是为了触发后续工具调用（例如 search_user (name=’jane’) → send_message (id=12345) ），智能体可能既需要与自然语言输出交互，也需要与技术标识符输出交互的灵活性。可以在工具中设置一个简单的 response_format 枚举参数，让智能体能够选择工具返回 “concise” 还是 “detailed” 的回复（如下所示）。

甚至工具的回复结构，如 XML、JSON 或 Markdown 等，都会对评估性能产生影响，不存在一种适用于所有情况的解决方案。最佳回复结构会因任务和智能体的不同而差异巨大。建议根据自身评估情况，选择最合适的回复结构。

优化工具回复的 token 效率：减少工具回复的 token 数量，以降低成本并提高处理速度 [2]。

Prompt Engineering 工具描述和规范：精心设计工具的描述和规范，使其更易于 Agent 理解和使用 [2]。

编写工具描述和规格时，不妨设想一下如何给团队新成员介绍该工具。思考那些可能默认提及的上下文信息，比如专业的查询格式、特定术语的定义、底层资源间的关系等，并将它们清晰呈现出来。要通过清楚描述（并借助严格的数据模型加以规范）预期的输入与输出，避免出现模糊不清的情况。尤其要注意，输入参数的命名务必清晰准确，比如别用 user 这样的参数名，改用 user_id 会更好。
利用数据集评估效果，能更确切地衡量提示工程带来的效果。哪怕只是对工具描述做些细微调整，都可能大幅提升性能。

3.2 动态工具选择与约束

避免在迭代过程中动态添加或移除工具，因为这会影响 KV-cache 并可能导致模型混淆 [1]。更优的策略是：

上下文感知的状态机：“状态机” 可理解为 Agent 的 “工具权限开关系统”，它会预先定义不同 “状态”（比如 “浏览网页”“处理文件”“生成报告” 等任务场景），每个状态对应一套 “允许使用的工具列表”。而 “上下文感知” 则是让状态机能实时判断当前处于哪个场景（比如检测到用户需求是 “查天气”，就判定为 “信息检索状态”），进而自动激活对应状态下的工具权限。通过状态机管理工具可用性，例如通过掩码 token logits 来约束动作空间，从而在不修改工具定义的情况下限制 Agent 的选择 [1]。

一致的动作名称前缀：设计具有一致前缀的动作名称（例如，所有浏览器工具以 browser_ 开头），以便于在特定状态下对工具进行分组约束 [1]。

在实际应用中，大多数模型供应商和推理框架都支持某种形式的回复预填充（response prefill）功能，借助该功能，无需修改工具定义就能限制动作空间。函数调用一般有三种模式（这里以 NousResearch 的 Hermes 格式为例）：

自动（Auto）：模型可自行决定是否调用函数。具体通过仅预填充回复前缀来实现：<|im_start|>assistant

必需（Required）：模型必须调用函数，但具体调用选择不受约束。通过预填充到工具调用令牌来实现：<|im_start|>assistant

指定（Specified）：模型必须从特定的函数子集中选择调用。通过预填充到函数名开头来实现：<|im_start|>assistant{"name": “browser_

基于此，可以通过直接屏蔽 token logits 来限制动作选择。Manus 还特意将动作名称设计成具有统一前缀，例如所有与浏览器相关的工具均以 browser_ 开头，命令行工具则以 shell_ 开头。这样一来，无需借助有状态的 logits 处理器，就能轻松保证智能体在特定状态下仅从某一组工具中做出选择。

3.3 工具分层

结合使用不同抽象层次的工具，可以提高 Agent 的灵活性和效率 [3]：

低、中、高层工具结合：例如，低层工具（Bash、Read、Write）、中层工具（Edit、Grep、Glob）和高层工具（Task、WebFetch）。对于频繁使用的操作，可以封装为单独的工具，同时保留通用命令以处理特殊情况 [3]。

详细的工具描述：工具描述应包含详细的 Prompt 和大量示例，系统 Prompt 应包含“何时使用工具”或如何在功能重叠的工具之间进行选择的信息 [3]。

3.4 Agent Skills：构建可组合、可扩展的专业能力

Agent Skills 是 Anthropic 刚发布的一种通过结构化文件和文件夹来构建专业化 Agent 的新方法，它将指令、脚本和资源组织起来，使 Agent 能够动态发现和加载这些能力，从而在特定任务中表现更优 [5]。

一个 Skill 是一个包含 SKILL.md 文件的目录，该文件包含组织好的指令、脚本和资源文件夹，为智能体提供额外的能力。

核心理念：Agent Skills 就像为新员工准备的入职指南，它通过将专业知识打包成可组合的资源，将通用 Agent 转化为满足特定需求的专业 Agent [5]。

渐进式披露（progressive disclosure）：一个 Skill 是一个包含 SKILL.md 文件的目录。SKILL.md 必须以 YAML Frontmatter 开头，包含名称和描述等元数据。这些元数据会在 Agent 启动时预加载到系统 Prompt 中，提供第一层级的渐进式披露。如果 Agent 认为该 Skill 与当前任务相关，它会加载完整的 SKILL.md 到上下文中，这是第二层披露。对于更复杂的 Skill，可以捆绑额外的文件（如 reference.md 或 forms.md），Agent 可以根据需要进一步导航和发现这些文件，实现更深层次的渐进式信息披露 [5]。

可以将更多上下文（通过附加文件）整合到技能中，然后根据系统提示由 Claude 触发。

代码执行能力：Agent Skills 可以包含代码，供 Agent 根据任务性质作为工具执行。大型语言模型在许多任务中表现出色，但某些操作（如排序列表）更适合传统的代码执行，因为代码能提供更高的效率和确定性。例如，一个 PDF Skill 可以包含一个预先编写的 Python 脚本，用于读取 PDF 并提取所有表单字段，Agent 无需将脚本或 PDF 加载到上下文中即可运行，确保了工作流程的一致性和可重复性 [5]。

技能还可以包含代码，Claude 根据任务性质自行决定这些代码是否作为工具被执行。

开发与评估最佳实践：

从评估开始：通过在代表性任务上运行 Agent，识别其能力差距，然后逐步构建 Skill 来弥补这些不足 [5]。
结构化以适应规模：当 SKILL.md 文件变得难以管理时，将其内容拆分为单独的文件。如果某些上下文是互斥的或很少一起使用，分开存放可以减少 token 使用。代码既可以作为可执行工具，也可以作为文档，需要明确 Agent 是直接运行脚本还是将其作为参考加载到上下文中 [5]。
从 Agent 视角思考：监控 Agent 在实际场景中如何使用 Skill，并根据观察结果进行迭代。特别关注 Skill 的名称和描述，因为 Agent 会根据这些信息决定是否触发该 Skill [5]。
与 Claude 迭代：在与 Claude 共同完成任务时，让其捕获成功的路径和常见的错误，并将其转化为 Skill 中可重用的上下文和代码。如果 Agent 在使用 Skill 时偏离轨道，让其自我反思问题所在，这有助于发现 Agent 真正需要的上下文 [5]。

4. 控制循环与架构：构建稳定高效的智能体骨架

Agent 的控制循环和底层架构设计对其稳定性和效率至关重要。

4.1 保持一个主循环

简化架构以提高可调试性：优先考虑可调试性，而不是复杂的、多智能体的系统。例如，Claude Code 采用一个主线程，通过周期性地使用不同类型的 Prompt 来总结 git 历史、合并消息历史或生成 UX 元素。对于分层任务，它通过生成一个不能再生成子智能体的子智能体来处理，其结果作为“工具回复”添加到主消息历史中 [3]。

4.2 使用小型模型

成本效益与效率：对于读取大文件、解析网页、处理 git 历史和总结长对话等操作，超过 50% 的重要 LLM 调用都使用 claude-3-5-haiku 等小型模型。小型模型成本更低，可以大量使用，从而提高整体效率 [3]。

5. 评估与适应：持续改进智能体性能

Agent 的持续改进离不开有效的评估和适应机制。

5.1 原型构建与综合评估

快速原型与本地测试：快速构建工具原型并在本地测试，尤其是在使用 Claude Code 编写工具时，提供详细的文档（如 LLM-friendly 的 llms.txt 文件） [2]。

生成评估任务：创建大量基于真实世界用例的评估任务，避免过于简单或肤浅的“沙盒”环境。强评估任务可能需要多次工具调用 [2]。

系统 Prompt 指导：在评估 Agent 的系统 Prompt 中，指导 Agent 不仅输出结构化的回复块，还要输出推理和反馈块（在工具调用和回复块之前），以触发思维链（CoT）行为 [2]。

避免过度指定或过拟合：允许 Agent 有多种解决任务的有效路径，避免过度指定或过拟合策略 [2]。

5.2 错误恢复与适应

智能体难免会犯错，这并非缺陷，而是客观存在的情况。语言模型可能出现幻觉，环境可能返回错误信息，外部工具也可能运行异常，各种意外的边缘情况随时都可能出现。在多步骤任务中，失败并非个别现象，而是任务循环中的常见环节。

根据经验，改进智能体行为的一个极为有效的方法，实则相当简单：把错误的步骤保留在上下文当中。当模型看到某个动作失败，以及随之产生的观察结果或堆栈跟踪信息时，会不自觉地更新其内部认知。这会使模型在后续决策中，减少选择类似动作的可能性，从而降低重复犯错的概率。实际上，错误恢复能力是衡量智能体是否具备真正智能行为的重要指标之一。

不隐藏错误：将失败的动作和观察结果（如堆栈跟踪）保留在上下文中，让模型通过观察错误隐式更新其内部信念，从而减少重复犯错的可能性。错误恢复是衡量真正 Agentic 行为的关键指标 [1]。

5.3 多样性与泛化

少样本提示是改善大语言模型（LLM）输出的常用方法，但在智能体系统里，它可能会以不易察觉的方式带来负面影响。

语言模型很擅长模仿，会依照上下文中的行为模式进行输出。要是上下文里有大量相似的动作-观察（action-observation）组合，模型就容易遵循这种模式。

在那些需要重复做决策或行动的任务中，这种情况很可能引发问题。比如说，用 Manus 去批量审阅 20 份简历时，智能体经常会形成一种惯性，只是因为在上下文中看到了类似行为，就重复相似的操作。这就可能导致偏离目标、过度泛化，甚至产生幻觉。

要解决这个问题，关键在于增加多样性。Manus 通过在动作和观察中引入少量的结构化变动，像是采用不同的序列化模板、变换措辞，或者在顺序与格式上制造些微干扰。这种适度的随机性能够打破固有模式，调整模型关注的重点。也就是说，别让少样本提示把自己限制住，上下文越单一，智能体就越容易出问题。

避免过度模仿：在 few-shot prompting 中，避免过度模仿导致模型陷入重复模式。通过引入结构化的多样性（如不同的序列化模板、替代措辞、格式噪声）来打破模式，提高模型的泛化能力和鲁棒性 [1]。

结论

AI Agent 的优化是一个多维度、系统性的工程。从巧妙的 Prompt 工程倒精细的上下文管理，从高效的工具设计到稳定的控制循环，再到持续的评估与适应，每一个环节都对 Agent 的最终性能产生深远影响。通过采纳这些优化手段，我们可以构建出更智能、更鲁棒、更具适应性的 AI Agent，从而在现实世界中解决更复杂的挑战。

参考文献

Context Engineering for AI Agents: Lessons from Building Manus

Writing effective tools for AI agents—using AI agents \ Anthropic

Minusx | What makes Claude Code so damn good (and how to recreate that magic in your agent)!?

Effective context engineering for AI agents \ Anthropic

Equipping agents for the real world with Agent Skills \ Anthropic

Mobile-Agent-v3：新的 GUI Agents 开源王者

Sat, 06 Sep 2025 00:00:00 GMT

Home | GitHub | Twitter | Youtube | Bilibili

目录：

[2508.15144] Mobile-Agent-v3: Foundamental Agents for GUI Automation, Alibaba GUI-Owl：端到端的多模态GUI智能体创新一：大规模环境基础设施与自我进化轨迹生产创新二：多样化的基础智能体能力构建创新三：可扩展的环境强化学习与TRPO Mobile-Agent-v3：协同工作的多智能体框架卓越的性能表现 1. 端到端模型性能：GUI-Owl的领先地位 2. 超越专有模型：GUI-Owl-32B的强大实力 3. 消融研究与关键技术贡献结论与展望 AI Agents 知识星球

[2508.15144] Mobile-Agent-v3: Foundamental Agents for GUI Automation, Alibaba

https://github.com/X-PLUG/MobileAgent/tree/main/Mobile-Agent-v3，模型开源

阿里巴巴通义实验室的研究团队推出了Mobile-Agent-v3框架及其核心模型GUI-Owl。本文将深入剖析Mobile-Agent-v3背后的创新技术和方法，揭示其如何成为GUI自动化领域的革新力量。

GUI-Owl：端到端的多模态GUI智能体

Mobile-Agent-v3框架的核心是GUI-Owl，一个专为GUI自动化设计的端到端多模态智能体模型。它旨在将UI感知、元素定位（grounding）、复杂推理、任务规划以及最终的动作执行等一系列能力，统一到一个单一的策略网络中，其实就是统一的智能体模型（Agent Model）了。GUI-Owl基于Qwen2.5-VL模型进行微调，并通过海量且多样化的GUI交互数据进行后训练，使其能够无缝地与各种操作系统（包括移动端的Android、PC端的Ubuntu、macOS和Windows）上的图形用户界面进行交互。这使得GUI-Owl不仅能够自主执行多轮GUI交互任务，还能泛化到诸如问答、图像描述、任务规划和元素定位等特定应用场景。

GUI-Owl的强大之处在于其能够像人类一样，通过观察屏幕截图（当前环境观察）和回顾历史操作，来理解当前状态并决定下一步的行动（采用 Qwen 的函数调用格式）。在每个决策步骤中，模型会从预定义的动作空间中选择最合适的动作。值得一提的是，为了提升模型的适应性和处理复杂任务的能力，GUI-Owl在执行任何实际动作之前，都会先进行“推理”（Reasoning）。这种显式的推理过程，使得模型能够更好地适应动态和复杂的GUI环境。同时，为了避免对话历史过长，模型还会生成一个简洁的“结论”来概括当前步骤的关键信息，并将其存储在历史上下文中，确保了长期交互的效率。最终，GUI-Owl输出的抽象动作会被翻译成具体的设备操作命令，例如针对Android设备的ADB命令，或针对桌面环境的pyautogui代码，从而实现对GUI的精准控制。

GUI-Owl的另一个重要特性是其在多智能体框架中的灵活性。它不仅可以作为一个独立的智能体完成任务，还可以作为Mobile-Agent-v3框架中的一个专业模块，与其他智能体协同工作，共同解决更复杂、更长期的自动化工作流。这种模块化和协作能力，为构建更高级的GUI自动化系统提供了可能。

创新一：大规模环境基础设施与自我进化轨迹生产

传统的GUI自动化数据收集往往依赖于耗时耗力的人工标注，这极大地限制了模型训练的规模和多样性。Mobile-Agent-v3团队为了解决这一瓶颈，构建了一个大规模环境基础设施，并在此基础上提出了Self-Evolving GUI Trajectory Production（自我进化GUI轨迹生产）框架。这一创新是Mobile-Agent-v3能够实现高性能的关键之一。

该基础设施充分利用了云计算的优势，在阿里云上部署了大量的云手机和云计算机，从而能够模拟并支持Android、Ubuntu、macOS和Windows等多种主流操作系统环境。这意味着研究人员可以在一个高度可控且动态变化的虚拟环境中，进行大规模的GUI交互数据收集和模型训练，极大地提升了实验效率和数据多样性。

自我进化GUI轨迹生产pipeline是这一基础设施的核心。它通过一个精巧的自动化流程，实现了高质量交互数据的持续生成和优化，具体包括以下四个关键环节：

高质量查询生成（High-quality Query Generation）：系统能够模拟真实用户的行为模式，自动生成多样化且具有挑战性的交互查询。这些查询旨在覆盖各种复杂的GUI操作场景，例如特定应用程序内的多步骤任务、跨应用程序的协作任务，以及需要复杂逻辑判断的场景。通过精细设计的查询模板和生成策略，确保了生成数据的广度和深度。

模型试运行（Model Rollouts）：在虚拟环境中，GUI-Owl和Mobile-Agent-v3会根据生成的查询进行实际操作，产生一系列的交互轨迹。这个过程是全自动的，模型会尝试完成任务，并记录下每一步的观察（屏幕截图）和执行的动作。这些轨迹包含了模型在不同场景下的决策过程和执行结果，是后续数据处理的基础。

严格的正确性判断（Rigorous Correctness Judgment）：系统内置了强大的评估机制，能够对生成的轨迹进行严格的正确性判断。这不仅仅是简单的任务成功与否的判断，还包括对轨迹的效率、合理性以及是否符合预期行为的评估。只有高质量、符合预期的交互数据才会被纳入训练集，从而避免了低质量数据对模型性能的负面影响。这种机制有效地过滤了无效或错误的轨迹，保证了数据质量。

特定查询指导生成（Query-specific Guidance Generation）：该模块借助成功的轨迹创建引导，以提高模型性能。这一过程包含以下步骤：(1) 动作描述：VLM 依据参考轨迹，针对每个动作的结果生成描述。其输入包括动作前后的屏幕截图以及动作决策。对于基于坐标的动作，作者会突出交互点，帮助 VLM 进行分析。(2) 质量控制：针对模型生成的轨迹，VLM 会参照模型的决策依据，验证步骤的有效性，筛选掉次优动作。(3) 引导合成：将动作描述串联起来，输入到 LLM 中，由该模型总结完成查询所需的关键步骤，进而生成特定查询引导。这些指导可以帮助模型更好地理解任务，并在后续的试运行中生成更优的轨迹。例如，当模型在某个特定步骤陷入困境时，系统可以提供额外的提示或示范，引导模型走出困境，从而生成更完整的成功轨迹。

这种“自我进化”的机制形成了一个强大的正反馈循环：模型生成数据，数据反哺模型，模型能力提升后又能生成更高质量的数据。这不仅显著减少了对人工标注的依赖，还使得Mobile-Agent-v3能够持续地学习和适应新的GUI环境和任务，从而在不断变化的应用场景中保持领先地位。这种数据生成范式对于解决GUI自动化领域长期存在的数据稀缺问题具有重要意义。

创新二：多样化的基础智能体能力构建

GUI-Owl 不仅能作为原生智能体，独立与 GUI 进行交互，还提供多种基础能力，以支持下游的独立调用，或集成到多智能体框架中。为此，作者收集并构建了各类能力（如定位（grounding）、图像 caption 和 planning）的数据集。在训练过程中，这些数据集会与通用指令数据混合。作者发现，该模型不仅具备零样本 GUI 问答能力，还能针对未见任务，具备通用的指令遵循能力。

为了使GUI-Owl具备更强大的泛化能力和适应性，研究团队在数据构建方面下足了功夫，引入了多个下游数据构建pipeline，旨在全面提升智能体的基础UI能力。这些能力是GUI-Owl能够理解复杂GUI环境并执行精细操作的基石。

UI元素定位（Grounding）pipeline：

目标：使GUI-Owl能够精确识别和定位屏幕上的任何UI元素，无论是基于其功能（如“提交按钮”）、外观（如“蓝色方框”）还是布局（如“左上角的图标”）。

实现细节：通过构建包含大量UI元素及其对应位置、属性信息的数据集，训练模型将自然语言描述与屏幕上的视觉元素进行关联。这包括对按钮、文本框、图片、链接等各种UI组件的精确识别和边界框定位。此外，还支持细粒度的单词/字符定位，这意味着模型不仅能识别一个按钮，还能识别按钮上的具体文字，这对于需要精确文本交互的任务至关重要。

重要性：精确的定位能力是GUI自动化的基础，没有它，智能体就无法知道要操作哪个元素，也无法理解界面上各个组件的含义。

任务规划（Task Planning）pipeline：

目标：让GUI-Owl能够将复杂、长期的任务分解为一系列可执行的子步骤，并理解这些步骤之间的逻辑关系，从而实现高效的任务完成。

实现细节：研究团队从大量的成功历史轨迹中提炼出程序化知识，并结合LLM的强大推理能力，构建了任务规划数据集。这些数据包含了从高层任务目标到具体操作序列的映射，例如“预订机票”可能被分解为“打开订票应用”、“选择出发地和目的地”、“选择日期”、“选择航班”等一系列子任务。这使得模型能够学习到在不同场景下完成任务的最佳路径和策略，即使面对跨应用程序协作（如从邮件中提取信息并在浏览器中搜索）的任务也能有效应对。

重要性：规划能力是智能体处理复杂任务的关键，它决定了智能体能否高效、准确地完成多步骤操作，尤其是在需要多轮交互和状态转换的场景下。

动作语义（Action Semantics）pipeline：

目标：使GUI-Owl能够理解其执行的每个动作所带来的界面变化和潜在影响，从而形成对环境的深刻理解。

实现细节：通过捕捉动作执行前后的UI观察（屏幕截图），模型学习动作与状态转换之间的因果关系。例如，点击一个按钮后，界面可能会出现新的弹窗、内容更新、页面跳转等变化，模型需要理解这种变化是由于其点击动作引起的，并能预测不同动作可能导致的结果。这有助于模型建立一个内部的世界模型，从而进行更深层次的推理和反思。

重要性：理解动作语义有助于模型进行更深层次的推理和反思，从而避免无效操作，并在出现错误时进行自我纠正，提升了智能体的鲁棒性和适应性。

除了上述三种核心能力，研究团队还特别关注了推理与反思（Reasoning and Reflecting）能力的构建。他们通过多种数据合成技术，如离线提示引导拒绝采样（offline hint-guided rejection sampling）、从多智能体框架中蒸馏知识（distillation from a multi-agent framework）以及迭代在线拒绝采样（iterative online rejection sampling），来生成丰富的推理和反思数据。这种监督机制使得GUI-Owl不仅能够进行独立的逻辑推理，还能在Mobile-Agent-v3这样的多智能体框架中，与其他智能体进行复杂的协作推理，并根据其在框架中扮演的角色调整其推理风格。这极大地增强了GUI-Owl在面对未知或复杂情况时的适应性和鲁棒性，使其能够处理更具挑战性的开放式任务。

创新三：可扩展的环境强化学习与TRPO

为了进一步提升GUI-Owl在真实世界GUI自动化任务中的表现，研究团队引入了强化学习技术。他们开发了一个高度可扩展的训练框架，其核心在于一个统一的多任务训练接口，该接口能够标准化单轮推理任务和多轮智能体任务之间的交互。这一设计使得模型能够在一个统一的范式下学习不同复杂度的任务。

该框架的一个关键创新是将经验生成与策略更新解耦。这意味着模型在与环境交互生成经验（即操作轨迹）的同时，可以独立地进行策略更新。这种解耦提供了对策略遵循的细粒度控制，使得训练过程更加灵活和高效。更重要的是，这种设计支持完全异步训练，极大地加速了训练过程，并能更好地将模型的决策与实际用户在真实世界中的使用习惯对齐，从而提升了模型的实用性和泛化能力。

在强化学习领域，处理长且可变长度的动作序列一直是一个挑战，尤其是在在线环境中。传统的强化学习方法在处理稀疏和延迟奖励时往往效率低下。为了解决这一问题，论文引入了轨迹感知相对策略优化（Trajectory-aware Relative Policy Optimization, TRPO）。

其中，为批次中 token 的总数，是轨迹的轨迹级优势，而是当前策略与旧策略下一个 token 的概率比。这种经过裁剪的目标函数，在稳定训练的同时，能够有效利用整体轨迹级奖励信号，以应对长期的 GUI 自动化任务。

TRPO是一种新颖的强化学习算法，它具有以下特点：

轨迹级别奖励（Trajectory-level Rewards）：TRPO不再仅仅关注单个时间步的奖励，而是利用整个轨迹的奖励信息来计算每个时间步的优势（advantage）。具体来说，它使用轨迹的准确性和格式奖励之和来计算一个归一化的优势估计，并将这个优势均匀地分配给轨迹中的每一个动作。这种全局视角使得模型能够更好地理解长期行为对最终结果的影响，从而做出更明智的决策，尤其是在GUI自动化这种任务成功往往需要一系列正确操作的场景中。

重放缓冲区（Replay Buffer）：为了提高强化学习的稳定性和数据利用效率，TRPO采用了重放缓冲区。它将历史上成功的轨迹存储起来，并在训练过程中随机采样这些经验进行学习。这有助于打破数据之间的相关性，减少训练过程中的方差，并使得模型能够从更广泛的经验中学习，从而加速收敛并提高策略的稳定性。

策略优化目标：对于高分辨率的GUI屏幕截图，完整的轨迹会被分割成单步数据实例用于策略更新。损失函数会根据原始轨迹中的总步数进行缩放，以平衡优化过程。这种细致的优化策略确保了模型在处理复杂视觉信息和长序列操作时的有效性。

通过TRPO，GUI-Owl能够更有效地从实际交互中学习和优化其行为策略，尤其是在面对那些需要一系列复杂、连续操作才能完成的GUI自动化任务时。这种强大的强化学习能力，使得Mobile-Agent-v3在处理真实世界中的动态和不确定性方面表现出色，为构建鲁棒的GUI智能体提供了坚实的技术支撑。

Mobile-Agent-v3：协同工作的多智能体框架

Mobile-Agent-v3不仅仅是一个单一的GUI-Owl模型，它更是一个精巧设计的多智能体框架，通过协调多个专门的智能体来进一步提升GUI-Owl的性能，以应对更复杂、更长期的自动化工作流。这个框架将复杂的任务分解给不同的智能体，每个智能体各司其职，并通过协作机制共同完成目标。

Mobile-Agent-v3框架主要由以下四个核心智能体组成：

管理智能体（Manager Agent, M）：

角色：战略规划者。

职责：负责将用户给定的高层指令分解为一系列有序的子目标列表。它利用外部知识（通过检索增强生成RAG模块，例如使用维基百科、搜索引擎和用户提供的文档）来获取相关信息，并动态地根据执行结果和反馈更新规划。这意味着Manager Agent能够根据任务的进展和遇到的问题，灵活调整后续的步骤，确保任务能够顺利进行。

工作智能体（Worker Agent, W）：

角色：战术执行者。

职责：根据Manager Agent提供的子目标，结合当前的GUI状态、历史反馈和累积的笔记，选择并执行最相关的可操作子目标。它会生成一个动作元组，其中包含其思考过程（thought）、具体的动作命令（action command）以及对当前步骤的总结（summary）。Worker Agent是直接与GUI环境交互并执行操作的智能体，它将GUI-Owl的能力转化为实际的GUI操作。

反思智能体（Reflector Agent, R）：

角色：自我纠正机制。

职责：负责评估Worker Agent执行动作后的结果。它会比较Worker Agent预期的结果与实际的界面状态变化，将结果分类为成功、中立或有害，并生成详细的因果反馈。Reflector Agent的关键作用在于提供实时的、有指导性的反馈，帮助系统识别并纠正错误，从而提升整体的鲁棒性和学习效率。

笔记智能体（Notetaker Agent, C）：

角色：持久化上下文记忆维护者。

职责：仅在Reflector Agent判断为成功或中立时被触发。它负责从当前屏幕中提取并存储关键元素作为笔记，从而维护一个持续的上下文记忆。这些累积的记忆（包括关键UI元素、任务进展等）将支持Manager Agent未来的规划和Worker Agent的执行，避免重复探索和遗忘关键信息。

Mobile-Agent-v3框架以一个循环的方式运作：从用户指令开始，Manager Agent初始化规划，然后Worker Agent执行动作，Reflector Agent评估结果，Notetaker Agent更新记忆，最后Manager Agent根据反馈更新规划，直到任务完成或达到预设的停止条件。这种精巧的多智能体协作机制，使得Mobile-Agent-v3能够处理单一智能体难以完成的复杂、长周期和需要持续适应的任务，展现了多智能体系统在GUI自动化领域的巨大潜力。

卓越的性能表现

Mobile-Agent-v3框架及其核心模型GUI-Owl在多个主流GUI自动化基准测试中展现了卓越的性能，证明了其作为基础智能体的强大能力。这些基准测试全面评估了GUI-Owl在UI元素定位、单步决策、通用问答以及在线环境交互等方面的能力。论文通过一系列实验，不仅验证了GUI-Owl和Mobile-Agent-v3的有效性，还深入分析了各项创新技术对性能的贡献。

1. 端到端模型性能：GUI-Owl的领先地位

GUI-Owl作为端到端的多模态GUI智能体，在多个开放源代码模型中取得了新的SOTA（State-of-the-Art）性能。论文主要在以下两个关键基准上进行了评估：

AndroidWorld：这是一个针对Android移动设备GUI自动化任务的基准。GUI-Owl-7B模型在此基准上取得了66.4%的成功率，显著超越了同等规模的其他开源模型。

OSWorld：这是一个涵盖桌面操作系统（如Ubuntu、macOS、Windows）GUI自动化任务的基准。GUI-Owl-7B在此基准上取得了29.4%的成功率，同样表现出强大的泛化能力。

值得注意的是，当GUI-Owl与Mobile-Agent-v3框架结合时，其性能得到了进一步的显著提升：

在AndroidWorld上，成功率提升至73.3%。

在OSWorld上，成功率提升至37.7%。

这充分证明了Mobile-Agent-v3多智能体框架在复杂任务协调和执行方面的强大增益效果，使得GUI-Owl能够更好地发挥其潜力。

2. 超越专有模型：GUI-Owl-32B的强大实力

除了与开源模型的对比，论文还展示了GUI-Owl-32B（更大规模的模型）在性能上甚至超越了一些强大的专有模型，这在GUI自动化领域是一个里程碑式的成就：

MMBench-GUI：这是一个综合性的GUI理解和交互基准。GUI-Owl-32B在此基准上表现出色，其性能优于包括GPT-4o和Claude 3.7在内的所有模型。

AndroidControl：这是一个专注于Android设备控制的基准。GUI-Owl-32B同样在此基准上取得了领先地位，再次证明了其在复杂移动GUI操作上的卓越能力。

UI元素定位能力：在专门的UI元素定位评估中（如ScreenSpot V2/Pro, OSWorld-G, MMBench-GUI L2），GUI-Owl-32B不仅超越了所有同等规模的开源模型，而且与专有模型相比也具有极强的竞争力，这得益于其精细的Groundingpipeline训练。

这些结果表明，GUI-Owl不仅在开源领域树立了新的标杆，也为整个GUI自动化领域带来了新的可能性，证明了通过大规模数据和先进训练方法，开源模型也能达到甚至超越商业闭源模型的性能。

3. 消融研究与关键技术贡献

论文还通过详细的消融研究（Ablation Studies）验证了Mobile-Agent-v3中各项关键技术组件的有效性：

TRPO策略的有效性：实验结果显示，引入轨迹感知相对策略优化（TRPO）策略显著提升了模型在在线环境中的表现。例如，在OSWorld-Verified基准上，TRPO策略将成功率从27.1%提升到了34.9%以上，这强调了其在处理稀疏奖励和长序列动作方面的优势。

在线过滤、重放缓冲区和经验管理：消融研究证实，这些机制对于训练的稳定性和效率至关重要。在线过滤确保了高质量数据的输入，重放缓冲区则有效利用了历史经验，减少了训练过程中的方差，使得模型能够更稳定地学习。

历史图像数量和交互步长预算：实验表明，模型的性能与所使用的历史图像数量以及交互步长预算呈正相关。这意味着提供更丰富的上下文信息和允许更长的交互序列，有助于模型做出更准确的决策。

推理数据合成：论文详细分析了推理数据合成策略（包括离线提示引导拒绝采样、多智能体框架蒸馏和迭代在线拒绝采样）对GUI-Owl推理能力的增益。这些方法共同作用，逐步增强了GUI-Owl的推理能力，使其能够处理更复杂的逻辑和任务。

这些深入的实验分析不仅展示了Mobile-Agent-v3和GUI-Owl的卓越性能，也为未来的GUI自动化研究提供了宝贵的经验和方向，证明了其创新方法在提升智能体能力方面的关键作用。

结论与展望

Mobile-Agent-v3框架及其核心模型GUI-Owl的发布，无疑为GUI自动化领域注入了新的活力。通过其在大规模环境基础设施、多样化的基础智能体能力构建以及可扩展的环境强化学习这三大方面的创新，研究团队不仅提升了GUI智能体的性能上限，更重要的是，为构建能够真正理解并操作复杂GUI环境的通用智能体奠定了坚实的基础。

GUI-Owl作为一个端到端的多模态智能体，其在多平台、多任务上的卓越表现，以及在多智能体框架中的灵活集成能力，预示着GUI自动化将不再局限于简单的重复性任务，而是能够处理更具挑战性、需要复杂推理和规划能力的场景。特别是“自我进化GUI轨迹生产”框架的提出，为高质量、大规模的GUI交互数据收集提供了一条可持续的路径，有望解决长期以来困扰该领域的数据瓶颈问题。

AI Agents 知识星球

GUI Agents 技术发展迅猛，想紧跟 GUI/AI agents 技术前沿？我们的知识星球会介绍 Agents 相关的最新项目和工具，并以视频方式解读最新论文，为你开启技术新视野，快来加入吧！

加入知识星球，每周获取会员专享视频👇

扫码加微信小助手为好友，备注「agent」，小助手会定期邀请入群👇

当前星球包含的专享视频包括：

AI-Agents 中的上下文工程（Context-Engineering）

GUI Agents 最新技术综述（2025）

GUI Agent 最新技术：MONDAY—从视频自动构建 GUI Agents 轨迹数据

GUI Agent 最新技术：InfiGUI-R1—从反应式执行向推理式决策的进阶之路

GUI Agent 最新技术：自动驾驶与具身智能技术能带来哪些启示？

GUI Agent 最新技术：ATLaS—同时提升训练效率和模型泛化性

GUI Agent 技术分享：DigiQ/VEM—使用 RL 提升模型的泛化能力

UI Agent 技术分享： UI-TARS—利用长期记忆和反思调整迭代优化模型

AI Agent 技术分享：Insight-V—探索 VLM 的长链条视觉推理能力

UI Agent 技术分享：PC-Agent—提升模型认知能力以便更好完成复杂任务

UI Agent 技术分享：OS-Genesis—自动合成高质量且多样化的训练数据

UI Agent 技术分享：PAE-通过自动探索新任务不断扩展模型能力

UI Agent 技术分享：Iris-通过自动构造的数据提升模型效果

UI Agent 技术分享：Falcon-UI—利用无监督数据预训练 UI Agent 模型

UI Agent 技术分享：Aguvis-来自 HKU & Salesforce 的大一统训练数据和训练框架

UI Agent 技术分享：ShowUI-当前最好的 UI Agents 开源模型，还适用中文 APP？

UI Agent 技术分享：使用世界模型提升 UI Agents 效果？

UI Agent 技术分享：来自华为诺亚方舟实验室的 LiMAC

UI Agent 技术分享：来自 LG AI Research 的 Auto-Intent

Pix2Text 新版数学公式检测和识别模型：V1.5

Thu, 24 Jul 2025 00:00:00 GMT

目录：

MFD V1.5 模型 MFR V1.5 模型本地使用方式安装使用 P2T 网页版在线 Demo 付费版模型购买购买链接使用说明

Pix2Text (P2T) 识别图片中文字和数学公式，输出对应的文本和 Latex 表达式；其目标是成为 Mathpix 的免费开源 Python 替代工具。Pix2Text 差不多是两年半前发布的初版，当前 GitHub stars 突破了 2500🌟，这是个典型的缓慢积累的项目。

如我之前所说，Pix2Text 是坚持走 小模型+开源的路线，模型大小得保证在一般的 CPU 机器上能跑得动，代码和基础模型都开源，同时也提供精度更高的付费模型供购买后个人或商业使用。Pix2Text 整合了版面分析和表格识别模型，可以识别图片中的版面、表格、图片、文字、数学公式等内容，并整合所有内容后以 Markdown 格式输出。P2T 也可以把一整个 PDF 文件（PDF 的内容可以是扫描图片或者其他任何格式）转换为 Markdown 格式。具体原理说明见 Pix2Text V1.1 新版发布，支持 PDF 转 Markdown。

一年前我发布了新架构的 MFD 和 MFR 模型，它们一直是同体量模型中效果最好的数学公式检测和识别模型。目前 MFR 的开源模型下载量已经超过了 600K，这个数字对我个人来说是个很大的激励。这些模型我称之为 V1.0 版本。

这次新发布的 MFD 和 MFR 模型我称之为 V1.5 版本。接下来介绍下新版本模型的差异点和效果吧。

📌

注意：新发布的模型版本为 V1.5，pix2text Python 库的版本依旧是 V1.1.*。

MFD V1.5 模型

之前的 MFD V1.0 版本模型是基于 yolo8 架构训练得到的检测模型。而新版的 1.5 版本模型使用了新的 yolo11 架构。

同时，我们也增加了检测模型的训练数据，让模型相较于其他开源模型更能适应非标准排版图片（如 PPT，手机拍照图片）。

以下是 MFD 新旧模型的对比：

模型名称	模型架构	模型说明
MFD-1.0 (MFD)	yolov8m	开源
MFD-1.5	yolo11m	开源
MFD-ADVANCED-1.5	yolo11l	知识星球会员专享
MFD-PRO-1.5	yolo11x	付费可购买

各模型参数量如下：

以下是模型在验证集上的效果：

可见，新版的 V1.5（yolo11 系列）模型，相较于 V1.0 模型，效果有较显著的提升。

MFR V1.5 模型

和之前的 MFR 模型（V1.0）一样，MFR V1.5 也包含 MFR-1.5 和 MFR-PRO-1.5 两个模型。

MFR V1.5 使用的模型架构和 V1.0 相同，但训练过程做了以下优化：

V1.0 模型对根号公式图片（如下图）识别效果一般，V1.5 针对此问题做了优化，专门加入了对应的训练数据。

V1.0 模型能识别的最大 tokens 数量为 512，V1.5 模型这个数字提升为 1024，以便更好地识别复杂的多行公式。

V1.5 加入了更多来自真实场景的图片标注数据，进一步提升了模型效果。

以下是各个模型在人工选定的测试数据集上的 CER（字错误率，越小越好）。

由于 LaTeX 表达具有多样性（同样的公式可以使用不同的 LaTeX 表达式渲染得到），我们也对生成结果做了人工评测。对于一个模型结果，只要它渲染成图片后的结果和原始图片相同即视为成功（得分 1.0），否则视为失败（得分 0.0）。以下是不同模型在测试集上的整体得分（得分越高越好）：

由上图可见，相较于 V1.0 的模型，MFR V1.5 的模型效果得到进一步提升。

本地使用方式

安装

如果已安装旧版 pix2text，使用以下命令更新相应的 Python 包：

如果未安装过 pix2text，可以直接使用以下命令安装最新的 pix2text 包即可：

使用

新版 pix2text 默认会使用数学公式检测模型 mfd-1.5 和数学公式识别模型 mfr-1.5：

推理使用时用到的模型文件会自动下载，文件默认从 Huggingface 网站下载。如果没有梯子，请多等待一会，系统会自动切换到 Huggingface 镜像站下载。

P2T 网页版

Pix2Text (P2T) - Free Mathpix Alternative

Use Pix2Text (P2T) to convert math formulas in images to text. Pix2Text is a free alternative to Mathpix that supports math formula recognition, LaTeX rendering, and export to various formats.

https://p2t.breezedeus.com/

所有人都可以免费使用 P2T网页版，每人每天可以免费识别 10000 个字符，正常使用应该够用了。请不要批量调用接口，机器资源有限，批量调用会导致其他人无法使用服务。

受限于机器资源，网页版支持的文本 OCR 语言有限。如果要尝试其他语言上的效果，请使用以下的在线 Demo。

在线 Demo

Pix2Text - a Hugging Face Space by breezedeus

Discover amazing ML apps made by the community

https://huggingface.co/spaces/breezedeus/Pix2Text-Demo

可以使用此 在线 Demo 尝试 P2T 在不同语言上的效果。但在线 Demo 使用的硬件配置较低，速度会较慢。如果是简体中文或者英文图片，建议使用 P2T网页版。

📌

如果无法科学上网，可以访问此地址：https://hf-mirror.com/spaces/breezedeus/Pix2Text-Demo 。

付费版模型购买

购买链接

除免费开源版模型 MFD-1.5 和 MFR-1.5 外，我们也提供了一些 V1.5 的付费版模型。以下是各付费模型的购买链接。购买仅包含模型的 ONNX 版本，不包含 PyTorch 版本。个人购买后的模型仅限个人使用，不可商用，不可开发票。企业购买后可开发票（receipt），使用范围说明具体见对应的购买页面。

识别模型版本	企业购买	个人购买	对星球会员	免费可下载
`MFD-Advanced-1.5`	✖️	✔️ Lemon Squeezy	✔️ 免费获取	✖️
`MFD-Pro-1.5`	✔️ 企业 Pro 版企业 Plus 版	✔️ bilibili 商城 Lemon Squeezy	✔️ 个人购买八折	✖️
`MFR-Pro-1.5`	✔️ 企业 Pro 版企业 Plus 版	✔️ bilibili 商城 Lemon Squeezy	✔️ 个人购买八折	✖️

Pix2Text V1.0+ 包含两种企业版。它们的权益差异见下图。企业 Pro 版 是一次性购买，之后有新模型需要重新购买。企业 Pro 版 只允许企业内部使用或者对外提供免费的服务（如教育机构），不允许对外提供付费服务。企业 Plus 版 购买后一年内可以免费获取所有的新模型。企业 Plus 版 除了提供 Pro 模型外也提供 Plus 版 模型，同时提供所有模型的 PyTorch 版本，企业可以基于这些模型利用自己的数据进行模型精调，或者转换为需要的其他模型格式（如 CoreML等）。企业 Plus版 允许企业对外提供付费服务。

更详细说明请见 模型购买商店（进入商品的详情页有具体说明）。

购买链接见：模型购买商店（进入商品的详情页有具体说明）。

使用说明

首先，请确保你用开源的模型跑通了 Pix2Text，否则你下载完付费模型也跑不起来。详细安装和使用说明看 Pix2Text 项目文档就行。遇到问题可以在这里评论，或者加入群聊与我沟通，但请注意帮你跑通代码不在星主的服务范围之内（参考星球说明）。

通过模型购买商店购买企业 Basic 版后，可以下载模型对应的 2 个压缩文件，其中以 *-mfd- 开头的文件为 MFD（数学公式检测）模型，以*-mfr- 开头的文件为 MFR（数学公式识别）模型。MFD 模型压缩文件解压后会看到一个名为 *-onnx 的文件夹，里面的文件即为模型文件，比如叫 pix2text-mfd-pro-1.5.onnx 。假定文件 pix2text-mfd-pro-1.5.onnx 的路径为 abc/def/mfd-pro-1.5-onnx/pix2text-mfd-pro-1.5.onnx。MFR 模型压缩文件解压后会看到一个名为 mfr-pro-1.5-onnx 的文件夹，其中包含模型文件以及相关的配置文件。假定文件夹 mfr-pro-1.5-onnx 的路径为 abc/def/mfr-pro-1.5-onnx。

那在初始化 Pix2Text 时应该如下传入参数。初始化后的使用方式和开源模型完全一样，检测和识别结果的结构也是一样的。

如果购买的是企业 Pro 订阅版，可以下载的模型文件会更多（当前是 5 个），除了包含 MFR 的 PyTorch 版本外，也会包含 CnOCR（文本 OCR）中的最新付费模型（ONNX 和 PyTorch 版本），它对中英文文本的识别效果比免费模型更好。可以使用如下方式传入对应的模型。

📌

注意：CnOCR 的文本模型只支持英文和简体中文，如果要识别其他语言的文本，请勿使用 CnOCR 模型。只需把上面代码中的 text_config 去掉即可。

Pix2Text Pro V1.5 新模型已部署到 P2T网页版，欢迎免费使用。有问题可以在这里评论，或者加入群聊与我沟通，谢谢。

P2T Detailed Infos

Mon, 26 Feb 2024 00:00:00 GMT

[English] | [中文版]

📖 Docs | 🛠️ Install | 🖥️ Online Service | 🛀🏻 Demo | 💬 Contact

Pix2Text (P2T) aims to be a free and open-source Python alternative to Mathpix, and it can already accomplish Mathpix's core functionality. Pix2Text (P2T) can recognize layouts, tables, images, text, mathematical formulas, and integrate all of these contents into Markdown format. P2T can also convert an entire PDF file (which can contain scanned images or any other format) into Markdown format. The text recognition engine of Pix2Text supports 80+ languages, including English, Simplified Chinese, Traditional Chinese, Vietnamese, etc.

Contents:

Online Service Demo 🤗Documentation Available Models Model Stores Purchasing the Math Formula Detection (MFD) models Purchasing the Math Formula Recognition (MFR) models Usage Instructions After Purchase Code Repo

Pix2Text (P2T) integrates the following models:

Layout Analysis Model: breezedeus/pix2text-layout (Mirror).

Table Recognition Model: breezedeus/pix2text-table-rec (Mirror).

Text Recognition Engine: Supports 80+ languages such as English, Simplified Chinese, Traditional Chinese, Vietnamese, etc. For English and Simplified Chinese recognition, it uses the open-source OCR tool CnOCR, while for other languages, it uses the open-source OCR tool EasyOCR.

Mathematical Formula Detection Model (MFD): breezedeus/pix2text-mfd (Mirror). Implemented based on CnSTD.

Mathematical Formula Recognition Model (MFR): breezedeus/pix2text-mfr (Mirror).

Several models are contributed by other open-source authors, and their contributions are highly appreciated.

For detailed explanations, please refer to the Models.

Online Service

Pix2Text (P2T) - Free Mathpix Alternative

Use Pix2Text (P2T) to convert math formulas in images to text. Pix2Text is a free alternative to Mathpix that supports math formula recognition, LaTeX rendering, and export to various formats.

https://p2t.breezedeus.com/

Everyone can use the P2T Online Service for free, with a daily limit of 10,000 characters per account, which should be sufficient for normal use. Please refrain from bulk API calls, as machine resources are limited, and this could prevent others from accessing the service.

Due to hardware constraints, the Online Service currently only supports Simplified Chinese and English languages. To try the models in other languages, please use the following Online Demo.

Demo 🤗

Pix2Text - a Hugging Face Space by breezedeus

Discover amazing ML apps made by the community

https://huggingface.co/spaces/breezedeus/Pix2Text-Demo

You can also try the Online Demo to see the performance of P2T in various languages. However, the online demo operates on lower hardware specifications and may be slower. For Simplified Chinese or English images, it is recommended to use the P2T Online Service.

Documentation

Pix2Text

Pix2Text Online Documents

https://pix2text.readthedocs.io/

Available Models

P2T includes two kinds of models: Math Formula Detection (MFD) and Math Formula Recognition (MFR). For details, see the project description. By default, P2T uses free open-source models and will automatically download them when in use. Besides the free models, I will continue to optimize the models. The latest models require purchase for downloading and usage. If you are not deploying locally, it's recommended to directly use the P2T Online Service, as the Online Service always utilizes the most recent models.

The current models (both latest) used in the Online Service are:

MFR-Plus/MFR-Pro-1.5

MFD-Pro-1.5

The paid models used in the Online Service perform better than the open-source models. If you need to deploy the P2T service on your own, it's advisable to purchase the same models used in the Online Service.

To thank our Planet Members for their support, all models (only for personal use) are available at a 20% discount for Planet Members. To purchase, add the assistant as a friend, and after arranging payment, the assistant will provide the model files directly. Note: No discounts are offered for the enterprise versions.

Things to note before purchasing:

📌

For personal use, please follow the column “Individual Purchase” of the tables; For business or commercial use, please follow the column “Commercial Purchase” of the tables, or contact the author (Email: breezedeus AT gmail.com).

Model Stores

Model purchases are available at the following two stores:

Store	Description
Bilibili Mall	Only sells models for personal use. Cannot issue invoices.
Lemon Squeezy	Sells models for commercial and personal use. The platform can issue invoices (US-style invoices).

Here are more specific instructions.

Purchasing the Math Formula Detection (MFD) models

Here are the purchase links for different versions. It is recommended to try the Online Demo to verify the model's performance before making a purchase. Each version has a different License; please click the links in the table to view the product details. If you have any issues, you can contact the author. The Enterprise version includes both the MFD and MFR models, so there is no need to buy them separately.

MFD Model Version	Commercial Purchase	Individual Purchase	For Planet Members	Free Download
`MFD-Advanced-1.5`	✖️	✔️ Lemon Squeezy	✔️ Free	✔️
`MFD-Pro-1.5`	✔️ Enterprise Pro Enterprise Plus	✔️ bilibili Lemon Squeezy	✔️ 20% off for personal use from Bilibili	✖️
`mfd-advanced`	✖️	✔️ Lemon Squeezy	✔️ Free	✖️
`mfd-pro`	✔️ Enterprise Pro Enterprise Plus	✔️ Bilibili Lemon Squeezy	✔️ 20% off for personal use from Bilibili	✖️

📌

These models are only compatible with Pix2Text ≥ V1.1.4.

For detailed descriptions, see

Pix2Text New Version of Mathematical Formula Detection and Recognition Models: V1.5.

Pix2Text V1.1.1 New Release, Bringing an Improved Math Formula Detection Model.

Purchasing the Math Formula Recognition (MFR) models

MFR Model Version	Commercial Purchase	Individual Purchase	For Planet Members	Free Download
`MFR-Pro-1.5`	✔️ Enterprise Pro Enterprise Plus	✔️ bilibili Lemon Squeezy	✔️ 20% off for personal use from Bilibili	✖️
`mfr-pro`	✔️ Enterprise Pro	✔️ Bilibili Lemon Squeezy	✔️ 20% off for personal use from Bilibili	✖️
`mfr-plus`	✔️ Enterprise Plus	✖️	✖️	✖️

📌

These models are compatible with both Pix2Text V1.0, V1.1, V1.1.1.

For detailed descriptions, see

Pix2Text New Version of Mathematical Formula Detection and Recognition Models: V1.5.

Pix2Text V1.1.1 New Release, Bringing an Improved Math Formula Detection Model.

Pix2Text V1.1/V1.0 includes two types of enterprise editions. The differences of both are shown in the figure below. The Enterprise Pro Edition is a one-time purchase; new models require a separate purchase. The Enterprise Pro Edition is allowed only for internal corporate use or for providing free services externally (such as educational institutions), and cannot be used for offering paid services. The Enterprise Plus Edition comes with free access to all new models for one year after purchase. The Enterprise Plus Edition not only provides the Pro models but also offers the Plus models. Additionally, it includes PyTorch versions of all models, enabling enterprises to fine-tune the models with their own data or convert them into other required model formats, such as CoreML. The Enterprise Plus Edition permits the provision of paid services.

For more detailed information, please visit the Model Store (specific details are available on the product detail pages).

Usage Instructions After Purchase

After purchasing the Enterprise Pro/Plus Edition through the Model Store, you can download two compressed files related to the models. The file starting with p2t-mfd- is the MFD (Math Formula Detection) model, and the one starting with p2t-mfr- is the MFR (Math Formula Recognition) model. After unzipping the MFD model file, you will find a folder named yolov7-model containing the model file, for example, mfd-yolov7-20230613.pt. Suppose the path to the file p2t-mfr-20230702.pth is abc/def/yolov7-model/p2t-mfr-20230702.pth. After unzipping the MFR model file, you will find a folder named mfr-pro-onnx, which includes the model file and related configuration files. Assume the path to the mfr-pro-onnx folder is abc/def/mfr-pro-onnx.

The usage instructions for the various versions of Pix2Text are as follows (the latest version is recommended always):

Pix2Text New Version of Mathematical Formula Detection and Recognition Models: V1.5.

For more information about P2T V1.1.1, please refer to: Pix2Text V1.1.1 New Release, Bringing an Improved Math Formula Detection Model.

If you are using P2T V1.1, please refer to: Pix2Text V1.1 New Released, now supporting PDF to Markdown conversion .

If you are using P2T V1.0, please refer to: Pix2Text V1.0 New Release: The Best Open-Source Formula Recognition Model .

P2T详细资料

Mon, 26 Feb 2024 00:00:00 GMT

[中文] | [English]

📖 在线文档 | 🛠️ 安装 | 🖥️ 网页版 | 🛀🏻 在线Demo | 💬 交流群

Pix2Text (P2T) 期望成为 Mathpix 的免费开源 Python 替代工具，目前已经可以完成 Mathpix 的核心功能。 Pix2Text (P2T) 可以识别图片中的版面、表格、图片、文字、数学公式等内容，并整合所有内容后以 Markdown 格式输出。P2T 也可以把一整个 PDF 文件（PDF 的内容可以是扫描图片或者其他任何格式）转换为 Markdown 格式。P2T 的文字识别引擎已支持 80+ 种语言，如英文、简体中文、繁体中文、越南语等。

目录：

P2T 网页版在线 Demo 在线文档付费模型模型商店购买数学公式检测（MFD）模型购买数学公式识别（MFR）模型购买后使用说明代码库

Pix2Text 当前整合了以下模型：

版面分析模型：breezedeus/pix2text-layout （国内镜像）。

表格识别模型：breezedeus/pix2text-table-rec （国内镜像）。

文字识别引擎：支持 80+ 种语言，如英文、简体中文、繁体中文、越南语等。其中，英文和简体中文识别使用的是开源 OCR 工具 CnOCR ，其他语言的识别使用的是开源 OCR 工具 EasyOCR 。

数学公式检测模型（MFD）：breezedeus/pix2text-mfd（国内镜像）。基于 CnSTD 实现。

数学公式识别模型（MFR）：breezedeus/pix2text-mfr（国内镜像）。

其中多个模型来自其他开源作者，非常感谢他们的贡献。

具体说明请参考可用模型。

P2T 网页版

Pix2Text (P2T) - Free Mathpix Alternative

Use Pix2Text (P2T) to convert math formulas in images to text. Pix2Text is a free alternative to Mathpix that supports math formula recognition, LaTeX rendering, and export to various formats.

https://p2t.breezedeus.com/

受限于机器资源，网页版当前只支持简体中文和英文，要尝试其他语言上的效果，请使用以下的在线 Demo。

在线 Demo

Pix2Text - a Hugging Face Space by breezedeus

Discover amazing ML apps made by the community

https://huggingface.co/spaces/breezedeus/Pix2Text-Demo

国内镜像（不用梯子，但未必长久可用）：

Pix2Text - a Hugging Face Space by breezedeus

Discover amazing ML apps made by the community

https://hf.qhduan.com/spaces/breezedeus/Pix2Text-Demo

可以使用 在线 Demo 尝试 P2T 在不同语言上的效果。但在线 Demo 使用的硬件配置较低，速度会较慢。如果是简体中文或者英文图片，建议使用 P2T网页版。

在线文档

Pix2Text

Pix2Text Online Documents

https://pix2text.readthedocs.io/

付费模型

P2T 中包含数学公式检测（MFD）和数学公式识别（MFR）两种模型，细节参见项目说明。P2T 默认会使用免费的开源模型，使用时进行自动下载。但免费模型之外，我也会持续优化模型。最新的模型需要购买才可下载使用。如果不做本地部署，建议直接使用 P2T网页版，网页版会一直使用最新的模型。

当前网页版使用了最新的模型：

MFR-Plus/MFR-Pro-1.5

MFD-Pro-1.5

P2T网页版使用的付费模型效果比开源模型好。如果你需要自己部署P2T服务，建议你购买网页版同款模型。

为感谢星球会员的支持，星球会员购买B站所有的个人版模型一律八折。通过下面表格中的链接购买并确认收货后，加小助手为好友，小助手会把折扣金额返现。注意：企业版不提供折扣。

购买前注意事项：

📌

请确保你用开源的模型跑通了 Pix2Text，否则你下载完付费模型可能跑不起来。详细安装和使用说明看 Pix2Text 项目文档就行。遇到问题可以在这里评论，或者加入群聊与我沟通，但请注意帮你跑通代码不在作者的服务范围之内（参考星球说明）。

📌

个人使用请参考以下表格中的“个人购买”列；企业购买请参考以下表格中的“企业购买”列，或者 联系作者。

模型商店

模型购买包含以下 2 个商店。

商店	说明
B站商城	仅售卖个人使用的模型。无法开具发票。
Lemon Squeezy	售卖商用和个人使用的模型。平台可以开具发票（美式发票）。

接下来给出更具体的说明。

购买数学公式检测（MFD）模型

以下是不同版本的购买链接。建议先使用 在线 Demo 验证效果后再购买。各个版本的 License 不同，请点击表格内链接查看商品明细。遇到问题可以 联系作者 。企业版同时包含 MFD 和 MFR 模型，无需重复购买。

检测模型版本	企业购买	个人购买	对星球会员	免费可下载
`MFD-Advanced-1.5`	✖️	✔️ Lemon Squeezy	✔️ 免费获取	✔️
`MFD-Pro-1.5`	✔️ 企业 Pro 版企业 Plus 版	✔️ bilibili 商城 Lemon Squeezy	✔️ 个人购买八折	✖️
`mfd-advanced`	✖️	✔️ Lemon Squeezy	✔️ 免费	✖️
`mfd-pro`	✔️ Enterprise Pro Enterprise Plus	✔️ B站 Lemon Squeezy	✔️ 个人使用 B站购买八折	✖️

📌

以上模型只兼容 Pix2Text ≥ V1.1.4。

购买后的使用说明见：

Pix2Text 新版数学公式检测和识别模型：V1.5 。

Pix2Text V1.1.1 新版发布，带来更好的数学公式检测模型。

购买数学公式识别（MFR）模型

识别模型版本	企业购买	个人购买	对星球会员	免费可下载
`MFR-Pro-1.5`	✔️ 企业 Pro 版企业 Plus 版	✔️ bilibili 商城 Lemon Squeezy	✔️ 个人购买八折	✖️
`mfr-pro`	✔️ Enterprise Pro	✔️ B站 Lemon Squeezy	✔️ 个人使用 B站购买八折	✖️
`mfr-plus`	✔️ Enterprise Plus	✖️	✖️	✖️