模型如何边看边听、边回应：实时流式多模态模型技术路线技术分享从每秒一帧的客户端采样到原生全双工 AV2AV，系统梳理实时流式音视频多模态的六条技术路线：增量 prefill 与 KV/GDN 状态、共享时间轴、显式说话触发、异步思考、模态专家，以及因果音视频生成；并拆解 Qwen3.5-Omni、MiniCPM-o、ROMA、DuplexOmni、ELLSA 与 Wan-Streamer 的实现边界与选型要点。2026-8-1 多模态学习 Multimodal Learning 多模态模型 视频 VLM LLM Transformer AI_Agent
🤖Mobile-Agent-v3：新的 GUI Agents 开源王者技术分享Mobile-Agent-v3 凭借多模态 GUI-Owl 模型、自我进化数据生成和 TRPO 强化学习，在多平台 GUI 自动化上超越主流开源方案，部分场景甚至优于 GPT-4o、Claude 3.7。2025-9-6 AI_Agent Multi-Agents UI Agents Web Agents Compute Use Phone Use Mobile Agents VLM LLM 智能体 GUI Agents Mobile-Agent-V3 GUI-Owl
🤖MONDAY：从视频自动构建 GUI Agents 轨迹数据技术分享本文提出了一种自动化框架，该框架利用公开可用的视频内容生成 GUI Agents 训练使用的任务轨迹数据集，无需手动标注。2025-6-8 AI_Agent Multi-Agents UI Agents Web Agents Compute Use Phone Use Mobile Agents VLM LLM 智能体 GUI Agents MONDAY
🤖InfiGUI-R1：从反应式执行向推理式决策的进阶之路技术分享InfiGUI-R1 引入一种以推理为中心的渐进式训练方法，将 GUI Agents 从反应式执行模型转变为深思熟虑的推理模型。2025-4-29 AI_Agent Multi-Agents UI Agents Web Agents Compute Use Phone Use Mobile Agents VLM LLM 智能体 GUI Agents Reinfocement_Learning InfiGUI-R1 Reason
🤖GUI Agent 中使用 RL 提升模型泛化能力技术分享介绍 GUI Agent 如果利用强化学习（RL）算法训练模型，以提升模型的 OOD 泛化能力。2025-3-3 AI_Agent Multi-Agents UI Agents Web Agents Compute Use Phone Use AutoGLM Mobile Agents VLM LLM 智能体 ShowUI GUI Agents Reinfocement_Learning Digi-Q VEM
🤖UI-TARS：利用长期记忆和反思调整不断优化技术分享来自字节跳动的 UI-TARS 基于 Qwen2-VL 微调，通过大量 grounding 和 navigation 数据，经三阶段训练，在感知能力训练加入新任务，利用特定方法迭代优化，以远超多数工作的数据规模，实现对中文图片和指令的良好支持。2025-1-24 AI_Agent Multi-Agents UI Agents Web Agents Compute Use Phone Use AutoGLM AppAgents Mobile Agents VLM LLM 智能体 规划推理 UI-TARS ByteDance GUI Agents
🤖Aguvis：提升的不仅是 UI Agent 的规划推理能力技术分享本文介绍来自 HKU & Salesforce 的 Aguvis。Aguvis 构建了统一的 grounding 和 reasoning 大数据集，采用两阶段训练方式提升模型在 GUI 交互中的规划推理能力。2024-12-13 AI_Agent Multi-Agents UI Agents Web Agents Compute Use Phone Use AutoGLM AppAgents Mobile Agents VLM LLM 智能体 Aguvis 规划推理 GUI Agents
🤖ShowUI：当前最好的 UI Agent 开源模型？技术分享Show Lab 和微软推出 ShowUI，这是一个开源的 UI Agent 模型，在中文 APP 识别和导航能力上表现出色。通过创新的视觉 token 选择和独特的训练数据构建方法，该模型在有限的训练数据下实现了非常棒的性能2024-12-5 AI_Agent Multi-Agents UI Agents Web Agents Compute Use Phone Use AutoGLM SeeClick AppAgents Mobile Agents VLM LLM 智能体 ShowUI GUI Agents
🤖GUI Agents（智能体）最新论文技术分享近期 Claude 发布了 Compute Use，智谱发布了 Phone Use 的 AutoGLM，它们都是利用 UI Agents 技术让智能体模拟人操作电脑和手机完成指定任务。本文列出 UI Agents 相关的最新论文和资料，并持续更新中…2024-11-9 AI_Agent Multi-Agents UI Agents Web Agents Compute Use Phone Use AutoGLM SeeClick AppAgents Mobile Agents VLM LLM 智能体 GUI Agents
🤖GUI Agents（智能体）技术综述技术分享近期 Claude 发布了 Compute Use，智谱发布了 Phone Use 的 AutoGLM，它们都是利用 UI Agents 技术让智能体模拟人操作电脑和手机完成指定任务。本次分享介绍了 UI Agents（智能体）背后使用的大模型技术。2024-11-8 AI_Agent Multi-Agents UI Agents Web Agents Compute Use Phone Use AutoGLM SeeClick AppAgents Mobile Agents VLM LLM 智能体 GUI Agents
🦙LLaMA 3 掀桌子三部曲（二）：LLaMA 3.1 发布技术分享LLaMA 3.1 发布，开源了 405B 的旗舰模型，效果达到闭源的 SOTA 🔥🔥🔥。新模型带来了工具调用、更好地支持多语言等功能。2024-7-25 LLM GPT4 Generative NLP 大语言模型 ChatGPT Meta LLaMA3 LLaMA3.1 多模态模型 GPT-4o VLM
