运维123 - 多模态
type: channel
link: https://www.sddts.cn/index.php/tag/%E5%A4%9A%E6%A8%A1%E6%80%81/
items: UI-TARS-desktop：字节跳动开源多模态AI代理栈
items: 中国AGI-Next前沿峰会技术分析：基模四杰论剑大模型未来

UI-TARS-desktop：字节跳动开源多模态AI代理栈
type: item
date: 2026-02-10T13:51:46+00:00
description: UI-TARS-desktop：字节跳动开源多模态AI代理栈一、新闻概述1. 标题UI-TARS-desktop：字节跳动开源多模态AI代理栈，连接前沿AI模型与代理基础设施2. 发布时间2025年1月21日（项目初始化），持续更新中3. 来源GitHub开源项目 bytedance/UI-TARS-desktop二、核心内容1. 事件摘要A. 主要内容字节跳动开源了名为TARS的多模态AI代理栈，包含两个核心项目：Agent TARS和UI-TARS Desktop。该项目旨在通过先进的多模态大语言模型和MCP工具集成，提供更接近人类任务完成方式的工作流。B. 核心亮点多模态AI代理能力，支持GUI Agent和视觉识别提供CLI和Web UI两种使用方式原生桌面应用程序，支持本地和远程计算机操作完整的MCP集成和工具扩展能力支持多种视觉语言模型，包括UI-TARS、Seed-1.5-VL/1.6系列2. 关键信息A. 版本号最新版本：v0.3.0（2025年11月5日发布）UI-TARS Desktop v0.2.0（2025年6月12日发布）B. 重要数据GitHub Stars：27.6k+Forks：2.7k+Issues：300个Pull Requests：45个C. 涉及产品Agent TARS CLI：命令行工具Agent TARS Web UI：网页界面UI-TARS Desktop：桌面应用程序MCP Servers：模型上下文协议服务器3. 背景介绍A. 项目历史该项目由字节跳动团队开发，最初于2025年1月21日初始化，经过多次迭代更新，目前已成为功能完善的多模态AI代理平台。B. 相关上下文TARS项目基于字节跳动的UI-TARS模型和Seed系列视觉语言模型，旨在探索更接近人类任务完成方式的工作形式。三、详细报道1. 主要内容A. Agent TARSAgent TARS是一个通用的多模态AI代理栈，将GUI Agent和视觉能力带入终端、计算机、浏览器和产品中。核心功能：CLI和Web UI两种使用模式支持有头和无头服务器执行混合浏览器代理（GUI Agent、DOM或混合策略）事件流协议驱动的上下文工程和代理UIMCP集成，内核基于MCP构建支持的模型提供商：Volc Engine（豆袋模型）Anthropic（Claude系列）其他兼容的LLM提供商B. UI-TARS DesktopUI-TARS Desktop是一个原生桌面GUI代理应用程序，基于UI-TARS模型驱动。功能特性：自然语言控制屏幕截图和视觉识别支持精确的鼠标和键盘控制跨平台支持（Windows/MacOS/Browser）实时反馈和状态显示本地处理，隐私安全C. v0.3.0版本更新2025年11月5日发布的Agent TARS CLI v0.3.0版本带来以下重要更新：流式支持：多工具流式支持（shell命令、多文件结构化显示）运行时设置，包含工具调用和深度思考的计时统计事件流查看器，用于数据流跟踪和调试AIO代理沙箱：独家支持AIO agent Sandbox作为一体化工具执行环境提供隔离的执行环境D. v0.2.0版本更新2025年6月12日发布的UI-TARS Desktop v0.2.0版本引入：远程计算机操作员：完全免费，无需配置即可远程控制任何计算机远程浏览器操作员：一键远程控制浏览器E. v0.1.0版本更新2025年4月17日发布的UI-TARS Desktop v0.1.0版本：重新设计的Agent UI增强的计算机使用体验新的浏览器操作功能支持先进的UI-TARS-1.5模型2. 技术细节A. 系统架构graph TB User[用户] --> CLI[Agent TARS CLI] User --> WebUI[Web UI] User --> Desktop[UI-TARS Desktop] CLI --> LLM[多模态LLM] WebUI --> LLM Desktop --> LLM LLM --> MCP[MCP协议] MCP --> Tools[工具集成] Tools --> Browser[浏览器操作] Tools --> Computer[计算机操作] Tools --> Shell[Shell命令] Desktop --> Local[本地操作员] Desktop --> Remote[远程操作员]B. 技术栈前端：Electron桌面应用后端：Node.js协议：MCP（Model Context Protocol）模型：UI-TARS、Seed-1.5-VL、Seed-1.6系列语言：TypeScriptC. MCP集成项目内核基于MCP构建，支持挂载MCP服务器以连接各种真实…

中国AGI-Next前沿峰会技术分析：基模四杰论剑大模型未来
type: item
date: 2026-01-13T09:01:00+00:00
description: 中国AGI-Next前沿峰会技术分析：基模四杰论剑大模型未来一、峰会背景2025年初，清华大学基础模型北京市重点实验室发起AGI-Next前沿峰会，汇集了中国大模型领域四位领军人物：智谱唐杰、月之暗面杨植麟（Kimi）、阿里林俊旸（千问）、腾讯姚顺雨。这场"基模四杰"的论剑，信息密度极高，揭示了中国AGI发展的技术路径、范式变革与未来挑战。二、核心观点摘要唐杰（智谱）Chat范式已基本结束，下一步是从"对话"走向"做事"DeepSeek的出现标志着对话型模型的收敛强化学习可验证环境（RLVR）成为关键技术方向三类Scaling：数据与模型规模、推理、自学习环境杨植麟（Kimi）Transformer的核心优势在于Token EfficiencyMUON二阶优化器实现2倍Token效率提升Kimi Linear架构实现线性复杂度的长序列处理做模型本质是创造一种世界观（Taste）林俊旸（千问）中国想在AI赛道反超，概率约20%，已非常乐观多模态是智能体的必然方向Reasoning能力成为核心竞争力全模态模型（三进三出）是目标姚顺雨（腾讯）toC和toB发生明显分化toB场景智能越高，生产力越高toC场景大部分人用不着那么强的智能垂直整合vs模型应用分层三、技术发展脉络分析3.1 从Chat到Agent的范式转变唐杰在演讲中明确指出：DeepSeek横空出世后，Chat这一代问题基本已被解决。这迫使我们思考下一步方向。新的范式不再只是"对话"，而是让每个人真正用AI完成一件具体的事情。从Chat走向做事，是一个明显的转折点。当时摆在我们面前的，主要有两条思路：围绕Thinking能力，结合Coding与Agent让模型更深度地与环境交互，用AI直接辅助研究智谱最终优先选择了前一条路径，强化Thinking能力并引入Coding场景。graph TB subgraph "Chat范式" A1[问答] --> A2[对话] A2 --> A3[个性化] end subgraph "做事范式" B1[Thinking能力] --> B2[Coding能力] B2 --> B3[Agent能力] B3 --> B4[环境交互] end A3 --> B1 B4 --> B5[真实任务执行] style B5 fill:#90EE90 style A3 fill:#FFB6C13.2 Token Efficiency与长上下文杨植麟提出了两个核心优化方向：Token Efficiency：希望尽可能把曲线往左边平移，当越往左边移动时，Token Efficiency越高，意味着可以用尽可能少的Token得到一样的效果。Long Context：今天非常复杂的任务，必须在超长的Context下才能够完成。延长Context之后，Loss必然是下降，而且只有一个好的Agent才能下降得更多。Transformer相比LSTM的优势，核心在于Token Efficiency。在很短的Context下，Transformer并不是更好的架构。但是当Context非常长的时候，Transformer显著比LSTM更好。3.3 强化学习的新范式今年一个重要变化是RLVR（可验证强化学习）。过去强化学习难以大规模推进，核心原因在于依赖人类反馈，而人类反馈存在噪音大、覆盖场景有限的问题。如果引入可验证环境，模型就可以自主探索、自动获得反馈，在闭环中持续成长。但这里的难点也非常明显：所谓"可验证"，在数学、编程等领域相对容易定义；可一旦扩展到更广泛的任务，仍然需人工判断。3.4 多模态发展路径林俊旸指出：如果你想做一个智能的东西，天然的应该是Multimodal。人有眼睛和耳朵可以做更多的事情。但更多的考虑是Foundation有更多的生产力，能不能更好地帮助人类。理想的情况下，2022年设计的系统是中间有一个大脑，我们不知道那个大脑是什么东西，但是我们知道不同的模态和任务都应该进入到这个大脑，从这个大脑输出去，这个才是真正的想象当中的AGI。graph TD subgraph "输入模态" A1[文本] A2[视觉] A3[语音] end subgraph "统一大脑" B[Foundation Model/统一理解与生成] end subgraph "输出模态" C1[文本生成] C2[图像生成] C3[视频生成] C4[语音生成] end A1 --> B A2 --> B A3 --> B B --> C1 B --> C2 B --> C3 B --> C4 B --> D[AGI通用智能体] style B fill:#FFD700 style D fill:#98FB98四、技术架构演进graph LR subgraph "数据与模型" A1[…