agent-desktop实测:不截图不抢鼠标,55次零失误

实测 agent-desktop 1.2.0 的无障碍树桌面控制:0 截图、不抢鼠标,连续点击计算器 55 次 0 失误。文章给出对比表、可运行调用示例与结果解读,帮助读者理解机制、验证思路、测试口径及适用边界。

文章目录

原文:实测 agent-desktop:AI 控制桌面不截图、不占鼠标键盘,连点 55 次计算器 0 失误

这次实测的对象,是 Vercel Labs 的 agent-desktop 1.2.0。它没有把桌面操作理解成“看一张图再猜按钮”,而是借助无障碍树取得界面结构,再让 AI 调用控件完成动作。0 截图、不抢鼠标,是它最值得现在关注的地方:桌面 Agent 不必一上来就接管视觉输入和鼠标,自动化方式也因此换了一条路。

值得带走的不是一句“能点按钮”,而是三个可验证问题:它如何识别界面,连续操作是否稳定,以及能否在不抢鼠标的条件下执行。对照表会把这三项放在一起;代码示例用无障碍调用触发计算器按钮,帮助读者理解机制与复现思路。具体接口、完整对比口径与测试环境,以原文为准。

1、关键不是看屏幕,而是读控件结构

1、关键不是看屏幕,而是读控件结构(AI 生成示意图)

1、关键不是看屏幕,而是读控件结构 · AI 生成示意图

无障碍树可以理解为桌面应用暴露给辅助功能的一棵“控件目录”,按钮、输入框等控件通常能以结构和角色被识别。截图式方案通常把屏幕像素交给模型,再从画面里定位目标;agent-desktop 1.2.0 的实测路径不同:它围绕无障碍树寻找可操作节点。“不截图”并不是删掉识别步骤,而是把输入换成更适合控件操作的结构化信息。

代价也要看清:应用暴露的信息越完整,结构化路径通常越稳定;自绘或信息不足的界面通常需要另行验证。现有实测没有覆盖这些边界,具体表现以原文为准。

2、55 次连点 0 失误,证据到底有多强

2、55 次连点 0 失误,证据到底有多强(AI 生成示意图)

2、55 次连点 0 失误,证据到底有多强 · AI 生成示意图

这次测试选择计算器,连续点击 55 次,最终 0 失误。计算器本身是规则明确、状态可观察的桌面控件,适合检查智能体能否反复找到目标并稳定触发。

单次成功可能说明路径可用,却不足以排除偶发错误;重复执行的价值,就是把“会不会偶尔找错按钮”变成可观察的问题。55 次连点 0 失误,证明的是该次任务、该次环境中的稳定性,不应外推为任意桌面软件都能零失误。

更谨慎的解读是:agent-desktop 在结构清晰的应用里,给出了一条不靠截图、不抢鼠标的执行路径。

3、完整对照,差别不只在“有没有截图”

按原文口径,可以先做一张不夸大外延的对照:

对照项 常见截图式方案 agent-desktop 1.2.0 实测
界面信息来源 通常把屏幕画面交给模型 通过无障碍树读取控件结构
截图需求 通常需要截图 0 截图
鼠标使用 通常需要移动、点击鼠标 不抢鼠标
连续操作证据 通常需要单独做重复测试 计算器连点 55 次,0 失误

这张表不是给两种方式排座次,而是提醒:评价桌面 Agent 不能只看任务有没有完成,还要看输入是否稳定、执行是否打扰用户、错误能否被重复测试暴露。原文附有完整对比数据,这里只保留已确认的结论,数字与测试口径以原文为准。

4、用无障碍调用复现“连点”

下面给出一个最小 Python 示例。它不调用 agent-desktop 的内部接口,而是直接使用 Windows 的 UI Automation,通过 InvokePattern 请求按钮执行;这能演示无障碍树路线的核心:系统调用控件,而不是让脚本移动鼠标去点。

先运行 pip install uiautomation,打开计算器,再把目标按钮名称作为参数传给脚本。示例将“失误”定义为调用抛出异常,用于验证重复触发是否稳定;它不等同于原文的完整测试,控件命名与测试口径以原文为准。

import sys
import uiautomation as auto


def find_calculator():
    for title in ('Calculator', '计算器'):
        window = auto.WindowControl(searchDepth=3, SubName=title)
        if window.Exists(1):
            return window
    raise RuntimeError('未找到计算器窗口,请先打开并确认窗口标题。')


def main():
    if len(sys.argv) != 2:
        raise SystemExit('用法:python agent_desktop_demo.py <按钮名称>')

    button_name = sys.argv[1]
    window = find_calculator()
    button = window.ButtonControl(searchDepth=10, Name=button_name)
    if not button.Exists(2):
        raise RuntimeError('未找到指定按钮;控件名称可能因系统语言而异。')

    failures = []
    for index in range(1, 56):
        try:
            button.GetInvokePattern().Invoke()
        except Exception as exc:
            failures.append((index, str(exc)))

    print(f'执行次数:{len(range(1, 56))};失败次数:{len(failures)}')
    if failures:
        for index, error in failures:
            print(f'第 {index} 次失败:{error}')
        raise SystemExit(1)


if __name__ == '__main__':
    main()

脚本会发起 55 次调用,并汇总失败位置。换成 agent-desktop 的具体调用方式时,真正要保留的是三个动作:从无障碍树定位控件、调用可操作接口、记录每次失败,而不是照搬某个未经核实的命令。

写在最后

agent-desktop 1.2.0 的关键,不是把鼠标藏起来,而是把桌面交互从像素识别切到无障碍树。
0 截图、不抢鼠标,让自动化与用户操作之间少了一层直接干扰。
计算器连续点击 55 次 0 失误,是本次实测里最有说服力的稳定性证据。
但它只覆盖明确任务,不能替代对更多桌面环境的单独评测。
我的判断是:无障碍树路线值得持续关注,agent-desktop 已展示一条更干净的桌面 Agent 交互路径。

相关阅读

想把这套流程装到自己服务器上?阿凡达提供一次性的私有化部署与出海模型接入服务,说明与报价见站内服务页:查看技术服务。

文中链接

整理自本文的外部链接,请以来源页面说明为准。

agent-desktop实测:不截图不抢鼠标,55次零失误 · 阿凡达博客