agent-desktop实测:不截图不抢鼠标,55次零失误
实测 agent-desktop 1.2.0 的无障碍树桌面控制:0 截图、不抢鼠标,连续点击计算器 55 次 0 失误。文章给出对比表、可运行调用示例与结果解读,帮助读者理解机制、验证思路、测试口径及适用边界。
文章目录
这次实测的对象,是 Vercel Labs 的 agent-desktop 1.2.0。它没有把桌面操作理解成“看一张图再猜按钮”,而是借助无障碍树取得界面结构,再让 AI 调用控件完成动作。0 截图、不抢鼠标,是它最值得现在关注的地方:桌面 Agent 不必一上来就接管视觉输入和鼠标,自动化方式也因此换了一条路。
值得带走的不是一句“能点按钮”,而是三个可验证问题:它如何识别界面,连续操作是否稳定,以及能否在不抢鼠标的条件下执行。对照表会把这三项放在一起;代码示例用无障碍调用触发计算器按钮,帮助读者理解机制与复现思路。具体接口、完整对比口径与测试环境,以原文为准。
1、关键不是看屏幕,而是读控件结构
1、关键不是看屏幕,而是读控件结构 · AI 生成示意图
无障碍树可以理解为桌面应用暴露给辅助功能的一棵“控件目录”,按钮、输入框等控件通常能以结构和角色被识别。截图式方案通常把屏幕像素交给模型,再从画面里定位目标;agent-desktop 1.2.0 的实测路径不同:它围绕无障碍树寻找可操作节点。“不截图”并不是删掉识别步骤,而是把输入换成更适合控件操作的结构化信息。
代价也要看清:应用暴露的信息越完整,结构化路径通常越稳定;自绘或信息不足的界面通常需要另行验证。现有实测没有覆盖这些边界,具体表现以原文为准。
2、55 次连点 0 失误,证据到底有多强
2、55 次连点 0 失误,证据到底有多强 · AI 生成示意图
这次测试选择计算器,连续点击 55 次,最终 0 失误。计算器本身是规则明确、状态可观察的桌面控件,适合检查智能体能否反复找到目标并稳定触发。
单次成功可能说明路径可用,却不足以排除偶发错误;重复执行的价值,就是把“会不会偶尔找错按钮”变成可观察的问题。55 次连点 0 失误,证明的是该次任务、该次环境中的稳定性,不应外推为任意桌面软件都能零失误。
更谨慎的解读是:agent-desktop 在结构清晰的应用里,给出了一条不靠截图、不抢鼠标的执行路径。
3、完整对照,差别不只在“有没有截图”
按原文口径,可以先做一张不夸大外延的对照:
| 对照项 | 常见截图式方案 | agent-desktop 1.2.0 实测 |
|---|---|---|
| 界面信息来源 | 通常把屏幕画面交给模型 | 通过无障碍树读取控件结构 |
| 截图需求 | 通常需要截图 | 0 截图 |
| 鼠标使用 | 通常需要移动、点击鼠标 | 不抢鼠标 |
| 连续操作证据 | 通常需要单独做重复测试 | 计算器连点 55 次,0 失误 |
这张表不是给两种方式排座次,而是提醒:评价桌面 Agent 不能只看任务有没有完成,还要看输入是否稳定、执行是否打扰用户、错误能否被重复测试暴露。原文附有完整对比数据,这里只保留已确认的结论,数字与测试口径以原文为准。
4、用无障碍调用复现“连点”
下面给出一个最小 Python 示例。它不调用 agent-desktop 的内部接口,而是直接使用 Windows 的 UI Automation,通过 InvokePattern 请求按钮执行;这能演示无障碍树路线的核心:系统调用控件,而不是让脚本移动鼠标去点。
先运行 pip install uiautomation,打开计算器,再把目标按钮名称作为参数传给脚本。示例将“失误”定义为调用抛出异常,用于验证重复触发是否稳定;它不等同于原文的完整测试,控件命名与测试口径以原文为准。
import sys
import uiautomation as auto
def find_calculator():
for title in ('Calculator', '计算器'):
window = auto.WindowControl(searchDepth=3, SubName=title)
if window.Exists(1):
return window
raise RuntimeError('未找到计算器窗口,请先打开并确认窗口标题。')
def main():
if len(sys.argv) != 2:
raise SystemExit('用法:python agent_desktop_demo.py <按钮名称>')
button_name = sys.argv[1]
window = find_calculator()
button = window.ButtonControl(searchDepth=10, Name=button_name)
if not button.Exists(2):
raise RuntimeError('未找到指定按钮;控件名称可能因系统语言而异。')
failures = []
for index in range(1, 56):
try:
button.GetInvokePattern().Invoke()
except Exception as exc:
failures.append((index, str(exc)))
print(f'执行次数:{len(range(1, 56))};失败次数:{len(failures)}')
if failures:
for index, error in failures:
print(f'第 {index} 次失败:{error}')
raise SystemExit(1)
if __name__ == '__main__':
main()
脚本会发起 55 次调用,并汇总失败位置。换成 agent-desktop 的具体调用方式时,真正要保留的是三个动作:从无障碍树定位控件、调用可操作接口、记录每次失败,而不是照搬某个未经核实的命令。
写在最后
agent-desktop 1.2.0 的关键,不是把鼠标藏起来,而是把桌面交互从像素识别切到无障碍树。
0 截图、不抢鼠标,让自动化与用户操作之间少了一层直接干扰。
计算器连续点击 55 次 0 失误,是本次实测里最有说服力的稳定性证据。
但它只覆盖明确任务,不能替代对更多桌面环境的单独评测。
我的判断是:无障碍树路线值得持续关注,agent-desktop 已展示一条更干净的桌面 Agent 交互路径。
相关阅读
想把这套流程装到自己服务器上?阿凡达提供一次性的私有化部署与出海模型接入服务,说明与报价见站内服务页:查看技术服务。
文中链接
整理自本文的外部链接,请以来源页面说明为准。