模型通道
填写密钥并选择手机,再点击「准备并连接」。准备时验证模型,执行时复用连接。
真实画面生成候选,模型只选编号,组件完成点击。
填写密钥并选择手机,再点击「准备并连接」。准备时验证模型,执行时复用连接。
开启 USB 调试,连接后查看当前截图。
通过区域标注、有限选项决策与平台驱动,将语义目标映射为 Android、iOS、HarmonyOS 设备上的点击操作。独立组件供外部系统接入,交互式 Demo 展示执行过程与实测证据。
调用方提供点击目标,SDK负责顺序执行。
基于系统层级构建候选动作空间,以区域索引约束模型输出。
决策结果绑定当帧区域,由平台驱动执行坐标操作。
模型协议:OpenRouter 多模态 Decisions / OpenAI 官方 Decisions。当前多模态实现使用 OpenAI 决策模型;TypeSafe Jev 的文本接口属于不同后端。
“点击左上角头像”
观察当前设备状态
候选区域生成与视觉标注
N02 / 未找到 / 不确定
编号映射到区域中心
每步独立采集并生成区域索引。请求包含当前目标、候选属性和标注截图;设备服务与网络客户端持续复用。
系统节点提供几何区域与属性,截图补充文本、图标及外观语义。区域索引将视觉识别结果关联到可执行位置。
结构示意。实际模型输入与执行结果可在演示页逐步查阅。
应用逻辑、测试流程及任务编排
返回事件、编号图、坐标与毫秒计时
演示层按配置标点拆分并串行提交点击目标,失败时停止后续步骤。组件独立于演示界面和 AI Phone,SDK负责符号拆步、顺序执行与图片对比衔接,调用方负责业务目标与判定。
以下是 2026-10-11 三端隔离实验的原始编号图。共同目标:点击底部「学习」。真机与模拟器分别标明;标注图展示区域绑定,执行结果依据对应实验记录。

UiAutomator2 系统树+截图 → 区域标注 → 模型选择 → 坐标点击。区域索引根据当帧系统层级动态生成。
独立组件已贯通安卓真机与虚拟机,统一使用 UiAutomator2 取树、截图与点击。
WDA / XCTest 快照 → point 与截图 pixel 映射 → 统一候选 → 视觉选择。系统内部名称与画面文字不一致时,图仍能补充语义。
既有导航六动作完成,四次点击走该通道;独立组件已贯通 iOS 真机与虚拟机。
UITest / hmdriver2 层级 → 原生图片子区域与父布局边界适配 → 编号图 → 驱动执行。
既有导航六动作完成,四次业务点击走该通道,冷启动曾需要等待;独立组件已贯通鸿蒙真机与虚拟机。三端实验共享定位流程,通过平台适配处理层级、坐标与驱动差异。当前独立组件已贯通三端真机与虚拟机;本栏图片保持原有实验图,标签说明平台支持范围。
from jev_phone import AndroidClicker
with AndroidClicker(
serial="YOUR_DEVICE_SERIAL",
api_key=your_key,
provider="openrouter",
) as phone:
report = phone.run("点击星球;点击我的")
print(report["results"])
print(report["transitions"])
# 单步:phone.click("点击我的")
# iOS:IOSClicker(wda_url, your_key)
# 鸿蒙:HarmonyClicker(hdc_serial, your_key)安装:安卓 pip install -e '.[android]',iOS pip install -e .,鸿蒙 pip install -e '.[harmony]'。独立调用不需要 Web 页或数据库。支持按标点及换行拆步,失败停止;可通过 on_event 接收采集、编号图、选择和点击返回事件。
数据来自前期安卓常驻 UiAutomator2 实验,不含模型请求、初始化与页面稳定;当前模型、展示与设备负载会改变实际耗时。
模型时间采用请求往返口径,包含传输与服务处理。不逐步追加结束后截图;步骤间对比采样,下一步复用末帧。点击接口返回与业务判定分别记录。
客户端空闲连接有效期 180 秒。端到端耗时受网络、模型服务、页面与设备负载影响。
安装 Python 依赖、ADB、scrcpy 和 ffmpeg,连接已授权的安卓手机。在演示页填写对应 Key,准备时验证模型通道,然后逐步执行。
支持 OpenRouter 多模态 Decisions 与 OpenAI 官方 Decisions,内部适配不同请求和返回协议。两种协议通过适配层归一化决策结果。
当前交付单步与多步点击,三端真机/虚拟机均已贯通。输入、滚动、长按等更多动作需要分别探索区域选择、手势参数与平台承接,还没有作为本组件能力交付。步骤衔接沿用 V3 已调参数:安卓100ms、鸿蒙0ms、iOS200ms。
密钥由用户在当前页面填写,使用密码掩码显示。刷新后清除连接与密钥,需重新填写;不回填、不持久化。截图和执行记录保存为本地文件。