开源项目Poki可让AI直接操作真实iPhone

Article

不用越狱、不在iPhone安装App，开源项目Poki让AI直接操作你的iPhone

动察 Beating AI 快讯，开发者 Joseph Zhou 开源了 Poki，让 Codex、Claude Code 等 AI Agent 直接操控真实 iPhone。

现在已经有不少 iPhone Use 项目，有的通过 XCTest/WDA 安装测试程序，有的依靠外接硬件模拟操作。

Poki 采用了另一条路线：直接调用苹果的设备开发者服务，读取 iPhone 原生无障碍控件树，获取按钮、文字和位置，再向手机发送点击、滑动、输入甚至双指缩放等指令。

这样 AI 不必每一步都靠截图猜坐标，也不用在 iPhone 上安装测试程序。首次通过 USB 配对后，还能在同一局域网内无线操作。

除了通过 MCP 接入 Codex、Claude Code，Poki 还自带运行在 Mac 上的 Agent，可以通过终端或 iMessage 下达任务。它能记住成功执行并验证过的操作流程，下次遇到相同任务时直接复用，部分任务甚至不需要再次调用模型。不过，Mac 仍需保持运行。

真机操作目前还比较慢。作者在一台运行 iOS 27.3 的 iPhone 上测试，针对聊天 App 中一个搜索框，文字点击连续 12 次全部生效，但单次约需 8 秒；填写输入框约需 15 秒，部分按钮仍然无法正常点击。

Poki 的优势是能直接读取系统控件，支持无线操作和多点触控，但需要完整 Xcode、开发者模式及 UI Automation。底层依赖苹果的开发者接口，未来系统升级也可能影响兼容性。

Key points

The following is analysis, separate from reported facts. Verify important claims independently.

Poki尝试让AI通过苹果提供的设备开发能力读取手机界面中的按钮、文字和位置，再执行触控或输入操作。它不要求越狱，也不必在iPhone安装测试程序，但仍需要Mac、Xcode、开发者模式等环境。

这提供了一条不同于安装测试程序或外接硬件的iPhone自动化路线，并支持无线控制、多点触控和已验证流程复用。

新手可将其理解为“让AI代替人操作iPhone”的开源工具，但当前部署要求较高、执行较慢，并非即装即用。