项目公开通过 AirPlay、视觉模型与 ESP32-S3 USB HID 操作 iPhone 的源码和安装说明。
ESP32 iPhone Agent 用低成本 HID 板桥接真机操作
2026-10-12前沿观察WATCH
ESP32 iPhone Agent 公开一套 MIT 许可的真机操作闭环：通过 AirPlay 获取 iPhone 画面，让兼容 OpenAI API 的视觉模型决定动作，再由 ESP32-S3 以 USB HID 发送点击、拖动、输入和按键。它不需要 Xcode、开发者账号、签名应用或越狱，但仍要准备主机、ESP32-S3 和云端或本地视觉模型。
对你意味着什么
对移动端 agent 团队来说，约 7 美元的物理 I/O 桥接降低了真机 computer-use 实验门槛，也避开了签名自动化栈。作者演示不能证明可靠性；在独立用户跨应用复现校准、恢复和紧急停止前，先保持 WATCH。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 架构 | AirPlay/UxPlay 获取画面，兼容 OpenAI API 的视觉模型规划动作，ESP32-S3 以 USB HID 执行动作 |
|---|---|
| 公开材料 | MIT 源码、固件、安装说明和作者演示 |
| 要求 | ESP32-S3、iPhone、macOS 或 Linux 主机、UxPlay/GStreamer，以及云端或本地视觉模型 |
| 作者主张 | 指针校正、动作后画面变化检查、重新规划、watchdog 恢复和调试轨迹 |
| 限制 | 没有独立任务集；横屏、非 ASCII 输入、锁屏/密码、Apple Pay 与 DRM 页面受限；可能需要重新校准 |
| 时间依据 | GitHub 仓库创建于 2026-10-11T19:10:25Z；当时没有 tagged release |
技术影响 3
工程价值 3
采用信号 2
成熟度 2
验证成本 3
风险 4