iphone-use

你是否想过，让 AI 不仅能在网页里聊天，还能像人类一样，直接替你操作手中的真实 iPhone？比如自动打开无 API 接口的App、点外卖、处理移动端业务？

近期 GitHub 上由开发者 @leeguooooo 开源的项目 iphone-use爆火！ 它能让 Claude Code、Codex 等 AI Agent 无缝控制你的真实苹果手机，实现真正的“Mobile Computer Use”！

iphone-use 网站截图

✨ 一、 核心亮点与特色

1️⃣ 精准控制，极省 Token 相比传统的“截屏+视觉大模型（VLM）”耗时耗 Token 的方案，iphone-use 采用了基于 WebDriverAgent (WDA) 的原生元素树识别技术。它将手机屏幕实时转化为文本结构，AI 能够直接识别按钮和输入框，实现精准的点击、输入、滑动与滚屏。

2️⃣ 无 API 接口 App 的终极解法 很多日常使用的银行、打车、社交和生活类 App 根本没有提供开发者 API。通过 iphone-use，AI 可以像真人一样在界面上操作，打破移动端应用的数据孤岛！

3️⃣ 操作录制与流式复放（Flow） 支持将人类的手动操作录制为可重复运行的 Flow 脚本（JSON 格式）。一次录制后，后续可无需消耗 LLM 推理成本直接自动化重放，省时又省钱！

4️⃣ 丰富的生态集成（MCP 服务） 内置 21 个工具的 MCP（Model Context Protocol）服务器，能够完美接入 Claude Code、Codex 等支持 MCP 的 AI Agent 工具。同时还提供浏览器端与 iOS App 端的远程可视化控制。

🛠️ 二、 如何操作与部署？

准备工作：你需要一台 Mac 电脑（安装有 Xcode）和一台通过 USB/Wi-Fi 连接的 iPhone。

部署步骤：

1. 克隆项目与环境准备

   Bash

   git clone https://github.com/leeguooooo/iphone-use.git
   cd iphone-use
   

2. 配置 WebDriverAgent (WDA)

   • 使用 Xcode 打开项目中的 WDA 组件，配置你的 iOS 开发者证书，将 WebDriverAgentRunner 编译安装并运行到连接的 iPhone 上。

3. 启动后端服务

   • 在 Mac 端启动 Daemon 服务，通过 USB 或 Wi-Fi 与手机上的 WDA 建立连接：

   Bash

   # 运行本地服务（Rust/Go 编译产物或 CLI 命令）
   ./iphone-use serve
   

4. 接入 AI Agent (以 Claude Code 为例)

   • 将 iphone-use 作为 MCP 服务注册到你的 AI Agent 中：

   Bash

   claude mcp add iphone-use -- iphone-use agent-mcp
   

5. 开启自动驾驶

   • 现在你可以向 Claude 喊话：“帮我在手机上打开某某App，查询明天的天气/查看我的最新通知”，AI 就会自动开始看屏并操作你的 iPhone 了！

💡 总结

iphone-use 将 AI Agent 的能力真正延伸到了移动终端，为移动端自动化测试、个人 AI 助手以及复杂跨应用工作流带来了无限可能。