本文作者：huangserva（@servasyy_ai）。版权归作者所有，未经授权禁止转载。
我搭过一条全自动视频产线：选题、写稿、配音、数字人、成片，全是 agent 干。
最后一步“发布”，我们也自动化过：小红书有网页版创作平台，Playwright 脚本能把片子传上去。真跑起来，问题全在风控——无头浏览器的指纹被盯上，登录态隔三差五掉，跑着跑着弹扫码，还得人来。折腾一圈，这一步又回到了人肉。
而且发布算好的，它至少有网页入口。你翻翻手机上的其它活儿：朋友圈没有网页版；评论区管理、私信、领券，一大半只在 App 里。agent 生态里浏览器端满地跑、桌面 computer use 也有了，一到移动 App，要么进不去，要么进去了活不长。
为什么手机这块这么难啃？以及更有意思的：为什么第一个真啃下来的产品，入口不是 App、不是网页，偏偏长在 iMessage 里？这两个问题是同一个答案，值得从技术上讲清楚。
一、为什么手机是 agent 最难啃的端
agent 要操作一个界面，前提是“读懂”它。三个端的难度完全不一样：
浏览器最舒服。整个页面就是一棵 DOM 树，每个按钮有 id、有文本、有层级，agent 直接读结构，指哪打哪。Operator 这类浏览器 agent 先冒出来，不是巧合。
桌面次之。系统有 accessibility API（给读屏软件用的无障碍接口），窗口和控件大多能拿到结构。
手机最难。Android 理论上也有无障碍控件树，但一大半主流 App 拿不到完整的：Flutter、React Native、自绘 UI 的应用，渲染出来就是一整张画布，树里几乎是空的。App 之间强隔离，没有公开 API，风控还盯着自动化行为。
网页自动化还有一层死穴：虚拟环境的设备指纹，在强风控 App 眼里天然可疑——我的 Playwright 发布脚本问题经常在这上面。
结构化的路只有：像人一样用眼睛看——这条最难最贵的纯视觉路线，就是移动端 agent 来得最晚的原因。
二、Airtap 的架构，从行为反推
官方没公开架构图，以下是我从产品行为反推的，大概率八九不离十：
iMessage/RCS(任务入口)
↓
任务队列 + 规划模型(把任务拆成操作序列)
↓
云端 Android 实例(容器化安卓或真机农场)
↓ 截屏流
VLM 视觉定位(看懂当前屏幕:哪是按钮、哪是输入框)
↓ 动作指令
执行层(tap 坐标 / swipe / 输入文本)
↓ 再截屏,进入下一轮核心是那个闭环：截屏 → 视觉模型理解 → 出一个动作 → 执行 → 再截屏。每一步都是一次“看图说话”，叫 grounding——模型不光要认出“这是发布按钮”，还得给出它在屏幕上的坐标。点歪几十个像素，整个任务就跑偏。
两个设计我认为比较聪明：
一是iMessage 当入口（目前支持 iMessage / RCS，暂不支持纯 SMS）。不只是交互噱头——视觉闭环一步要 1~3 秒推理，一个任务几十步，天然是分钟级的活儿。做成实时对话体验必然拉胯；做成“发消息派活、干完回话”的异步模型，慢就成了预期，而非缺陷。Chollet 说“SMS 是移动 App 的 agent 执行层”，指的就是这个：消息即任务队列。而且入口选在 iMessage 还有一层妙处：它是你手机里唯一不用安装、不用注册、天天在用的 App——派活这个动作本身，零学习成本。
二是云手机，而非控你的手机。登录态、设备指纹、运行环境全在云端固定，任务可复跑、过程可回放；而且它的指纹是一台真手机，这正是 Playwright 方案缺的东西。云机在海外，国内够不着的 App 顺便也解决了。当然代价也有：你的账号得登在别人机器上，安全问题放到第四节说。
三、从架构推导它必然的毛病
有几个毛病是这条路线天生的，不用等实测就能写出来：
**慢是物理极限。**每步 1~3 秒推理 × 几十步，加上 App 加载、滚动等待，一个任务几分钟起步。API 调用是毫秒级，差着四个数量级。
**grounding 会失手。**弹个广告、界面改版、换个语言，模型就可能点错。好的实现会加重试和自校验（点完截屏确认结果），但概率降不到零。这条 computer-use 路线谁都躲不开。
**风控是悬顶之剑。**真机指纹比无头浏览器强得多，但行为模式（点击节奏、活跃时段）依然可能被建模。它跟平台风控长期是猫鼠游戏——这也是我实测最想验证的一条。
这三条在真实任务里到底什么手感，第六节实测里见。
四、安全模型：这笔账摊开算
登录这件事它是这么处理的：你在云手机上登录一次，session（登录态）就一直存在那台云机里；agent 看的是屏幕像素，不碰你的密码明文。操作全程截屏留痕，出了问题能调记录回放。
这比把密码直接交给脚本强多了，但有个绕不过去的点：session 本身就是权限。只要那台云机还在跑，你的登录态就一直躺在上面；哪天平台被人摸进去，你的号也跟着遭殃。所以我登的是小号，大号等它经得住考验再说。
涉及支付的任务，现阶段别交给任何视觉 agent——它点错一个按钮的代价，和点错一个“关注”不是一个量级。
五、放进坐标系里看
- Appium/自动化脚本：十年前就有的老办法，每个 App 每个版本都得单独写脚本，界面一改就得重写，基本只有工程师用得起来；
- 浏览器 agent（Operator 类）：有 DOM 可读，所以成熟得最快，但它只能管有网页版的服务——小红书、抖音、微信这些，核心生态压根不在网页里；
- 桌面 computer use：什么软件都能点，前提是你得给它一台开着的电脑，而且照样够不着手机 App；
- Airtap 这类移动视觉 agent：路最难走，出现得也最晚，但它够得着的恰恰是前面三个都够不着的地方——而移动互联网的大头，本来就在 App 里。
六、实测
我给它派的活是我每天真在干的：追 AI 圈几个头部 YouTube 频道的更新。在 iMessage 里把需求打过去——每天早上 8 点，自动去 YouTube 看我点名的几个 AI 频道有没有发新视频，有的话每条给我一句话摘要（上图）。它回过来一条配置说明，让我补上频道名称、时区和执行时间。填好之后，这个叫 Routine 的定时任务就算建成了（下图）：存一次，往后天天自动跑。
正式开跑前先遇到个小插曲，反倒成了第一个实测样本：分给我的云手机是台干净的新机，YouTube 都没装。我在对话框里发了句中文“帮我装一个 YouTube App”，它自己走完了全程——先查一遍已装应用确认没有，再打开 Play 商店搜索，点安装，装完顺手启动进了首页，回我一句“YouTube 已经装好了，可以直接用”。整个过程没要我碰一下屏幕。前面第二节说的那个“截屏 → 理解 → 动作”闭环，在这个活儿里看得清清楚楚：连“装 App”这种前置准备，都不用人管。顺便验证了一个细节：中文指令它接得住。
App 装好，正式的第一单接着派下去。指令还是中文，内容很具体：在 YouTube 里挨个搜三个频道——Two Minute Papers、Matt Wolfe、AI Explained——各自进 Videos 页找到最新一条视频，把标题、播放量、发布时间和一句话摘要发回来；我还额外加了一条约束，全程不许打开任何需要登录的 App。它照单执行完，最后停在 AI Explained 的最新视频页上，左边对话框里是三个频道的中文汇总，末尾一行绿色的“Task completed!”（上图）。有意思的是它自己在回复里补了一句：全程只在 YouTube 里操作，没有打开需要登录的其他 App——连边界约束这种“负向指令”，它也当真执行并主动汇报了。跑完还顺手给了三个后续建议（展开某条摘要、找相关视频），一句话就能接着派下一单。
整个过程我录了完整视频，从发出指令到“Task completed!”一镜到底，没有剪辑、没有人工接管——右侧云手机屏幕上每一次搜索、点击、滑动都看得见。点击下面的窗口直接播放：
▶ 点击播放完整实测录屏
这也是我建议你自己上手时的姿势：别只看它最后回了什么，盯着屏幕看它怎么一步步走到那里的，那个“截屏 → 理解 → 动作”的循环比任何参数都直观。
至于结果对不对，翻一遍频道页就能对账，这里不展开——录屏里它停在哪个页面、回了什么，都在那儿摆着。Routine 也已经存好，往后每天早上 8 点，这份摘要会自己出现在 iMessage 里（见上图）。
七、适合谁
手机上有重复活儿的（盯帖、盯价、盯更新），交给它顺；做 agent 的，流水线里“必须摸手机”的断点，第一次有了能接的执行层。
不知道第一条消息发什么，可以从官方这几个现成的活儿里挑：在 LinkedIn 上用 Easy Apply 批量投简历（Apply to jobs for me on Linkedin using easy apply）、去 Walmart 和 Target 帮你把电子优惠券都领了、往购物车里加东西、总结你 X 的 For You 信息流——甚至让它根据你的时间线猜你的 MBTI。这些都是“干成了挺好，干砸了也死不了”的事，正好拿来试路。
官方还支持点咖啡、叫车这类任务——但那已经过钱了。要快的、错不起的、过钱的，这条路线现阶段都不适合，别硬上。
如果你想现在就试：去 Airtap 官网领一个专属号码，存进通讯录，在 iMessage 里发一句 hey，账号就开好了——不装 App、不注册，目前免费。第一条派活消息发什么，往上翻两段随便挑一个。
