Why
為什麼做
AI 常卡在最後一哩:要看一眼設備面板、點沒有 API 的 App,或請旁邊的人補拍照片。與其另外裝硬體,不如直接用大家本來就帶著的手機,把觀察、操作、求助和接續執行串在一起。
What I built
我做了什麼
- Android 感知與操作工具:相機、錄音、定位、通知、螢幕與 UI 操作;Core/Hyper Mode 依任務開啟所需權限。
- HUMAN HELP 支援文字、選項、照片與現場拍攝回覆;Agent 收到回覆後接著做完任務。比賽版本另有 ESP32-S3 實體核准/拒絕控制器。
- 內建 Node.js Mobile runtime,讓 Agent 在 App 私有工作空間寫檔、跑程式與管理背景程序。
- 本機 MCP 與 Cloudflare Relay 遠端入口;遠端連線需經手機確認 OAuth 授權,PicoADB 提供經配對的裝置操作。
Engineering
我碰到的工程問題
- 斷線後要分清楚「根本沒送出」還是「可能已經執行」:讀取可以重試,會改動手機狀態的操作不能因為逾時就盲目重送。
- 工具回傳的不只錯誤碼,還帶上下一步指引,讓 Agent 碰到缺權限、鎖屏或 ADB 離線時知道怎麼接續。
- 更新和授權修復會沿用裝置身分、配對與既有設定;日常開關、斷線重連都在我自己的手機上反覆測過。
Role & AI
我和 AI 怎麼分工
系統架構、Android 端和 MCP/Relay 整合由我主導,搭配 AI coding agents 加速開發與除錯;權限何時開、斷線怎麼恢復,都在自己手機上反覆走過才拍板。
Trade-offs
實測後推翻與取捨
- 權限全程走 Android 正規機制並由使用者當場核准,把安全邊界守在作業系統這一層。
Outcome
成果
拿下 FUTUREMODE × SITCON Hackathon 2026 第三名,原始碼與展示頁皆已公開。賽後持續用在手機工具操作,後來連 PicoCar 也是直接走這條手機 ADB 路徑裝進實車主機。