← 全部作品

AI Agent 與 MCP2026

PickPico

讓 AI 透過手邊的 Android 手機看現場、操作 App、跑程式,需要人出手時就地向旁邊的人求助。最初是黑客松得獎作品,賽後繼續補上遠端授權、手機執行環境與斷線恢復,變成日常可用的手機工具。

SITCON 2026 · 3rd PlaceTeam Project

Why

為什麼做

AI 常卡在最後一哩:要看一眼設備面板、點沒有 API 的 App,或請旁邊的人補拍照片。與其另外裝硬體,不如直接用大家本來就帶著的手機,把觀察、操作、求助和接續執行串在一起。

What I built

我做了什麼

  • Android 感知與操作工具:相機、錄音、定位、通知、螢幕與 UI 操作;Core/Hyper Mode 依任務開啟所需權限。
  • HUMAN HELP 支援文字、選項、照片與現場拍攝回覆;Agent 收到回覆後接著做完任務。比賽版本另有 ESP32-S3 實體核准/拒絕控制器。
  • 內建 Node.js Mobile runtime,讓 Agent 在 App 私有工作空間寫檔、跑程式與管理背景程序。
  • 本機 MCP 與 Cloudflare Relay 遠端入口;遠端連線需經手機確認 OAuth 授權,PicoADB 提供經配對的裝置操作。

Engineering

我碰到的工程問題

  • 斷線後要分清楚「根本沒送出」還是「可能已經執行」:讀取可以重試,會改動手機狀態的操作不能因為逾時就盲目重送。
  • 工具回傳的不只錯誤碼,還帶上下一步指引,讓 Agent 碰到缺權限、鎖屏或 ADB 離線時知道怎麼接續。
  • 更新和授權修復會沿用裝置身分、配對與既有設定;日常開關、斷線重連都在我自己的手機上反覆測過。

Role & AI

我和 AI 怎麼分工

系統架構、Android 端和 MCP/Relay 整合由我主導,搭配 AI coding agents 加速開發與除錯;權限何時開、斷線怎麼恢復,都在自己手機上反覆走過才拍板。

Trade-offs

實測後推翻與取捨

  • 權限全程走 Android 正規機制並由使用者當場核准,把安全邊界守在作業系統這一層。

Outcome

成果

拿下 FUTUREMODE × SITCON Hackathon 2026 第三名,原始碼與展示頁皆已公開。賽後持續用在手機工具操作,後來連 PicoCar 也是直接走這條手機 ADB 路徑裝進實車主機。

MCPAndroidCloudflare Durable ObjectsCloudflare KVESP32-S3BluetoothHuman-in-the-loop