← 全部作品

AI Agent 與 MCP2026

PicoCar

幫自己的 Android 車機做桌面和 AI 助理,把導航、媒體、常用捷徑和 App 視窗整合在同一頁,車上助理跟外部 MCP 共用同一套控制能力。已裝上 Android 13 實車,也確認實體 HOME 鍵會回到 PicoCar。

Real Head-unit InstallIn Development

Why

為什麼做

車機會重新開機、ADB 總比開機慢半拍,原廠 HOME 鍵也不一定鳥 Android 的預設桌面設定。我需要一個一發動就能順手點的桌面,而且車上 AI 得看懂當下畫面和車機能力。

What I built

我做了什麼

  • 本機 agent 和 MCP server 共用 CarAgentContract/CarCapabilities/CarOperations。
  • 透過無障礙服務讀取與操作畫面;App 視窗畫在受信任的虛擬顯示器上,並尊重 FLAG_SECURE。
  • 可接任何 OpenAI-compatible 模型 API,金鑰以 Android Keystore AES-GCM 加密。

Engineering

我碰到的工程問題

  • 實車上呼叫系統設預設桌面回報成功,實體 HOME 鍵卻還是跳回原廠桌面。一路追到廠商自己的 launcher 設定改掉,再按實體鍵確認。
  • 車機本身的 ADB 身分跟手機連車機的 ADB 通道分開處理;Android 無線 ADB 用的是動態連接埠,不能寫死 5555。
  • UI 操作分開記「已送出」和「畫面已看到結果」,搭配呼叫次數上限與任務日誌,斷線時查得出卡在哪一步。
  • 版面調整保留原本的捷徑;點媒體封面會打開當前播放器,播放/上一首/下一首各自保留獨立點擊區,不讓整列點擊搶走按鈕。

Role & AI

我和 AI 怎麼分工

用開車前停車時的實際操作手感定規格,跟 Codex 一起做 Android 桌面、Agent 操作和裝置整合,最後在車上用實體 HOME 鍵、捷徑和畫面回饋一條條測過。

Outcome

成果

已完成 Android 13 實車安裝,實體 HOME 鍵與新版桌面配置均現場驗證通過;後續補上的動態 ADB 自動恢復與媒體按鈕點擊修正也已完成建置與測試。

AndroidJavaMCPAccessibility ServiceVirtual DisplayAndroid Keystore