← 全部作品

模型訓練與評估2026

強化學習 Boss 對戰 AI

讓 AI 在原速《血源詛咒》實機挑戰科斯的孤兒:PPO 策略搭配快速反射與人工規則,保留版在實機打出 44 場 35 勝。之後繼續把觀測、規則與學習拆開實驗,研究怎麼把更多判斷交回模型自己學。

Reinforcement LearningLive-tested
AI 在實機擊倒二階段 Boss
實機勝率(44 場)
80%
最長連勝
13
維狀態輸入
5,539
策略/反射頻率
4.6 / 60 Hz

Why

為什麼做

策略網路每 0.217 秒才決策一次,Boss 很多閃避和槍反窗口卻只有 0.1–0.2 秒;而且模型只看得到自己打過的畫面,學不到「換個打法會怎樣」。我想找一個真實環境,把 RL、模仿學習和評估方法一起跑通。

What I built

我做了什麼

  • 唯讀記憶體觀測加虛擬手把輸入:離線單機,不改血量也不改傷害,AI 跟人用一模一樣的按鍵打。
  • MaskablePPO 策略網路:5,539 維狀態(位置、朝向、地形距離、招式剩餘時間、判定窗倒數、資源),14 種動作。
  • 60 Hz 反射執行緒:預測落雷射線與投擲物,只在角色雙手空著時接手 0.22 秒。
  • 可熱重載的 action masking 規則:只擋掉明顯送命的按鍵,選擇權一樣留給網路。
  • 60 Hz 模擬道場:從反編譯腳本還原 Boss AI,自己可以進去打、看 AI 打,也能開加速訓練。
  • 一輸就停的檢討工具:死掉自動暫停遊戲,整理死前幾秒的出招、反射觸發和距離。

Engineering

我碰到的工程問題

  • Covariate shift:拿「模型 + 35 條規則」的 80 場錄影直接做行為克隆,離線 loss 一直降,上實機被打頻率反而暴增到 2.3 倍,4 場只贏 1 場。改用 DAgger 後走位與喝藥進了權重,只留人類反應不過來的 0.2 秒內時機規則,勝率回到 70%。
  • 跨 Boss 遷移學習:聖職者野獸 → 加斯科因神父 → 瑪利亞 → 孤兒,約 95% 權重直接沿用(4,980 / 5,222)。
  • 歷史紀錄看不出「當時換個打法會怎樣」:逐場補死因進步有限,後來把玩家觀念「一階段別讓 Boss 貼身」寫成規則,再逐招稽核二階段,勝率上到 80%。
  • 改動一律用整段連續場次的勝率,搭配信賴區間與連敗機率評估,不看單場輸贏下結論。

Role & AI

我和 AI 怎麼分工

目標、操作限制與驗收標準全由我定,打輸了就重看錄影、追每一場的細節紀錄。Claude Code、Codex 與 Gemini 一起參與程式碼、審查和模擬道場;最後留哪個版本、哪個死因該補觀測還是重訓,由我拍板。

Trade-offs

實測後推翻與取捨

  • 策略主體跑在約 4.6 Hz,遇到 0.2 秒內的閃避/槍反窗就交給 60 Hz 反射層接手,把訓練重心與穩定度留給走位和大方向決策。
  • 曾把提示表換成更精確的版本卻沒跟著重訓,實機直接掉到 4 勝 10 敗——改觀測同樣會打亂模型原本熟悉的輸入分布。
  • 道場裡一面放錯位置的牆曾把模型教成一路後退;模擬器能加速實驗,地形和走位還是得回實機確認。

Outcome

成果

混合架構版本在原速實機打出 44 場 35 勝、最長 13 連勝(附逐場紀錄);後續也拆開做純 RL、威脅雷達與模擬道場實驗,持續把更多判斷交回模型。

PythonPyTorchStable-Baselines3MaskablePPODAggerGymnasiumReverse Engineering