← 全部作品

模型訓練與評估2026

PicoCare · 本地判斷與關懷流程

從「長輩沒打卡,關懷人員下一步該做什麼」出發,串起手機最小摘要、關懷工作台與本地判斷模型原型。實驗對照了自訓 LoRA 與現成小模型;只要線索不足,流程就直接交回給真人跟進。

LoRA Fine-tuningPrototype
通用 NLI 測試準確率
79.7%
通用 NLI 保留測試題
1,800
v1 候選批次中位延遲,RTX 4060
60 ms

Why

為什麼做

沒打卡可能是忘記、出門沒帶手機、裝置故障,也可能是真的需要協助。關懷人員要的是能判斷輕重緩急的線索,不是長輩整支手機的通知與活動隱私;同時「資訊不足」必須當成正式結果,不能叫模型硬猜。

What I built

我做了什麼

  • 照護分類試驗:用合成案例比較 Nemotron embedding 加分類頭與 LoRA 微調,區分漏回報、資訊不足和需優先查核的情境。
  • 通用判斷器 NV-Jev:移植 OpenJev 的 NLI 做法在 NVIDIA reranker 上訓練 LoRA,另試 Kev 風格的直接選項 pointer head。
  • 後續直接改測作者已訓好的 Kev-0.8B CPU 推論服務,先看任務合不合用,再決定值不值得繼續微調。
  • Android 端最小摘要與同意/撤回控制、HTTPS/SQLite 後端、工作台建案認領、有限提醒、家屬回報與人工結案。

Engineering

我碰到的工程問題

  • 訓練、驗證、校準與測試切得一清二楚;通用 NLI、合成照護題跟手機流程各自看結果,不混算成一個分數。
  • 79.7% 總分背後有個關鍵弱點:v1 在中文 XNLI「資訊不足」只答對約 36%。對照護分流來說,這題比總分更重要。
  • 照護 pilot 的 LoRA 在挑戰題沒贏過固定底座加分類頭,溫度校準也把 NLL 拉差了,最後留下更單純的預設方案。
  • 手機端先管好資料過期與撤回同意,模型推論現階段部署在主機上,方便快速替換權重測試。

Role & AI

我和 AI 怎麼分工

照護情境、隱私底線和什麼情況交給真人處理都由我定,再和 Codex 一起做模型實驗、後端及裝置整合。最花心思的是看懂哪個數字才真正跟使用情境有關,以及什麼時候該停手改試現成模型。

Trade-offs

實測後推翻與取捨

  • 手機只送出經同意的最小摘要,完整隱私資料留在裝置內;缺線索就老實回報「資訊不足」,交給工作人員接手。
  • 主機端測得 v1 批次延遲約 60 ms(RTX 4060),改跑 Kev-0.8B CPU 短題則在 0.6–1.4 秒;初期先把判斷邏輯與工作流程磨順,再接手手機端輕量化壓測。

Outcome

成果

已完成模型權重、逐題評估、CPU 推論服務,並用合成資料跑通工作台結案流程;接下來規劃將推論搬上手機本機並投入真實照護場域測試。

PyTorchLoRANVIDIA NemotronCalibrationNLIAndroidSQLiteDocker