2026-12-05, 16:00–16:30 (UTC), 403
大型語言模型對大多數開發者來說,常常是一個「輸入文字、吐出答案」的黑盒子。我們每天呼叫 API、串接 Chatbot,卻很少真正拆開來看:這些模型內部到底在算什麼?當我們說「微調一個模型」,實際上又是在調整什麼、可能會踩到哪些坑?這場分享想從這兩個角度,帶大家從「懂原理」走到「真的做得出來」。
這次分享主要會分成兩個段落:
第一段會用一個極簡版的 GPT 實作(MicroGPT),搭配一份刻意設計過的小型測試資料,現場展示一個語言模型從「什麼都不懂」到「學會特定規律」的完整過程。測試資料來自 python-docs-zh-tw 的術語列表,並刻意把原本的命名機器改成翻譯機器(例如把「access」對應到「存取」),讓資料規模小到可以在一般筆電上、幾分鐘內完成訓練,同時保留真實的語言對應關係。透過這個極簡模型,我們可以清楚看到:文字是怎麼被切成 token、token 怎麼變成向量、注意力機制怎麼決定「這個詞該參考哪些上下文」。因為模型夠小、資料夠少,整個過程是完全透明、可以逐行程式碼解釋的。
第二段會實際用開源預訓練模型,微調出一個「Python 技術文件英翻中」的專用翻譯模型。訓練資料完全來自 python/python-docs-zh-tw 這個開源翻譯專案:透過解析專案裡的 .po 翻譯檔案,把每一組已經由社群人工翻譯、審核過的英文原文與繁體中文譯文,轉換成訓練用的格式。
在模型選擇上,會分享實際嘗試過的幾個 Hugging Face 開源模型並使用 LoRA(透過 Unsloth 加速)這種參數高效微調技術,只調整模型裡一小部分參數,就能讓模型學會特定領域的翻譯能力,而不需要重新訓練整個模型;以及在模型訓練時實際踩過的各種坑。
軟體工程師,專長於雲端系統架構與全端開發。近期致力於研究 LLM 底層原理,希望對日常工作中頻繁使用的 AI 模型有更深入的理解。