BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//pretalx//pretalx.sciwork.dev//EFCHZR
BEGIN:VEVENT
UID:pretalx-sw26-EFCHZR@pretalx.sciwork.dev
DTSTART:20261205T160000Z
DTEND:20261205T163000Z
DESCRIPTION:大型語言模型對大多數開發者來說\,常常是一個
 「輸入文字、吐出答案」的黑盒子。我們每天呼叫 API、
 串接 Chatbot\,卻很少真正拆開來看:這些模型內部到底在算
 什麼?當我們說「微調一個模型」\,實際上又是在調整什
 麼、可能會踩到哪些坑?這場分享想從這兩個角度\,帶大
 家從「懂原理」走到「真的做得出來」。\n\n這次分享主
 要會分成兩個段落：\n\n第一段會用一個極簡版的 GPT 實
 作(MicroGPT)\,搭配一份刻意設計過的小型測試資料\,現場展
 示一個語言模型從「什麼都不懂」到「學會特定規律」
 的完整過程。測試資料來自 python-docs-zh-tw 的術語列表\,
 並刻意把原本的命名機器改成翻譯機器(例如把「access」
 對應到「存取」)\,讓資料規模小到可以在一般筆電上、
 幾分鐘內完成訓練\,同時保留真實的語言對應關係。透過
 這個極簡模型\,我們可以清楚看到:文字是怎麼被切成 toke
 n、token 怎麼變成向量、注意力機制怎麼決定「這個詞該
 參考哪些上下文」。因為模型夠小、資料夠少\,整個過程
 是完全透明、可以逐行程式碼解釋的。\n\n第二段會實際
 用開源預訓練模型\,微調出一個「Python 技術文件英翻中
 」的專用翻譯模型。訓練資料完全來自 python/python-docs-zh-
 tw 這個開源翻譯專案:透過解析專案裡的 .po 翻譯檔案\,把
 每一組已經由社群人工翻譯、審核過的英文原文與繁體
 中文譯文\,轉換成訓練用的格式。\n\n在模型選擇上\,會分
 享實際嘗試過的幾個 Hugging Face 開源模型並使用 LoRA(透過
  Unsloth 加速)這種參數高效微調技術\,只調整模型裡一小
 部分參數\,就能讓模型學會特定領域的翻譯能力\,而不需
 要重新訓練整個模型；以及在模型訓練時實際踩過的各
 種坑。
DTSTAMP:20261122T201731Z
LOCATION:403
SUMMARY:從 MicroGPT 到真實模型:拆解 LLM 原理\,再用 LoRA 微調打造 Python 文件繁中翻譯 LLM - Timmy
URL:https://pretalx.sciwork.dev/sw26/talk/EFCHZR/
END:VEVENT
END:VCALENDAR
