自己開發ChatGPT：LLM從頭開始動手實作

☆大型語言模型的白話文介紹
　　☆大型語言模型技術有什麼？
　　☆預訓練資料的建立(語料庫)
　　☆大型語言模型從頭來 – 預訓練
　　☆挖掘大型語言模型潛能：有監督微調
　　☆大型語言模型強化學習對齊
　　☆大型語言模型的評測標準
　　☆大型語言模型的重要應用
　　☆動手做大型語言模型
　　☆自己訓練一個7B的大型語言模型
　
　　本書涵蓋大型語言模型的全貌，從基礎概念到實際應用。第一章介紹大型語言模型的基本概念。第二章深入解析其基礎技術，包括自然語言資料表示、Transformer架構以及BERT和GPT等預訓練模型，並以InstructGPT和LLaMA系列為例展示實用成果。第三章探討預訓練資料的類別、來源和處理方式。第四章詳細介紹大型語言模型的預訓練過程，包括不同架構和訓練策略。第五章解釋有監督微調的定義、用途和應用場景，以及微調資料建構和技巧。第六章介紹強化學習的基礎知識及在大型語言模型中的應用，特別是基於人類回饋的強化學習（RLHF），並展望其未來發展。第七章介紹大型語言模型的評測方法，包括微調後的對話能力和安全性評測，並探討通用人工智慧的評價。第八章展示提示詞技術在引導大型語言模型方面的應用，介紹搜索增強生成技術和推理協作技術，使模型能逐步分解並解決問題。第九章探討從訓練到任務完成的專案最佳化技術和實作案例，以提高模型的效率和可擴充性。第十章提供微調大型語言模型的關鍵步驟和程式範例，便於實際應用。