LLMs之IT：大模型核心技术—指令微调的简介、Self Instruction思想(一种生成指令数据集的方法论—主要用在指令微调阶段)的简介、Alpaca/BELLE应用、实战案例代码实现之详细攻略
目录
相关文章
LLMs之Data：指令微调的简介、Self Instruction思想(一种生成指令数据集的方法论—主要用在指令微调阶段)的简介、Alpaca/BELLE应用、实战案例代码实现之详细攻略
2023年8月21日—Paper：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读
2022年12月20日—Self-Instruct框架
《Self-Instruct: Aligning Language Model with Self Generated Instructions》翻译与解读
2022年3月4日—InstructGPT：RLHF指令微调
LLMs之InstructGPT：《Training language models to follow instructions with human feedback》翻译与解读
指令微调的简介
指令微调的概述
1.1、理解指令微调—GPT-3对比InstructGPT：GPT-3 只是在做续写任务，InstructGPT 则能够回答正确内容
1.2、指令数据集、基于指标调优的相关LLMs
Paper：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读
Self Instruction思想的简介
1、Self Instruction思想(一一种生成指令数据集的方法论—主要用在指令微调阶段)的概述：
2、基于Self Instruction思想的Alpaca应用
(1)、基于Self Instruction思想的Alpaca数据构造的概述
(2)、alpaca_data.json(实际为Alpaca利用ChatGPT生成52K条指令)、alpaca_data_cleaned_archive.json或alpaca_data_gpt4.json
alpaca_data.json文件
alpaca_data_cleaned_archive.json文件
alpaca_data_gpt4.json文件
3、基于Self Instruction思想的BELLE应用
(1)、基于Self Instruction思想的BELLE数据构造的概述
(2)、核心测试集 eval_set.json
Self Instruction的实战案例
1、基于人为指定指令要求+列举部分指令样例+利用 ChatGPT续写功能→实现举一反来三构造大批指令训练数据集【指令+输入+输出】
生成结果