如何基于chatgpt进行二次训练的进一步展开说明

## 前言

### Fine-tuning：提高智能个性化模型的方法

大力出奇迹的ChatGPT以其惊人的智能赢得了赞誉。但是，训练这些大模型是需要耗费大量资金的。根据OpenAI提供的数据，训练17亿参数的Davinci模型需要耗费3个月的时间和150万美元。对普通人或小公司来讲，这样的门坎会不会意味着定制化模型是完全不可能的呢？其实，除从头开始训练一个模型，我们还可以选择在基础模型的基础上进行微调训练，将我们自己的个性化数据添加进去，终究取得一个领域特定的增强型个性化模型。这类技术被OpenAI称为Fine-tuning（微调）。

### 个性化模型的重要性

我们知道，OpenAI提供的模型（如Davinci、Curie、gpt⑶.5-turbo）都是通用模型。但是，现代社会的各个行业和领域都有自己独特的专业知识。以智能客服为例，虽然ChatGPT可以利用于智能客服，但保险行业的客服要面对完全区别的客户和问题，与淘宝店的客服相比也是如此。为了提供更好的答案，我们需要打造自己的个性化模型。

### Fine-tuning的原理

Fine-tuning技术基于预训练模型，通过在小范围任务上微调预训练模型的权重，使其能够适应特定任务的输入和输出。

Fine-tuning通常包括以下步骤：

1. 加载预训练模型：选择与任务相关的预训练模型，并加载其权重。
2. 选择任务数据集：选择合适特定任务的数据集。
3. 进行微调：使用任务数据集作为输入，通过最小化模型在该数据集上的损失函数来微调模型。通常需要在训练集和验证集上进行屡次迭代，以免过拟合问题。
4. 在测试集上进行测试：使用微调后的模型在测试集上评估性能。

Fine-tuning的优点在于它可以快速取得针对特定任务的高质量模型，无需从头开始训练模型。由于Fine-tuning仅更新部份权重，大部份权重已在预训练阶段得到了优化，因此Fine-tuning所需的训练时间和计算资源相对较少。

## 步骤

### 实例：知识星球的粉丝群问答

在这里，我想到了一个想法，即知识星球的粉丝群问答。每一个问题都有一个相应的答案，就像齐豪杰的投资理财粉丝群。如果我们将最近一个月的问答数据作为训练数据，看看结果会如何，这多是一件有趣的事情。

a. 准备训练数据集

我们需要将训练数据准备为jsonl格式，每行都采取json的格式，以下所示：

“`json
{“prompt”: “<问题>“, “completion”: “<理想的回答>“}
{“prompt”: “<问题>“, “completion”: “<理想的回答>“}
“`

例如，我们的训练数据集为dataset.jsonl，其中包括大约2500个问题和答案。对Fine-tuning来讲，数据量不能太少，训练数据最好很多于100条。

例如：

“`json
{“prompt”: “医药和消费有甚么基金推荐的”, “completion”: “医药可以看看工银前沿的赵蓓，她挺均衡的，对这个行业我了解不多，你还可以看看医药100指数，消费挺多的，消费50也挺好。”}
{“prompt”: “请教一下老师，恒生科技第一大持仓股是快手。而快手是亏损最大的互联网企业。仿佛齐老师也说过不看好快手，是不是影响恒生科技持仓。”, “completion”: “如果你要是能选股，确切不应当买指数。从指数选择的角度来讲。中概互联我们更看好一些。但他跟恒生科技的相关度其实很高”}
{“prompt”: “想问一下国投瑞银这边基金公司和綦缚鹏的风格实力怎样样”, “completion”: “他风格不是很固定。最近在偏向周期。（个人观点，不作为投资建议）”}
“`

其中，prompt代表问题，completion代表答案。

b. 安装工具

在机器学习领域，Python是主力语言。在OpenAI中也是如此。首先需要安装Python环境，然后使用pip工具安装OpenAI提供的训练工具。

“`bash
pip install –upgrade openai
“`

同时，由于需要与OpenAI平台进行交互，我们需要注销OPENAI_API_KEY。该密钥需要注册并付费。

“`bash
export OPENAI_API_KEY=””
“`

c. 优化数据

使用OpenAI工具对训练数据进行优化。

“`bash
openai tools fine_tunes.prepare_data -f dataset.jsonl
“`

该命令将对训练数据进行优化。在运行进程中，该命令会询问几个问题，主要是为prompt添加固定后缀，如“->”，并在completion的开头添加空格和结尾的换行符。

例如：

“`json
{“prompt”:”医药和消费有甚么基金推荐的 ->”,”completion”:” 医药可以看看工银前沿的赵蓓，她挺均衡的，对这个行业我了解不多，你还可以看看医药100指数，消费挺多的，消费50也挺好。 ”}
{“prompt”:”请教一下老师，恒生科技第一大持仓股是快手。而快手是亏损最大的互联网企业。仿佛齐老师也说过不看好快手，是不是影响恒生科技持仓。 ->”,”completion”:” 如果你要是能选股，确切不应当买指数。从指数选择的角度来讲。中概互联我们更看好一些。但他跟恒生科技的相关度其实很高 ”}
{“prompt”:”想问一下国投瑞银这边基金公司和綦缚鹏的风格实力怎样样 ->”,”completion”:” 他风格不是很固定。最近在偏向周期。（个人观点，不作为投资建议） ”}
“`

生成的数据文件为dataset_prepared.jsonl。

d. 提交数据进行训练

准备好数据后，将其提交到OpenAI平台进行训练。需要提供数据文件dataset_prepared.jsonl和基础模型。目前OpenAI支持4种基础模型（Davinci、Curie、Ada、Babbage），按价格从高到低，性能从强到一般排序。为了了解每一个模型的效果，可以同时基于2个基础模型进行训练，最后比较结果。由于训练本钱的斟酌，我们先使用Curie作为基础模型进行训练。

“`bash
openai api fine_tunes.create -t dataset_prepared.jsonl -m curie
“`

训练时间大约需要30分钟以上。可使用以下指令获得训练进度。ft-SSIJ4DsHFfp9LEtuHWyQcn5B是fine-tuning的任务ID，该ID会在前面的create命令中给出。

“`bash
openai api fine_tunes.follow -i ft-SSIJ4DsHFfp9LEtuHWyQcn5B
“`

这里有一个小技能，如果训练数据集较大，不需要在每次提交训练任务时重新上传数据，可以直接使用先前已上传的数据。具体方法以下：

“`bash
openai api fine_tunes.create -t file-WSkHmtSfBLORMAhEoEVyBDO4 -m curie
“`

其中，file-WSkHmtSfBLORMAhEoEVyBDO4是在上传文件后通过以下命令获得的：

“`bash
openai api files.list
“`

e. 使用模型

查看fine-tuning任务的详细信息。

“`bash
openai api fine_tunes.list
“`

Fine-tuning任务完成后，得到的自定义模型ID为”curie:ft-personal⑵023-04-04⑴5⑵8⑶4″。花费时间排队约20分钟，训练约30分钟，费用约为4.89美元。由于数据量为2500条，所以训练本钱其实不低。

接下来，我们使用新模型进行发问。

“`bash
openai api completions.create -m “curie:ft-personal⑵023-04-04⑴5⑵8⑶4” -p “医药和消费有甚么基金推荐的 ->”
“`

惋惜，得到的答案质量较差。让我们查看训练结果数据。我们的训练目标是使损失函数(training_loss)最小化，并使训练序列准确率(training_sequence_accuracy)和训练标记准确率(training_token_accuracy)最大化，但从以下数据可以看出，训练损失最小为0.06372293254171614，训练序列准确率仅为0.5，训练标记准确率最高为0.9166666666666666，而且表现不稳定。这也解释了为何问答效果不好。

“`bash
openai api fine_tunes.results -i “ft-SSIJ4DsHFfp9LEtuHWyQcn5B”
“`

如何基于chatgpt进行二次训练的常见问答Q&A