GPT⑷训练数据量暴光，超级模型首次亮相！(GPT4训练数据量)
GPT⑷训练数据量暴光，超级模型首次亮相！
一、GPT⑷训练数据集的范围
1. GPT⑷的训练数据集包括约1.3万亿个token。这些token是通太重复计算多个epoch中的token得到的。
2. 针对基于文本的数据进行了2个epoch的训练，针对基于代码的数据进行了4个epoch的训练。
3. GPT⑷的数据集范围巨大，如果假定训练数据量为9万亿token，相当于45 terabyte的数据量。
二、详细介绍GPT⑷的架构和基础设施
1. GPT⑷采取混合专家模型（MoE）的设计，其中包括使用张量表示数据的线性关系的多线性函数。
2. MoE模型利用张量来表示多线性函数和线性关系的基本例子，如内积、外积、线性映照和笛卡儿积。
3. GPT⑷的架构和推理的基础设施在文章中得到了详细介绍和说明。
三、GPT⑷的参数量和本钱
1. GPT⑷包括约1.8万亿个参数，这个数量是巨大的。
2. GPT⑷的训练进程中的计算量约为3700 TFLOP，相对纯密集模型的计算量来讲非常巨大。
四、GPT⑷训练数据量的细节
1. GPT⑷用于训练的数据量听说在5到9万亿token之间，假定是9万亿token，相当于45 terabyte的数据量。
2. GPT⑷的训练数据量是GPT3.5的190倍，根据OpenAI 2023的缩放率计算得出。
五、GPT⑷的训练进程和推理基础设施
1. GPT⑷经过了从头训练的进程，训练和推理的基础设施在文章中有详细的介绍和说明。
