openai/gpt⑵: Code for the paper “Language Models are Unsupervised Multitask Learners&#
【独家】GPT⑵论文浏览：了解一代机器智能的核心技术！
本文对GPT⑵论文进行概述，从模型介绍、实验结果到利用挑战等方面，全面了解GPT⑵作为一代机器智能的核心技术。我们将触及GPT⑵的各个方面，如区别任务上的表现、与其他模型的对照、GPT⑵的利用领域和其中的挑战等，使读者深入了解GPT⑵的优势、局限性和未来可能的发展方向。
一、GPT⑵简介
GPT⑵是一个基于Transformer架构的文字生成模型，采取Pytorch实现。相比于之前的模型，GPT⑵有许多优点，例如不需要微调便可利用于多个任务，具有零-shot能力。但是，为了让模型理解要履行的任务，对输入格式有一定的要求。
二、GPT⑵在区别任务上的表现
GPT⑵在命名实体辨认任务上超过了现有的state-of-the-art方法。在”Children’s Book Test”数据集上的实验结果显示，GPT⑵的准确性和性能优于其他模型。另外，GPT⑵在捕捉长时间依赖关系的任务方面表现出色，”LAMBADA”数据集的使用和实验结果说明了GPT⑵在捕捉长时间依赖能力方面的优势。
三、中文版GPT⑶：CPM模型的发布
智源研究院发布了CPM-LM模型，该模型具有26亿参数。未来，还计划开源更大范围的模型，参数可能到达200亿或1000亿。
四、GPT⑶数据集分析
GPT⑶论文中分析了数据集的构成，其中对Books1数据集未公然。对Books2数据集，进行了详细的分析。
五、GPT⑵与其他模型的对照
与手机输入法相比，GPT⑵的存储需求更高。同时，我们探讨了GPT⑷生成解释的步骤和利用。
六、GPT⑵论文综述
GPT⑵是一个参数数量到达1.5亿的大范围模型，并且与GPT论文有关。本文还介绍了基于Transformer架构的GPT⑵模型。
七、GPT⑵利用领域与挑战
GPT⑵作为开放领域文本生成用具有很大的潜力，但也存在一些局限性。挑战包括对模型的系统性研究和改进，我们介绍了GPT⑵的系统性研究发现和分析，和面对挑战的局限性和可能的改进方向。
gpt 2 paper的进一步展开说明
状态：存档（提供的代码按原样提供，不会更新）
本文介绍了论文《语言模型是无监督的多任务学习器》中的代码和模型。
您可以在我们的原始博客文章、6个月后的跟进博客文章和终究博客文章中了解有关GPT⑵及其分阶段发布的信息。
我们还发布了一个数据集供研究人员研究其行动。
* 注意，由于毛病（在我们之前的博客文章和论文中），我们的原始参数计数是毛病的。因此，您可能看到“small”被称为117M，“medium”被称为345M。
使用方法
此存储库旨在为研究人员和工程师提供一个使用GPT⑵进行实验的出发点。
有关基本信息，请参阅我们的模型卡。
一些注意事项
GPT⑵模型的稳健性和最坏情况行动尚不清楚。与任何机器学习模型一样，特别是在没有微调或在重要的安全关键利用中使用时，请仔细评估GPT⑵的用例。
我们的GPT⑵模型训练数据集中包括许多具有偏见和事实毛病的文本，因此GPT⑵模型可能也具有偏见和不准确性。
为避免将样本误认为是人类编写的，请在广泛传播之前明确标注样本为合成的。我们的模型在某些细微的方面可能不联贯或不准确，需要人类进行仔细浏览才能注意到。
与我们合作
如果您正在使用或研究GPT⑵的利用，请告知我们！我们特别希望与那些正在研究以下内容的人士进行交换和潜伏合作：
潜伏的歹意使用案例及其防御措施（例如，合成文本的可检测性）
模型中固有的问题内容（例如，偏见）的程度和有效的减轻措施
开发
请参阅 DEVELOPERS.md
贡献者
请参阅 CONTRIBUTORS.md
援用
请使用以下bibtex条目：
@article{radford2019language, title={Language Models are Unsupervised Multitask Learners}, author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya}, year={2019} }
未来工作
我们可能会发布用于在各种基准测试中评估模型的代码。
我们仍在斟酌发布更大的模型。
许可证
修改后的MIT，请以第三人称视角来表达，并总结为中文的「进一步展开说明」。要求以下：
gpt 2 paper的常见问答Q&A
问题1：GPT⑵是甚么？
答案：GPT⑵是一种基于Transformer架构的大型语言模型，具有15亿个参数，它可以生成真实的文本段落，并在零样本泛化上表现出色。它是OpenAI推出的一种预训练模型，通过在800万个网页数据集上进行训练得到。GPT⑵的训练使用了一种简单的语言模型目标函数，在标记的文本序列中，通过预测下一个单词来实现预训练。GPT⑵的 unleashed 版本还包括了一个解码器，在训练期间模型能够自动从给定的开始标记开始生成文本。
- GPT⑵是基于Transformer架构的语言模型。
- GPT⑵具有15亿个参数。
- GPT⑵能够生成真实的文本段落。
问题2：GPT⑵相比于GPT⑴和Bert有哪几种区别的地方？
答案：GPT⑵相较于GPT⑴和Bert有以下区别的地方：
- GPT⑵的模型参数多达15亿，比GPT⑴和Bert更大。
- GPT⑵不再需要微调便可利用于下游任务，可以直接将模型利用于下游任务，而GPT⑴和Bert需要微调。
- 为了让GPT⑵理解要做的任务，对输入的格式做了一些要求。
问题3：GPT⑵在哪些任务上获得了不错的表现？
答案：GPT⑵在以下任务上获得了不错的表现：
- 在”Children’s Book Test”数据集上的命名实体辨认任务中，GPT⑵超过了state-of-the-art方法约7%。
- “LAMBADA”是一个测试模型捕捉长时间依赖能力的数据集，GPT⑵将困惑度下降到了其他模型之下。
问题4：GPT⑵的模型参数范围有多大？
答案：GPT⑵的模型参数范围到达了15亿个。
