本文介绍了GPT⑵模型的参数量、预训练和开源情况，旨在深入了解该模型的基本属性和它在自然语言处理领域的利用。

1. GPT⑵的参数量

GPT⑵是一个基于Transformer架构的大型语言模型，具有15亿个参数。相比于其前身GPT，GPT⑵的参数量扩大了10倍，使其具有了更强大的表现能力和语言理解能力。

2. 预训练和语言建模

GPT⑵的主要目标是通过预训练来提升在zero-shot情况下的表现。它在8个zero-shot数据集中的7个到达了sota水平，展现了其出色的能力。语言建模是GPT⑵预训练的核心任务，通过大范围的文本数据进行训练，使得GPT⑵具有了对语言的理解和生成能力。

3. GPT⑵的存储空间需求

由于其庞大的参数量，GPT⑵需要较大的存储空间来存储所有的参数。最小版本的GPT⑵需要最少500MB的空间，而最大版本的GPT⑵的存储空间需求是最小版本的13倍以上，到达了6.5GB。

4. GPT⑵的开源情况

对GPT⑵的训练参数，OpenAI团队斟酌到了安全问题，并没有完全开源。他们提供了一个小型的预训练模型，供研究者和开发者使用。这个预训练模型可以作为基础模型，可以用于生成文本、写诗、写新闻等一系列任务，并且可以根据用户的需求进行定制化的训练。

总结

GPT⑵是基于Transformer架构的大型模型，具有15亿个参数。它通过预训练来提升在zero-shot情况下的表现，在8个zero-shot数据集中的7个到达了sota水平。GPT⑵的存储空间需求较大，最小版本需要500MB的空间，最大版本需要6.5GB的空间。OpenAI团队提供了一个小型的预训练模型，供研究者和开发者使用，可以进行文本生成、写作等任务，并可以根据需求进行定制化训练。