哪一个模型是GPT⑶的开源替换品？
GPT⑶的开源替换品是哪一个模型？
GPT⑶（Generative Pre-trained Transformer 3）是由OpenAI开发的预训练语言模型，目前其实不开源，仅作为有偿服务提供。
即使如此，有人认为，如果GPT⑶开源了，像LLMa一样，能在M1芯片上运行的时间大约需要5天。开发者们能够帮助OpenAI解决GPU瓶颈，但条件是他们开源模型。
好消息是，Cerebras公司在Apache⑵.0协议下开源了一个包括七个区别参数的GPT模型，这些参数涵盖了从1.11亿到130亿的范围。这一举措为语言模型的开源提供了一个新的选择。
监管GPT⑶的行动是必要的，但同时也认识到开源的重要性，开源能够更好地让社区参与和管理如此大型的语言模型。
EleutherAI的GPT-Neo项目是GPT⑶的复现与开源模型之一。该项目提供了1.3B和2.7B级别的模型参数，为使用GPT⑶的开发者们提供了一个替换选择。
GPT⑶是GPT⑵的升级版，包括更大的模型范围、更高的准确率、更快的训练速度和处理更复杂任务的能力，但并未开源。
目前，并没有官方方式发布GPT⑶的开源版本，但已有一些团队通过复现等方式提供了替换品。
甚么是GPT-J？
GPT-J是一个基于GPT⑶的自然语言处理AI模型。它由60亿个参数组成，并在一个800GB的开源文本数据集上进行训练。与GPT⑶具有类似范围的模型相媲美。
参考文章：
- LLM⑵023:GPT-J【GPT⑶开源替换品】【EleutherAI
- ChatGPT 的开源“替换”来了!前 OpenAI 团队出手,能用中文…
GPT-J与GPT⑶的区分是甚么？
文章没有提到GPT-J与GPT⑶的具体区分。
参考文章：
- GPT-J 是一个基于 GPT⑶,由 60 亿个参数组成的自然语言处理 AI 模型。该模型在一个 800GB 的开源文本数据集上进行训练,并且能够与类似范围的 GPT⑶ 模型相媲美2023 年,微软与 OpenAI 达成了协议,微软将具有对 GPT⑶ 源代码的独家访问权,自此 OpenAI 就不像以往一样开放其 GP…
GPT-J是如何训练的？
GPT-J是在一个800GB的开源文本数据集上进行训练的。具体的训练细节没有提到。
参考文章：
- GPT-J 是一个基于 GPT⑶,由 60 亿个参数组成的自然语言处理 AI 模型。该模型在一个 800GB 的开源文本数据集上进行训练,并且能够与类似范围的 GPT⑶ 模型相媲美2023 年,微软与 OpenAI 达成了协议,微软将具有对 GPT⑶ 源代码的独家访问权,自此 OpenAI 就不像以往一样开放其 GP…
