OpenAI开源GPT⑷:加速人工智能领域的发展(openai gpt 开源)
摘要:
本文将介绍OpenAI开源GPT⑶的计划与发展情况。OpenAI对GPT⑶的管理和保护非常重视,目前还没有开源这一模型,由于他们认为很少有人和公司有能力妥善管理如此大型的大语言模型。但是,OpenAI宣布全面开放GPT⑷ API,为所有付费API用户提供访问具有8K tokens上下文的GPT⑷ API,无需等待时间。GPT⑷作为OpenAI最强大的模型,自从3月份发布以来引发了广泛关注。
正文:
OpenAI是人工智能领域的领先公司,他们的GPT⑶语言模型备受注视。但是,由于模型的庞大和复杂,OpenAI一直没有开源GPT⑶。他们认为很少有人和公司有能力妥善管理如此大型的大语言模型,因此决定暂时不开源。
虽然GPT⑶没有开源,但OpenAI宣布全面开放GPT⑷ API,为所有付费API用户提供访问GPT⑷ API的机会。GPT⑷是OpenAI最强大的语言模型,具有8K tokens的上下文,引发了广泛关注。用户无需等待时间就能够访问GPT⑷ API,这为开发者提供了更便捷的机会。
与之前的模型相比,GPT⑷表现更加出色。之前的模型Orca在性能上略逊一筹,平均性能只有49.7%,而GPT⑷的性能高达75.7%。在时间序列、导航和彩色物品等方面,Orca的表现不如GPT⑷。因此,GPT⑷成了OpenAI的主力模型。
虽然OpenAI提供了基于OpenGPT的不要钱开源平台,但使用OpenGPT仍遭到一些条件和限制。用户需要遵照相关规定,以确保正常的使用体验。
在未来的线路图中,OpenAI计划在2024年开放GPT⑷的多模态能力。这将使模型在更多的场景和任务中发挥作用,进一步推动人工智能领域的发展。另外,OpenAI还计划通过API访问ChatGPT插件等功能,但这些功能将不会在短时间内发布。
值得一提的是,OpenAI训练GPT⑷需要大量的计算资源。他们利用约25000个A100进行训练,约90到100天的时间,GPT⑷的FLOPS约为2.15e25。但是,由于故障致使需要重新开始训练,训练进程的利用率只有32%到36%。
关于开源GPT⑶的问题,OpenAI目前正在斟酌,但还没有具体的计划。他们希望在开源之前,充分斟酌大型语言模型的管理和保护问题。虽然如此,OpenAI的开源举措遭到了人们的期待。许多人对开源以后的模型性能和利用前景充满了期待。但是,目前最好的开源模型与GPT⑷之间还存在数量级的差距。
为了帮助开发者理解GPT⑷语言模型的工作原理,OpenAI发布了GPT⑷语言模型的解析神经元的研究成果。他们利用自研的基于GPT⑷技术的开源工具,可以计算其他架构、更简单语言模型上神经元的行动。这一研究成果提供了更深入的理解和利用GPT⑷的方法。
最后,OpenAI的开放性为开发者提供了逆向开发GPT⑶的机会,在空闲时间里创建自己的模型。但是,OpenAI的开源策略可能会产生变化,未来的情况可能会有所区别。