ChatGPT将加重M型社会
就在前几日,成立仅一年的Inflection AI融资13亿美元最新估值40亿美元。数据分析公司Databrikes宣布13亿美元收购AIGC初创公司MosaicML,共同助力AIGC商业利用。6月28日,字节跳动公布了大模型B端方案“火山方舟”,提供了一个大模型服务平台,供开发者和企业使用。大模型在领域中利用将不断加速。
AIGC领域利用一个难以解决的问题是如何有效控制幻觉,即ChatGPT胡说八道。如金融领域客观事实依托的可靠信息源而不是大众的点击反馈,和大模型生成。而且事实性毛病对金融市场这样非闲谈式场景,必定会对用户造成经济损失。
图片来源:SeedIV实验室:AIGC利用线路图
语言模型中的先验知识都来自于训练语料,用于训练语言模型的大数据语料库在搜集时难免会包括一些毛病的信息,这些毛病知识都会被学习。在自然语言处理领域,这类事实性毛病一般统称为“幻觉” (Hallucination),自然语言生成 (NLG) 任务,指模型生成自然流畅,语法正确但实际上毫无意义且包括虚假信息即事实毛病的文本,以假乱真,就像人产生的幻觉一样。
既然造成模型生成幻觉文本的是训练数据,那末结合行业专业数据构造事实数据集是优化的途径之一。通常的提高生产内容可控性的方案都是用领域数据进行Fine-Tuning。Fine-Tuning是一种在自然语言处理(NLP)中使用的技术,基本思想是采取已在大量文本上进行训练的预训练语言模型,然后在小范围的任务特定文本上继续训练它。ChatGPT能成为通识智能方案固然离不开生成模型,但也致使其在当前方案下没法完全解决事实知识问题。
一篇加州理工华人一作的论文提供了新的思路:
研究人员提出一个开源平台LeanDojo,提供工具包、基准和模型,为LLM创造了一种定理证明的交互式环境。这项研究为解决LLM,在事实性和幻觉方面的缺点开辟了一条新途径。陶哲轩也认为不久以后,AI将与搜索和符号数学工具相结合,成为数学研究中值得信赖的合著者。
新智元,公众号:新智元陶哲轩预言成真!MIT加州理工让ChatGPT证明数学公式,数学偏见证AI重大突破首个学科
当领域中没法提供基准时,也能够先通过专业搜索确认相关内容作为大模型输入,在此基础上,进行后续内容生成。
在游戏、设计等领域,人工智能生成内容(AIGC)对低级设计师的替换开始。在美国,编剧、会计、律师等职业低级岗被替换的新闻最近不断爆出。在中国,行业专业大模型利用也不断提上日程。
共接诊120多名患者,从问诊、检查到诊疗方案全流程覆盖;触及心内科、消化内科、呼吸内科、内分泌科、肾脏内科、骨科、泌尿外科七大疾病科室,患者疾病种别多元,复杂程度不一;医学水平不输国内三甲医院主治医生,与真人医生诊疗方案一致性到达96%;
关注前沿科技,公众号:量子位医疗版ChatGPT直播评测!医治方案与真人医生96%一致
现在,事实与幻觉有了更多优化方案,可以预感,在其他领域大模型利用也将提速,替换没法避免。
ChatGPT的成功,确认了大语言模型成为自然语言处理(NLP)当前主要研究方向,并让很多自然语言处理子领域不再具有独立研究价值,如中文分词、词性标注、NER、句法分析、指代消解、语义Parser等,那些NLP算法们也革了自己的“命”。之前,Word2Vec出来,先革也是之前那些做NLP模型的人,他们很多是既懂语言又有很强的数学功底,Word2Vec出来后,之前所有的研究方法也就过时了。这么听起来,不会不会有些安慰,但终归世界是回不到ChatGPT之前。
图片来源:《NLP2020年前发展进程》
从人类角度,ChatGPT带来的益处没必要多说,已有很多论述。连陶哲轩这样数学家也认为AI将与搜索和符号数学工具相结合,成为数学研究中值得信赖的合著者,那还有甚么领域不能提升效力。
《美国增长的起落》作者分析了1870⑵015年间,美国历次技术进步和相关经济增长。1994⑵015年计算机一直在代替人类,从失业率来看,并没有致使大范围失业,但良好的、稳定的中层就业岗位在逐步消失。
全要素生产率(Total Factor Productivity,TFP)全要素生产率是一个“余值”,即经济增长中不能够被资本、劳动力和人力资本等要素投入所解释的部份,要素配置效力提高、技术进步或创新等“难以衡量”的因素带来的效力提升所带来的额外经济增长都被归于全要素生产率。从图表可以看出不论是美国或者中国,2000年以后移动互互联并没有带来全生产要素率的提升。
简单类比分析,当大模型对人类社会影响堪比互联网,可以想见,其其实不能带来全要素生产率提升。
M型社会指社会进入“收入两极化”。中产是靠劳动收入为主,日本在进入M型社会,部份缘由可以认为是由资产负债表衰退致使。那美国进入M型社会主要缘由更多是产业变迁而至。自1970年代布雷顿森林体系瓦解后开始大范围对外产业转移,直接影响了中产阶级的收入。而互联网等领域创新收益也没有被全社会等比例分享。
毕业生行业收入排名中,新兴行业和那些不可外迁的职常常能有更好的收入。但当服务类医生、律师等低级职责被ChatGPT代替,可以想见,ChatGPT将加重M型社会。
AIGC模型和当年的AlphaGo一样都是大量生成数据用于训练。没有训练没有优化,人也一样。
ChatGPT可以写小学、高考作文,难道学生就不需要作文了?《兵士突击》中许三多,在一个人的连队中,逐日出操;在《亮剑》中李云龙让兵士在没有护具的情况下,用木棒练格斗;在《雪中悍刀行》中大冬季两队隔着河拔河。这些看似没成心义的训练,对一支军队提高战役力都是必不可少的训练。
ChatGPT目前能替换的那些职责,写摘要、资料总结、文档检查,数据初步处理等等,是职业低级必不可少的部份。如果为了效力,都让机器做了,那毕业生们就缺少了必不可少的训练。
人们说心灵的时候,说的其实不是一台(任何一般意义上的)机器。而是一台发觉到本身的正确性的机器。
---- 哥德尔
“专家是一名不必思考就知道结果的人”。诺贝尔经济学奖,图灵奖取得者郝伯特·西蒙做过一个国际象棋棋法研究,其将一个布局公道的中盘棋局给大师们看,他们常常能在很短的时间就找到最优下一步,这就是基于直觉的搜索。专家和新手辨别不但是前者具有大量和多样的信息,更重要的是,他的直觉经验使其能快速发现所面对的棋局情势中的熟习模式。长时间记忆中贮存大量的棋局模式,辨认这些模式,从长时间记忆中找到相关信息,这样的直觉搜索,其实不需要大量复杂的脑力计算。而这是大量专业训练的结果。
AlphaGo在模型训练进程中,也是抽取一盘围棋中的随机中盘布局,使用蒙特卡罗树搜索(Monte Carlo Tree Search,MCTS)结合估值网络(Value Network)来搜索最优下一步。对一个领域问题,新手常常是低效的、痛苦的直觉搜索,专家是高效的直觉搜索,而 AlphaGo是启发式结合暴力搜索。ChatGPT也是类似,通过大量生产数据进行学习。
对人心计算与计算性能力对照,伟大的数学家、逻辑学家和哲学家库尔特·哥德尔认为”数学直觉就能够看到并证明本身的一致性,这一点区别于计算机。” 人是善于通过直觉解决新问题的,这才是相对人工智能,人类真实的优势。
在系列电影《黑客帝国》的动画版电影,九段独立动画之一的《第二次文艺复兴》中描写了人工智能和人类的战争,最后人类启用了核武器并遮挡了全部地球的太阳光,但机器或者获得了最后的成功。可机器没法取得太阳能,只好圈养人类取得生物能,将所有存活下来的人类养在母体中。该理由非常牵强,低等生物的能量转换率一定比人类这样的高等动物更高。更公道的解释是,由于人工智能没法代替人类的直觉计算,而直觉计算又是探索宇宙,探索数学、物理等充满不肯定性领域必不可少的能力,所以只好将人类圈养在母体中。
人类的直觉有其不可或缺的重要性,直觉才是人类最重要的决策方式之一,是没法代替的。而这是离不开大量低级训练任务磨练。
袁峻峰,《人工智能为金融投资带来了甚么》作者,复旦大学金融学硕士,FRM金融风险管理师,目前就职于国内某大型券商,本文仅代表个人观点。
笔者关注于金融投资数字化、智能化,和ChatGPT、数字货币、WEB3等带来的金融领域变革等,欢迎探讨,欢迎转载。公众号:FIN AI 探索,笔者微信:ia_fin_yuan
关注本公众号,并转发公众号任何一篇文章到朋友圈,并打赏或微信8元邮费,公众号私信地址,送书《人工智能为金融投资带来了甚么》,每人限一本。本文的部份观点摘自该书。