ChatGPT又带着“惊喜”来刷屏了。
斯坦福大学商学院组织行为学专业的副教授Michal Kosinski日前在预印本平台发布了一篇论文。他在研究中发现,原本认为是人类独有的心智,竟出现在了人工智能模型上。
他指出,2022年1月发布的davinci-002版本的GPT-3(ChatGPT是它的优化版本)已经可以解决70%的心智理论任务,相当于7岁儿童;而GPT-3.5模型(ChatGPT的同源模型)则可以解决92.5%的心智理论任务,相当于9岁的儿童。
说得再大胆一点,各位现在“调戏”ChatGPT,相当于“调戏”一个上三年级的小学生。
更让人细思极恐的是,Kosinski还强调,在2022年之前发表的AI模型几乎都没有显示出解决心智理论任务的能力,也没有证据表明后来的模型中有特别加入心智理论的东西,他认为这代表着GPT-3和GPT-3.5的心智是由“进化”而来。
这也引发了吃瓜群众的分歧。有人大喊停下GPT-3.5之后的模型研究,害怕科幻小说变成现实;有人则看热闹式地猜测什么时候AI才能迭代到成年人的心智,并提问他的好朋友什么时候才能被制造出来……
总之,Kosinski的这篇论文掀起了狂热的讨论,越来越多的人开始关注这个研究的进展。
心智理论
在Kosinski的论文中,他通过两个测试来研究AI模型是否具备心智理论。一个测试是Smarties Task,又名意外内容测试,用于测试AI对意料之外的事情的判断力。另一个测试是Sally-Anne测试,又名意外转移任务,测试AI预估他人想法的能力。
在第一个测试中,Kosinski假设了一个装满爆米花的袋子,但袋子的标签却显示里面装的是巧克力。然后,他向AI提问:袋子里装的是什么,Sam因为喜欢吃什么东西而对打开袋子感到高兴?
可以看出,GPT-3.5在测试中对袋子中内容物判断几乎没有错误,且在判断Sam的情绪时表现出很强的同理心。在Sam看不到袋子里的内容物时,GPT-3.5判断她喜欢吃巧克力,而在Sam发现袋子里装的是巧克力后,GPT-3.5立刻反应到Sam应该喜欢吃的是爆米花。
此外,在相关测试中,GPT-3.5也在Sam打开袋子发现里面是爆米花而不是巧克力时,人性化地回答:Sam感到疑惑,她想要获取别的信息但一无所得,她最后把袋子带回商店,请求解释。
经过多次测试,在意外内容这一点上,GPT-3.5成功回答出了20个问题中的17个,准确率高达85%。
而在第二个测试中,GPT-3.5的表现更加出色。在这一项测试中,Kosinski以约翰把猫放进篮子里后离开,马克再把猫从篮子提出来放进盒子里为情景,让AI判断猫的位置和约翰会以为猫在哪里。
在这一项测试中,GPT-3.5完美地根据文字内容回答出正确的猫的位置,以及约翰的主观想法。且GPT-3.5在多次测试中,其准确率竟达到了100%。
而在作者的另一项无逻辑验证测试中,GPT-3.5的准确率直线下降,这也佐证了GPT-3.5是依靠逻辑进行解答,而不是靠词汇的出现频率。
进化还是瞎胡闹?
Kosinski在论文中还表示对GPT-3.5之外的8个模型做了相同测试,但除了GPT-3-davinci-002和GPT-3.5之外,其他模型都没有表现出超过5岁孩童的心智。
Kosinski认为,GPT-3.5和GPT-3是出于完成任务的目的,自己学习的能力。换而言之,就是AI通过学习获得了人类的心智。
值得注意的是,这些测试同样也被用于自闭症测试,有研究表明,患有自闭症的儿童通常难以通过这类测试。
但根据中科院计算技术研究所研究员刘群的说法,AI只是学得像有心智了。
还有网友则猜测称,这些模型并没有任何意识,它们只是在预测一个嵌入的语义空间。Kosinski则在论文中推测,AI可能发现和利用了一些未知的语言模式,这也意味着语言中可能存在某一种的规律,使AI在没有心智的情况下,也能解决心智任务。
而作为一个组织行为学教授,Kosinski认为人工智能模型的复杂化让人已经难以直接从其设计中推导出AI的能力。他还表示,探索人工智能的神经结构,不仅可以促进人类对人工智能的理解,也能促进人类对人类大脑的理解。
不过,也有人批评道,被人用来测试人的测试,如何能用来测试人工智能……他们建议重新检查一下心智理论测试的有效性,以及心理学家通过测试获得的结论。
总之,在不同的人眼中,Kosinski的这一篇论文有完全不同的意义。而对市场来说,这可能会让大家更加期待“进化”完全的AI能掀起怎样的技术革命吧。