去年春天,当Karim Lakhani开始测试ChatGPT如何影响精英商业顾问的工作时,他认为他们会对这个工具感到高兴。在对24名员工进行的初步研究中,语言机器人帮助他们在20分钟内完成了两个小时的任务。
“我以为他们会像我一样认为,‘太棒了!我可以做更多!哈佛商学院教授拉克哈尼说。
相反,咨询师们感到不安。他们很感激他们在更短的时间内完成了更好的工作。但ChatGPT的快速工作威胁到了他们作为高技能工人的自我感觉,有些人担心过于依赖它。“他们真的很担心,觉得这是在诋毁他们,对他们的大脑来说是一种空卡路里,”拉克哈尼博士说。
在这些初步测试之后,拉克哈尼博士和他的同事设计了一个更大的对照实验,以衡量ChatGPT对750多名白领的影响。一份科学期刊正在对这项研究进行审查,研究结果显示,咨询师的工作成果好坏参半。ChatGPT极大地提高了头脑风暴任务的工作速度和质量,但是在进行更多的分析工作时,它使许多顾问误入歧途。
该研究还详细说明了工人对该工具的不同感受。一位参与者把它比作普罗米修斯从神那里偷来帮助人类的火。另一个人告诉Lakhani博士的同事Fabrizio Dell 'Acqua, ChatGPT感觉就像垃圾食品——难以抗拒,容易消费,但最终对消费者有害。
在不久的将来,像OpenAI的ChatGPT、meta的Llama和谷歌的Gemini这样的语言机器人有望承担许多白领任务,比如撰写文案、准备法律摘要和起草推荐信。这项研究是首次展示这项技术如何影响真实的办公室工作和办公室员工的研究之一。
佐治亚理工学院(Georgia Institute of Technology)谢勒商学院(Scheller College of Business)教授玛丽亚姆·阿拉维(Maryam Alavi)没有参与这些实验,他说:“这是一项设计精良的研究,尤其是在这样一个新兴领域。”阿拉维博士研究了新的数字技术对员工和组织的影响,他还指出,这项研究“确实指出了我们需要学习的东西有多少”。
这项研究从全球最大的管理咨询公司之一波士顿咨询集团(Boston Consulting Group)招募了管理顾问。该公司禁止其顾问在工作中使用人工智能机器人。
“我们希望让一大批真正的工人参与其中,完成真正的任务,”参与设计实验的公司董事总经理弗朗索瓦·坎德隆(francois Candelon)说。
志愿者被分成两组,每组处理一个不同的管理咨询问题。在每一组中,一些咨询师在训练30分钟后使用ChatGPT,一些在没有指导的情况下使用它,一些没有使用它。
其中一项任务是集思广益,想出一种新型的鞋子,草拟一份有说服力的商业计划,并写一篇有说服力的文章。一些研究人员认为,只有人类才能完成这种创造性的任务。
他们错了。使用ChatGPT的咨询师所完成的工作,独立评估者的评分平均提高了40%左右。事实上,那些简单地剪切和粘贴ChatGPT输出的人比那些将其工作与自己的想法混合在一起的同事得到了更高的评价。人工智能辅助顾问的速度要快20%以上。
今年对ChatGPT在法律分析和白领写作琐事方面的研究发现,该机器人对表现较差的人的帮助要大于对最熟练的人的帮助。拉克哈尼博士和他的同事在他们的研究中发现了同样的效果。
然而,在需要基于证据进行推理的任务中,ChatGPT完全没有帮助。在这一组中,志愿者被要求为一家为这项研究而成立的公司提供建议。他们需要解读电子表格中的数据,并将其与高管采访的模拟文本联系起来。
在这里,ChatGPT诱使员工过于信任它。在没有帮助的情况下,人类的正确率为85%。未经训练使用ChatGPT的人得分刚刚超过70%。那些接受过训练的人做得更差,只有60%的时间能得到答案。
在实验结束后进行的采访中,“人们告诉我们,他们忽略了检查,因为它太精致了,看起来太正确了,”英国华威商学院(Warwick Business School)管理学教授希拉·利夫希茨-阿萨夫(Hila Lifshitz-Assaf)说。
许多咨询师说,ChatGPT让他们感到不安,担心这个工具会如何改变他们的职业,甚至他们对自己的看法。波士顿咨询集团的坎德隆说,近四分之三的参与者告诉研究人员,他们担心使用ChatGPT会导致他们自己的创造性肌肉萎缩。
“如果你还没有对这个工具产生生存危机,那么你就还没有大量使用它,”另一位合著者、宾夕法尼亚大学沃顿商学院(University of Pennsylvania)管理学教授伊桑·莫里克(Ethan Mollick)说。