在一篇新论文中，谷歌DeepMind的三位研究人员发现了人工智能模型的一些问题，这些问题可能会阻碍雇主开发更先进的人工智能的计划。
这篇尚未经过同行评议的论文由DeepMind研究人员史蒂夫?亚德洛斯基(Steve Yadlowsky)、利里克?多西(Lyric Doshi)和尼尔什?特里普拉尼尼(Nilesh Tripuraneni)撰写，它打破了最近几个月许多人观察到的一个现象:即当今的人工智能模型不太擅长得出训练数据之外的输出。
这篇论文以OpenAI的GPT-2为中心——是的，它是当前版本的两个版本——专注于所谓的变压器模型，顾名思义，就是将一种类型的输入转换为不同类型的输出的人工智能模型。
OpenAI的GPT架构中的“T”代表“变压器”，这种类型的模型最初是由包括DeepMind其他员工在内的一组研究人员在2017年发表的一篇题为“注意力就是你所需要的”的论文中提出的，通常被认为是可能导致人工通用智能(AGI)或人类级别的人工智能，因为随着推理的进行，这是一种允许机器像我们自己一样进行直觉“思考”的系统。
虽然变形金刚的前景是巨大的——事实上，一个能够超越训练数据的人工智能模型将是惊人的——但至少在GPT-2方面，还有很多需要改进的地方。
Yadlowsky、Doshi和Tripuranemi解释说:“当任务或功能超出预训练数据的范围时，我们展示了变压器的各种故障模式，以及即使是简单的外推任务也会降低它们的泛化程度。”
换句话说:如果转换器模型没有接受与您要求它做的事情相关的数据训练，那么即使手头的任务很简单，它也可能无法完成它。
然而，考虑到OpenAI用于构建GPT大型语言模型(llm)的看似巨大的训练数据集，这确实非常令人印象深刻，如果你不这么想，那也是可以原谅的。就像一个孩子被送到最昂贵、评级最高的幼儿园一样，这些模型被灌输了太多的知识，以至于他们接受的培训并不多。
当然，也有一些警告。GPT-2在这一点上是古老的历史，也许在人工智能中有某种突发属性，在训练数据中，它开始在信息之外建立联系。或者聪明的研究人员会提出一种超越当前范式限制的新方法。
尽管如此，这一发现的要点还是让最炙手可热的人工智能炒作清醒了过来。这篇论文的核心观点似乎是，今天最好的方法仍然只在经过彻底训练的主题上灵活——这意味着，至少就目前而言，人工智能只有在依靠人类的专业知识时才会令人印象深刻，而人类的工作是用来训练它的。
自去年基于GPT框架发布ChatGPT以来，实用主义者一直敦促人们降低对人工智能的期望，暂停对人工智能的假设——但谨慎远不如看到美元符号的首席执行官和声称人工智能感知的预言家那么性感。在此过程中，即使是最博学的研究人员，似乎也对当前最好的法学硕士到底有多聪明产生了不同的看法，有些人相信，人工智能正在变得能够实现人类与机器之间的那种思维飞跃。
OpenAI首席执行官萨姆·奥特曼和微软首席执行官萨蒂亚·纳德拉似乎并没有完全听到这些警告，他们本周向投资者吹捧他们计划“共同打造AGI”。这些警告现在得到了研究的支持。
谷歌DeepMind当然也不能幸免于这种预言。
在上个月的播客采访中，DeepMind的联合创始人谢恩·莱格(Shane Legg)表示，他认为到2028年，人工智能实现的可能性为50%——这个想法他已经坚持了十多年。
“没有一件事能做到这一点，因为我认为这是它的本质，”莱格告诉科技播客德瓦克什·帕特尔。“这是关于一般智力的。所以我必须确保(人工智能系统)可以做很多很多不同的事情，而且不会有空白。”
但考虑到DeepMind的三名员工现在发现，变形模型似乎不能做很多他们没有接受过培训的事情，似乎硬币投掷可能不会对他们的老板有利。
