你是学术机构的人工智能研究员吗?
你是否担心自己无法应对当前人工智能的发展步伐?
您是否觉得您没有(或非常有限)访问人工智能研究突破所需的计算和人力资源?
你并不孤单;我们有同样的感觉。越来越多的人工智能学者不再能找到资源在全球范围内保持竞争力。这是一个最近出现的现象，但正在加速发展，私营公司将大量计算资源投资于前沿AI研究。
在这里，我们将讨论学术科研工作者如何在保持竞争力。我们还简要讨论了大学和私营部门如果愿意，可以做些什么来改善这种状况。这不是一个详尽的策略列表，你可能不同意所有的策略，但它有助于开始讨论。这些策略包括：
放弃？
尝试扩展
缩小规模
重用与重制
分析而非综合
强化学习
小模型无计算
在专业应用领域或领域开展工作
解决目前很少关心的问题
尝试那些“不应该”有效的事情
做一些“看起来不好”的事情
创业；剥离出去！
合作或跳槽！
大型行业参与者如何提供帮助？
大学如何提供帮助
作为一个在大学里做人工智能研究的人，你与企业人工智能研究机构(如DeepMind、OpenAI、谷歌Brain和MetaAI)发展了一种复杂的关系。每当你看到这样一篇论文，它训练某种巨大的神经网络模型来做一些你甚至不确定神经网络能做的事情，毫无疑问地推动最先进的技术，并重新配置你的想法，你会产生矛盾的情绪。
一方面:非常令人印象深刻。很高兴你推动了人工智能的发展。另一方面:我们怎么可能跟上?作为一名人工智能学者，领导一个有几个博士生和(如果你足够幸运)一些博士后的实验室，也许在你的实验室中只有几十个GPU，这种研究是根本不可能做的。
要明确的是，情况并非一直如此。就在十年前，如果你拥有一台性能不错的台式电脑和互联网连接，你就拥有了与顶尖研究者竞争所需的一切。那时的突破性论文通常是由一两个人在他们的普通工作站上完成所有实验。对于那些在过去十年内进入研究领域的人来说，特别值得指出这一点，因为对他们来说，巨大的计算资源需求是理所当然的。
如果从深度学习中学到了一件事，那就是规模化是有效的。从ImageNet[15]比赛及其各种冠军，到ChatGPT、Gato，以及最近的GPT-4，我们看到更多的数据和计算能带来数量上和很多时候甚至质量上更好的结果。（当你阅读这篇文章时，这个非常近期的AI里程碑列表可能已经过时了。）
当然，学习算法和网络架构也有所改进，但这些改进只在大规模实验的背景下才真正有用。（Sutton谈到了“苦涩的药丸”，指的是在更多计算资源可用时，扩展性好的简单方法总是能够获胜。）
如今，学术研究人员无法实现这种规模。据我们了解，普通研究者可用的计算量与保持竞争力所需的计算量之间的差距每年都在增加。这在很大程度上解释了为什么许多学术界的AI研究者对这些公司怀有怨恨之情。与同行之间的健康竞争是一回事，但与那些资源丰富到轻易做到你永远无法完成的事情的人竞争则是另一回事，无论你的想法有多好。当你在一个研究课题上工作了一段时间，而DeepMind或OpenAI决定研究同样的事物时，你可能会有与小镇杂货店主人在沃尔玛在隔壁开设商店时的感受一样。这是令人悲哀的，因为我们希望相信研究是一个开放且富有合作精神的事业，每个人都能得到他们的贡献得到认可，不是吗？
那么，如果你只是一位教授，拥有有限的团队规模和有限的计算资源，面对资金充足的研究公司的猛攻，你如何保持相关性？这是一个困扰我们和许多同事多年的问题。
最近的事件，如GPT-4等模型惊人地强大，同时惊人地封闭源代码且缺乏公开细节，使得这个问题变得更加紧迫。我们从不同级别的多位研究者那里听说，无论是亲自还是通过社交媒体，他们都担心在资源匮乏和大型科技公司的不公平竞争下进行有意义的研究。首先让我们明确一点：我们两个都很安全。我们拥有终身教授职位，我们在学术界的成长相当迅速，部分原因是因为我们系统地在视频游戏领域推动AI的发展。
尽管我们显然关心继续开展相关的AI研究，但我们主要是为了更年轻的同事们写这篇文章，他们可能想知道选择哪条职业道路。是进入学术界值得尝试，还是加入大型科技公司，或者创立一家初创企业？从事AI职业是个好主意，还是当一名水管工更好？你应该成为机器中的一个齿轮，还是一个叛逆者？（当你一无所失时，通常更容易成为叛逆者，这要么是在职业生涯初期，要么是获得终身职位时。）尽管一个人可以非常熟练，但这场保持竞争力的辉煌战斗是否已经输掉了？我们是不是就要在这里顺从我们的规律？这篇论文部分是作为认真的建议，部分是作为情感上的鼓励，但最重要的是与大家展开讨论，在战斗彻底失败之前改善我们作为学者的地位。我们并不希望阻止AI技术的发展（即使我们能）；相反，我们希望讨论那些能使尽可能多的人参与这一旅程的策略。
如果你是一名人工智能学者，对你的选择感到绝望，下面是一些想法的列表。这些选项没有特定的顺序。我们在这里也没有提出任何特别的建议。然而，在文件的最后，我们讨论了大型科技公司和大学可以做些什么来改善这种情况。在那里，我们提出了一些具体的建议。
2.放弃吧！
放弃总是一个选择。不是放弃做研究，而是放弃做真正具有影响力和突破性的事情。在中等级别的期刊和会议上发表论文，仍然有很多技术细节和次次问题可以探讨。
注意：（1）这种方法最适合已经有稳定职位的人，而且你并不太关心晋升；
（2）当你决定从事研究生涯时，这并不是你真正想要做的事情，对吧？因为这种激烈的竞争而强迫自己调整研究议程，类似于调整研究以适应欧洲委员会或美国国家科学基金会等资助机构的某些任意优先事项。至少争取后者可以为你的实验室提供一些资金，反过来，可以帮助你与一些有才华的AI研究者和博士生合作。值得注意的是，我们两人都认为自己非常幸运，因为我们曾经协调或参与了一些小型和大型研究项目，这些项目让我们能够支持我们的研究议程，并帮助我们（部分地）确保我们的职位。
3尝试扩展
与压倒性的竞争对抗是一种令人钦佩的情怀。
如果扩展有效，让我们在大学实验室里实现它！让我们去挑战风车（GPU风扇）！最明显的问题是获取CPU和GPU的途径。假设你从某个地方获得了5万美元的云计算资金，并开始运行你的大型实验。但与训练类似GPT-3的项目所需的费用相比，这是非常少的。最近一个能在Minecraft中制作钻石稿的OpenAI代理需要在个VGPU上训练9天[2]；这相当于花费几十万美元进行一次实验。即使是享有声誉的ERC（欧盟）或NSF（美国）资助也无法支持如此高的投资水平。
然而，花费5万美元在云计算上可以让你获得比一堆游戏PC更多的计算能力，所以你可以稍微扩展一下。至少对于那个实验来说。但正如我们所知，大多数实验在第一次尝试时是行不通的。对于我们看到的每一个大型实验，我们需要花费数月甚至数年的时间进行原型设计、概念验证、调试、参数调优和失败的尝试。你需要不断地获得这种计算能力。
不太明显的问题是，你需要一个合适的团队来构建可扩展的实验软件，这与学术工作结构并不容易兼容。计算机科学领域的典型学术研究实验室的大多数成员都是需要在几年内完成学业的博士生，他们需要进行独立的项目工作，发表多篇第一作者论文，以便在毕业后找到工作。一个大型AI项目通常意味着团队的大部分成员需要在同一个项目上工作很多个月或者几年，而只有其中一个人可以成为论文的第一作者。
团队可能还包括一些执行“平凡”的软件工程任务的人员，这些任务对项目的成功至关重要，但它们本身并不被视为AI研究。成功的大型项目所需的结构与学术界的结构根本不兼容。
4缩小规模
一种绕过问题的热门方法是