雷锋网(公众号：雷锋网) AI 科技评论按：上周四，OpenAI 发布了一个非常大的语言模型 GPT-2。给定一两句开头之后，这个模型就可以生成新闻、小说同人等多种不同风格的文字，内容看起来非常逼真。然而反常的是，OpenAI 的研究人员们决定不发布训练模型的数据、也不发布最大那个模型预训练后的参数，因为他们认为如此强力的模型有遭到恶意滥用的风险。「认为可能有风险所以不发布模型」，这事引起了轩然大波，机器学习&自然语言处理界的研究人员们展开了热烈的讨论。
麦吉尔大学机器学习专业博士生、2017 年时曾经在 OpenAI 实习过、同时自己做语言建模的 Ryan Lowe 针对此事写了一篇文章，写下了自己的观点。这篇全面、博客也得到了许多研究人员的赞同。雷锋网 AI 科技评论全文编译如下。

关于 OpenAI GPT-2 语言模型的讨论我已经看到了很多，但是目前我还没看到有哪个帖子完全说出了我想说的。面对机器学习领域研究成果潜在的被滥用的风险，有一件非常重要的事是我希望所有这个领域的研究人员们都可以明白的，我会在下文中说明。我也会谈谈这项研究在技术方面的价值、人类级别语言生成的社会影响;以及有人说 OpenAI 的科研目标就是为了可以制造爆炸性新闻，我也来说说我的看法。

这项研究的正面价值大吗？

我曾经做过基于神经网络的对话系统，就是给出一段对话内容，让模型预测接下来的一句是什么。当时是 2016 年年底，我还记得我们把模型生成的语句全部看了一遍，希望能找到一些符合对话语境的句子。但是一句令人满意的都没有。
所以当我看到 GPT-2 生成的「会说英文的独角兽」的故事时瞬间震惊了。这个故事讲得并不完美，里面有一些前后冲突的内容，但总的来说这篇文本十分连贯、流畅、有条理，就像是人类写的一篇新闻一样。在我看来，即便这样的结果是从许多次的尝试中挑选出来的，我觉得也是非常惊人的成果。而且这个模型在前后文里多次正确地使用了「Jorge Perez」这个人名，要知道这个模型是没有显式的记忆机制的，这也让我觉得有点钦佩。可以说这个模型已经到达了一个全新的境界了，即便最新的语言生成论文我没有全都看过，但我认为目前没有任何别的模型在连贯性条理性、语法正确性、长段文本内容的理解引用以及世界常识方面达到了这样的水平。
我也可以明确一点，这项研究中没有任何新的算法研究成果。他们只不过是把之前的 GPT 的研究增加了规模而已。不过我觉得「具体表明了增大规模的模型有多强」这件事本身就是重要的成果了。事后我们回过头来说「更多的数据、更多的计算力会给你带来更好的模型」当然容易，但是如果在 OpenAI 发布模型之前我拿那个独角兽的故事给同事看、告诉他们这是 AI 生成的文本的话，我觉得他们是不会相信的。
有人猜测模型会不会只是简单地记住了文本模版，然后再正确地把它们重复出来就可以了。这一点在他们的论文中也进行了讨论，作者们展示了 GPT-2 生成的样本和训练数据集之间的单词重复率，这个重复率实际上比测试集和训练集之间的单词重复率还要低。换句话说，GTP-2 表现出的记忆行为比随便取一段人类撰写的文字还要低。如果我们要说这个模型具有非平凡的泛化能力的话，这算是一条挺强力的证据了。

OpenAI GPT-2 论文中的图 5 - 与训练集对比的 8 元组累积重复率。图中表明 GPT-2 生成的样本（'samples'）和测试集中的人类文本（'real'）都和训练集有一定比例的重复。生成的样本有更多都在低重复率的区域。

我们应该质疑他们展示的结果吗？提出「OpenAI 的研究人员们展示模型泛化能力的方式是否准确」的这个问题是非常合理的。我个人很想看看他们选出那些展示给我们看的结果的时候一共尝试了多少种不同的输入（挑选结果的「元范围」有多大）。不过他们确实提供了一个包含了几百条原始样本的记录文件，这可以让我们对模型的能力有更好的了解。另外，对于每条选出的高质量 GPT-2 文本生成结果，他们也给出了得到那个结果时的尝试次数，这就不怎么常见了，包括我自己的论文都不会说明这个。结合他们发布的代码，在我看来 OpenAI 展示结果的方式确实达到了其它 NLP 论文发表的标准。

人类水准的虚假文本的社会影响

现在我说说它带来争议的部分。OpenAI 决定不公开发布最大的 GPT-2 模型的预训练权值，他们声称担心「这个大语言模型被用来大批量生成欺骗性的、有偏见的或者粗鲁的文本」。我们暂时不问 GPT-2 能不能做到这些，先考虑下面这个问题：如果我们有一个强力的开源语言模型，给定一个开头或者一个主题之后，它能无限制地生成人类质量的文本，这个会是一件坏事吗？
我觉得答案是「是坏事」。虽然我们都知道人类就有很多写假新闻的，而且政府为了达到宣传目的也已经雇佣了上千人撰写有偏向的评论。但一个自动化的系统就不一样了，这可能导致：（1）有些抱有恶意的人，从前他们没有足够的资源雇佣上千规模的人力支持虚假信息宣传，但有了低成本的自动化系统之后就会不一样；（2）目前就由政府运行的虚假信息宣传的规模将大幅增加。这些宣传运动之所以有效，是因为当一个人周围有很多人都表达了某个相同的观点的时候，即便这个观点单独来看没什么道理，他也会受到严重影响。增大信息宣传的规模也就可以相应地增加政府和企业影响大众信念的程度。
为了对抗这样的情况，我们需要开始探索有哪些方法可以检测 AI 生成的文本。相对于伪造视频和音频的检测，这会带来一些不同的挑战：虽然高质量的伪造视频只需要一支就可以传播开来影响人们的观念，但视频毕竟是非常高维的数据，用机器学习模型检测其中的瑕疵可能并不难。相比之下，AI 生成的文本要有大的量才能造成影响（不然单个人也就可以做了），而文本是由一个个独立的词组成的，想要分辨一篇小短文是不是 AI 生成的可能就会难一些，尤其是当它比较短的时候。
所以，考虑到可能的社会影响而决定不公开发布一个表现不错的人类水准的文本生成器，这是有一定道理的。

AI 热潮以及 OpenAI 的科研目标

对于 OpenAI 不公开预训练权重的决定，也有一些人认为这是 OpenAI 在给自己加戏，以便更好地赚到全世界的关注。他们的逻辑是，如果某项 AI 研究能沾上「AI 会对人类产生威胁」的味道的话，新闻报道肯定会把这事放在头条/封面上，OpenAI 自己明明清楚这件事，然后故意透露出「这个 AI 就是有危险，所以我们内部先把它阻止下来」的意味，由着媒体给他们做头条报道，那么不仅 OpenAI 在普通大众面前有更多曝光，甚至还强化了人们对于 OpenAI 在 AI 安全方面谨慎果断的印象。
OpenAI 并没有透露他们是如何和媒体们打交道的，但我们不妨动手做做这个拼图。首先，和其它业界实验室一样，OpenAI 显然在乎公众对他们的了解和印象如何。其次，他们也主动邀请一些媒体记者对他们的科研成果进行报道（一些记者甚至自己尝试了 GPT-2 模型）。另外，由于 OpenAI 是一个非盈利机构，科研成果得到报道就对他们有更多的好处，有机会获得更多的捐助，也就有更多的预算做更多的研究。很难说 OpenAI 自己对于这些报道的内容有多少掌控力，但是不得不说有一些报道文章有点耸人听闻。
那么，我们有没有办法判断 OpenAI 的主要科研目标是不是获取更多影响力和金钱呢？简单的回答是：没有这样的办法。我们暂且只能相信 OpenAI 说出来的话就是他们的真心实意，就是他们真的是为这项成果的社会影响担忧。我个人是愿意这样的相信的，尤其是因为实习经历的原因我和其中的很多人都认识。
不过显然很多研究人员还是不太情愿认为 OpenAI 的出发点是积极的，他们觉得 OpenAI 要么是自命清高地觉得他们能拯救世界，要么是太过相信「AI 奇点」以至于开始散播 AI 威胁论，要么是在 Elon Musk（特斯拉 & SpaceX CEO 马斯克）这个吹牛大王的要求下尽可能地抢占媒体报道，等等等等。OpenAI 名字中的「Open」，结合他们引发的那么多媒体注意力，再加上和 Elon 的种种联系，似乎都引发了种种不满和愤恨，然后汇聚发泄在 OpenAI 介绍 GPT-2 的推特推文和 Reddit 帖子下面。
这些评判是否合理值得商榷，而且其中也不乏明确的错误认知（比如据我所知，Elon 已经退出了 OpenAI 的董事会，而且也很长时间没有对 OpenAI 的决策指手画脚了；这并不是唯一一处错误）。媒体报道中对 AI 科研的扭曲是一个切实存在的问题，热烈的报道为业界实验室带来的突发关注也是个问题，这都会让别的机构中的研究人员们变得短视。大型 AI 实验室影响公众对 AI 的认知到底到了什么程度、应该扮演什么角色，这个重要的问题还等待我们讨论。

不过我恳求各位围观者先把对 OpenAI 的看法暂时搁置（一会儿你们可以继续批评），仔细想想现在到底发生了什么。作为机器学习的研究人员，我们构造出的东西是对会别人产生影响的。迟早会有那么一天，我们的科研成果是可以被拿来做坏事的，那难道我们就应该等到那一天到来以后再开始考虑怎么处理可能会产生副作用的研究吗？
机器学习研究人员里有相当数目的人开口就是冷嘲热讽，我对他们感到相当失望。暂且不细说他们是怎么说的，但我觉得这体现出了大家对「机器学习会产生社会影响」这件事的态度太过轻蔑。如果你才刚加入这个领域，然后你看到一位厉害的、著名的研究人员开玩笑嘲讽有些研究人员不发布他们的模型所以很呆，你可能会来不及经过什么思考就吸收了这样的评价（起码我自己读硕士的时候就很容易受著名 AI 研究人员的观点的影响）。我觉得这不是什么好事。
有一位研究人员在 Twitter 上指出类似的事情也曾发生在 DeepMind 身上，WaveNet 这个能生成非常高质量的人类语音的模型就是公开发布的，而他认为这体现出了 DeepMind 比 OpenAI 更有社会责任（不过 DeepMind 首次发布的时候并没有提到关于道德和社会影响的事情）。实际上 OpenAI 做科研的方法也没有什么特别不一样的地方，一些别的实验室有符合某些条件的成果不适宜对外发布的做法，有一些工业界的实验室里也有公平性团队，他们会在一项成果发表之前进行检查，但就机器学习整个领域来说，没人知道他们具体实施的标准是什么样的。看起来 OpenAI 倒是唯一一个公开表明他们在考虑科研成果会带来怎样的道德和社会影响的工业界实验室。即便我们要认为他们科研的主要动力是贪婪或是制造大新闻，他们这次提出的问题也是值得我们严肃考虑的。

下一步怎么做：展开关于社会影响的讨论

说真的，你很难说 GPT-2 值不值得引起这种程度的谨慎。决定发布还是不发布一项成果的时候需要考虑很多问题：如果有人想要作恶，不发布模型能让他们推迟多久；作为学术研究，如何取舍结果的可复现性；无害的科研成果和有害的科研成果之间的界限到底在哪里；我们应该如何负责任地与媒体打交道，确保他们能准确地报道这样的进展。
具体以这次的 GPT-2 来说，它是不是足够温和、安全所以完全公开也没关系；OpenAI 应不应该给其它研究人员们提供一定的接触机会来确保结果的可重复性；或者说他们干脆连论文也别发表出来，这几个问题都值得仔细考虑，而 OpenAI 似乎也欢迎大家一同参与这几个问题的讨论（他们在技术博客结尾留下了一个邮件地址，希望大家发邮件给他们反馈）。不过他们做的还不够，这些讨论应该是完全公开进行的，而不是通过私下的邮件。
这就是我觉得最需要大家都理解并记住的事情了：所有机器学习的研究人员们非常、非常、非常应该开始讨论研究成果发表的道德标准。推特绝不是一个好的讨论场所。一种可能性是办一个 workshop，可以考虑和 ICLR、ICML、NeurIPS 这样的顶级机器学习会议合办，方便我们对这个领域可能需要形成的惯例进行头脑风暴。我已经开始想象一种「安全性检查清单」类似的东西（就像最近的「可重复性检查清单」）一样，鼓励研究人员们发表成果之前先按照清单检查一遍。就和生物科学、网络安全领域一样，这个领域的技术水平已经足够高，以至于一小部分机器学习论文已经有被滥用的可能性。这足够提醒我们应该开始做点什么了。
我相信会有一些机器学习研究人员一面读着我这篇文章，一面觉得：「整件事都很滑稽，现在的 AI 根本就什么都做不了。我要回去训练模型了。」这也是问题的一部分，从这个领域里面来看常常会觉得进步都是一点点、一点点地累积发生的，而且也没有什么东西的工作情况是符合我们的期待的（尤其是强化学习）。但是机器学习的研究已经对真实世界有了实实在在的影响（比如信贷、法庭判决、招聘等场景中做出决策）。这些算法中的偏见正在逐渐被发现，但我们确认这些偏见的时间都要比这些系统首次投入使用的时间迟了好几年，而且同时它们也对人们的生活有严重的影响。
随着我们的机器学习系统变得越来越能干，我们能做的事情变得越来越厉害，确实有可能会让世界变得越来越好。不过同样地，技术成果被滥用的可能性也会大大增加。如果大多数的机器学习研究人员们在发表自己的成果之前都不考虑可能的社会影响的话，在意这些影响的人就只能事后再想办法补救。如果我们想要减少机器学习可能对整个世界带来的伤害，我们现在做的这些还远远不够。

via medium.com/@lowe.ryan.t，雷锋网 AI 科技评论编译