OpenAI发布GPT-2无监督语言模型更新

OpenAI发布GPT-2无监督语言模型更新

总部位于加利福尼亚州旧金山的OpenAI周二发布了GPT-2 (1.5B)，这是其流行的大规模无监督语言模型版本的“最终模型”版本。

根据OpenAI的说法，其GPT项目“生成连贯的文本段落，在许多语言建模基准上均具有最先进的性能，并执行基本的阅读理解，机器翻译，问题回答和总结-所有这些都无需特定任务的培训”。

该新GPT 2由非营利组织培训，旨在“仅预测40GB Internet文本中的下一个单词”。但是，有一些警告：

“由于我们担心该技术的恶意应用，我们没有发布经过训练的模型。作为负责任公开的实验，我们而是发布了一个小得多的模型供研究人员进行实验。

GPT-2语言具有15亿个参数，并在由800万个网页组成的数据集中进行了训练。据OpenAI称，由于它涵盖的文本范围和类型广泛，因此它具有一些有趣的功能，包括能够在没有特定于任务的训练数据的情况下执行问题解答和阅读理解的能力，并生成“前所未有的质量”的条件文本样本。

“该模型类似于变色龙-它适应条件文本的样式和内容，” PureAI对该项目写道。 “这允许用户生成有关他们选择的主题的现实且连贯的延续。”

GPT-2的1.5B最终模型版本是星期二发布的最大版本，并且提供代码和模型权重“以方便检测GPT-2模型的输出”。

可以在此处找到详细介绍该发行版的论文。

可以在此处找到有关使用代码的独立教程。

linuxboy的RSS地址：https://www.linuxboy.net/rssFeed.aspx

本文永久更新链接地址：https://www.linuxboy.net/Linux/2019-11/161318.htm