成功并非一朝一夕！Chat-GPT原来在2018年就已经出现-- 迪族网

成功并非一朝一夕！Chat-GPT原来在2018年就已经出现

来源：这是什么鸭小怡　2023-03-18 19:34:25

(资料图)

回顾历史，最早描述 GPT 的论文发表于2018年，GPT-2于2019年公布、GPT-3则于2020年公布。这些模型基于巨大的文本数据集训练而来，其中大部分是从互联网上抓取的数据。事实上，OpenAI 原本推迟了 GPT-4的发布，因为担心会被用于恶意目的，例如生成垃圾邮件和错误信息。但在2022年底，该公司推出了 ChatGPT——一种基于 GPT-3.5的对话式聊天机器人，并可以被任何人免费试用。

Chat-GPT的成功并非一朝一夕，而是 Open AI 长达 4 年多持续努力、不懈追求取得的成果。从 2018 年的初代 GPT 开始，到 GPT-2、GPT-3、InstructGPT，以及后续一系列变体模型（统称 GPT-3.5 系列），到如今的 ChatGPT，每一步都是不可或缺的。所以，ChatGPT不是一次伟大创新的产物，而是许多个阶段性创新持续叠加的结果。

GPT-4发布之后，微软在第一时间表示：“如果你在过去五周内的任何时候使用过新的Bing预览版，你就已经提前了解了OpenAI最新模型的强大功能”。这表示New Bing早已经用上了GPT-4，在过去几周，很多人体验的必应就是GPT-4加强过的，仅仅开放使用了文字能力而已。虽然微软没有用全球首发的字眼来描述，毕竟微软在OpenAPI上已经投入了130亿美元(约合人民币900亿元)，换来的这样的待遇也是情理之中。

那么GPT的功能是怎么实现的呢？这个关键思想是在大量文本数据上以无监督的方式预训练一个大型变压器模型，然后在下游任务上使用较少的标记数据进行微调。这种方法在语言翻译、语言生成和问答等任务中已被证明非常有效。

GPT的一项关键创新是使用变压器体系结构，该体系结构由Vaswani等人在2017年提出。变压器体系结构基于自注意机制，可以使模型更好地捕捉输入数据中的长距离依赖性。这对于语言建模特别有用，因为在输入文本中单词和短语可能相隔很远，但仍然具有很强的关系。总体而言，GPT及其后继产品对自然语言处理领域产生了重大影响，为建立基于语言的智能系统开辟了许多新的可能性。

关键词：

推荐DIY文章