什么是 ChatGPT？
ChatGPT 是一款功能强大的人工智能聊天机器人，能够生成类似人类的文本并根据书面命令执行任务。它是狭义人工智能 (ANI)的高级形式，也是迈向通用人工智能 (AGI) 的一大步。 （我们的人工智能学习初学者指南更详细地解释了人工智能类型之间的差异。）
ChatGPT 中的 GPT 代表生成式预训练 Transformer——一种使用深度学习产生类人语音的大型语言模型。换句话说，ChatGPT 是一个基于 GPT 模型的 AI 解决方案。 GPT 技术还为 OpenAI 的 Codex、Copy.ai、Jasper 等产品提供支持。
我们将讨论 ChatGPT 的历史及其背后的技术和公司。但首先，让我们从大型语言模型开始定义关键术语。
ChatGPT 背后的技术
大型语言模型 (LLM)是经过大量数据集训练的神经网络，能够理解和生成类人语音。该技术属于生成式人工智能类别（明确设计用于生成 输出的模型），而不是区分和分类各种数据类型的判别式人工智能。
早期 巴拉圭电报数据库 的法学硕士基于循环神经网络（RNN），因为它们是第一个处理文本等序列的模型。但他们记住之前单词的能力有限，而且训练过程很慢。
长短期记忆 (LSTM) 网络（RRN 的一种）于 1997 年推出，作为有限记忆问题的解决方案。 LSTM 表现出显着提高的记忆较长序列的能力，并成为自然语言处理任务的流行模型。尽管如此，与最近的解决方案相比，它们的语言能力仍然有限。
当今一代 LLM 背后的Transformer 架构是由Google 研究人员团队于 2017 年推出的。它使用注意力机制来跟踪句子中所有单词的位置、顺序和层次结构，使其能够保留大量上下文信息并生成语法和语义上有意义的文本。
OpenAI 的生成式预训练 Transformer (GPT) 和 Google 的双向编码器表示 Transformer (BERT) 模型均基于 Transformer 架构。
生成式预训练 Transformer是基于 Transformer 的语言模型，旨在理解语言并产生类似人类的语音。 “生成”意味着它们旨在生成输出，通常是文本或代码。 “Transformer”意味着它们基于 Transformer 架构。
而预训练是指 GPT 的训练过程，您可以在我们的文章ChatGPT：如何理解 AI Bot 并与之竞争中了解更多信息。
现在，让我们了解 ChatGPT 是如何创建的。
OpenAI 的历史
OpenAI 于 2015 年由 Elon Musk 和 Sam Altman（联合主席）、Greg Brockman（首席技术官）、Ilya Sutskever（研究总监）以及一群研究工程师和科学家创立。 OpenAI 最初是一家非营利性人工智能研究组织，其使命是开发造福人类的通用人工智能 (AGI)。
2018 年，埃隆·马斯克 (Elon Musk) 退出 OpenAI 董事会，但仍是重要投资者，山姆·奥尔特曼 (Sam Altman) 于 2019 年成为 OpenAI 首席执行官。大约在同一时间，该公司重组为上限利润模式，以吸引新投资者并加速发展人工智能。此次重组创建了营利性实体OpenAI LP，该实体仍由非营利性 OpenAI Inc. 控制。
新任 OpenAI 首席执行官和 ChatGPT 未来的创始人并没有浪费时间。就任新职务后不久，Altman 就吸引了微软作为投资者和少数股东，为培训和改进当今突破背后的人工智能系统提供资源。
OpenAI 接下来的指数级增长可以追溯到 GPT 模型的发展。