ChatGPT的前世今生

作者文瑾说职场更新于：2023-02-18 22:47 278

火爆全球

ChatGPT达到全球1亿活跃用户仅用2个月，而Tiktok用了9个月，电话用了75年，手机的普及则用了16年。投行报告称之为“史上用户增长最快的消费者APP”。

微软首席执行官萨蒂亚·纳德拉（Satya Nadella）认为：“也许这一次，对于知识型工作者来说，这就完全等于工业革命。”

于是，开始有越来越多的人去体验ChatGPT，或者出于膜拜，又或者出于找茬，总归是想一睹芳容的。然后，网上疯狂发酵，惊讶于人工智能更像“人”了，可以像人一样理解问题、回答问题，甚至直接以文案、代码等形式输出解决方案。同时，又惊恐于再这样发展下去，我们是不是要失业了？上一次引起这样的恐慌还是蒸汽机引发的第一次工业革命和互联网代表的第三次信息革命。

技术演进

ChatGPT，是一种人工智能程序。

人工智能英文缩写为AI，是指研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。在商业社会，提及人工智能离不开用大规模的数据来训练模型，即机器学习。萨缪尔提出了“机器学习”的概念，并于1956年在达特茅斯会议提出了“人工智能”的概念，因此1956年被称为人工智能元年。

受限于数据量，人工智能在提出后并没有立马引起大范围的研究及推广。但随着互联网和移动互联网的发展，数据量呈几何式增长。调查显示：1950年到2018年，模型参数增长了7个数量级；2018年-2022年，模型参数增长了5个数量级，从数亿个达到超千亿水平。也就是说机器学习所需的数据环境，在2018年基本形成。

此外，最开始的机器学习呈现了三种普遍特征：一是数据量不充足的时候，需要进行数据标注、数据清洗及人工调参等人工介入的。那么，随着数据量越来越大，还维持这样的落地方式的话，人力投入也会越来越大。二是数据量不充足的时候通常我们的研究多为特定领域，这个时候需要的人力也是拥有特定领域必备知识储备的。故想要将特定领域训练出来的模型，用在其他领域就会出现"模型泛化能力不佳"的情况。三是当数据量充足之后，我们的数据来源不局限于特定领域，这个时候人工介入门槛也会提升，毕竟很少有人可以做到什么都懂。那就意味着需要不同领域的人进行“调教”，那这样的人力投入是巨大的，时间成本也是非常高的。

在这样的背景下，大模型（基于互联网公开的海量数据进行训练）的落地成为必然趋势，并且发展出来监督学习、无监督学习和半监督学习三种落地方式，对应的人力介入依次为深度、无和浅度。

ChatGPT，是能模拟人的“理解、分析及反馈能力”的机器人聊天程序。

2022年11月30日，美国OpenAI基于自研的大模型GPT-3.5技术改进推出ChatGPT。此前，OpenAI还发布了GPT-1、GPT-2和GPT-3。

2018年，OpenAI推出GPT-1，实行半监督学习，即机器通过大量数据进行自主学习，然后再进行人工监督下的微调。当时大概是8个GPU数据、1亿多参数量。2019年，推出GPT-2，实行无监督学习，仅一年数据量有40GB的文本数据和800万个文档，参数量也大幅突破到了15亿个。这个版本更多是进行文本输出，研究显示GPT-2生成的文本的质量堪比《纽约时报》的真实报道。2020年，推出GPT-3，实行无监督学习，不仅数据类型更为丰富，模型参数也达到了1750亿个。这个版本已经可以完成答题、写论文、文本摘要、语言翻译和生成计算机代码等任务。

2022年，推出ChatGPT，数据来源于此前3年100亿条句子的日夜训练，总本文超45TB。虽然数据量更大、内容更丰富，但值得注意的是回到了半监督学习状态。使用一小部分人工标注数据来构建激励模型，即从人类反馈中强化学习。这样的决策让ChatGPT更像人了，不仅能够相对准确地理解提问者的真实目的、心理动机，还能在有效数据处理和分析后给到“像人一样”的反馈，且反馈质量不俗、形式多样。以色列总统用它写发言稿，89%的美国学生用它写作业，它还通过了谷歌18万美元工程师考试。

本文仅代表作者个人观点，不代表三茅网立场。如因内容、版权等产生的一切纠纷，将由作者本人承担。