ChatGPT的技术成份有多高

确切的说，有三四层楼那么高。

ChatGPT 由 GPT-3.5 模型提供支持，与传统思路不同，它采用了一种半监督式的训练机器说话。这是它的创新所在，也是它的独到之处。

GPT，英文全称是Generative Pre-trained Transformer ，直译过来是生成型预训练-变形金刚 。

所谓生成型预训练，这是GPT的核心思想，即先给机器喂养大量无标签的文本进行“预”训练，生成一个初步的语言模型；然后再微调，根据具体的语言处理任务（如文本蕴涵、QA、文本分类等），通过有标签的数据对模型进行微调fine-tuning，使之不断完善，最后生成确定的模型，以便来应付同类任务。

名字前面加上chat，即“聊天生成型预训练-变形金刚”，之所以有这个Transformer，则是表明了其师承门派。

换言之，GPT是OpenAI公司基于谷歌的Transformer语言模型框架而开发出来的技术。

Transformer堪称巨人，它拯救了奄奄一息的NLP，为停滞不前训练机器说话工作开辟了新道路。

Transformer门下有许多徒弟，为何GPT鹤立鸡群了呢？

这是因为GPT模型迭代到GPT-3时，又引入了 " 利用人类反馈强化学习(RLHF)" 的训练方式，主要包括“人类提问机器回答、机器提问人类回答”，在此基础上，不断迭代，让模型逐渐具备了对生成答案的评判能力。

RLHF是GPT功力大增的大功臣。它也是让许多人激动失眠的一个重要因素。

RLHF较好解决了生成模型的一个核心问题---人机对齐(The Alignment Problem)。顾名思义，对齐即向人类看齐，在AI领域，特指让AI模型的产出，尽量与人类的常识、认知、需求、价值观保持一致，并遵循人类意图。

如安远AI认为，人机对齐问题是大模型通向安全、可靠的通用人工智能(AGI)所面临的巨大鸿沟，更是大模型的伦理和社会风险至今悬而未决的根源。

很多人测试后发现，引入人类偏好学习机制后，ChatGPT显得卓尔不群，它给出的回答不再像同类竞品那样生拼硬凑，更加贴近人类，不仅如此，ChatGPT学会了纠正提问中的错误，能够对一些敏感的问题做出回避。

这是chatGPT可以跟前辈聊天机器人说“我们不一样”的地方，由此形成了独特的技术优势。

不过也有许多人测试以后，给它贴上一个标签：“一本正经地胡说八道”。

算法优化，毫无疑问是技术进步，这算不算革命呢