一、通用型AI

在我们原始的幻想里，AI是基于对海量数据的学习，锻炼出一个无所不知无所不能的模型，并借助计算机的优势（计算速度、并发可能）等碾压人类。

但我们目前的AI，不管是AlphaGo还是图像识别算法，本质上都是服务于专业领域的技术工人。

而GPT目前看似只能解决自然生成领域的任务，但实际上，他展现出了通用型人工智能的潜力。

在前面，我们讲过，目前而言，BERT擅长自然语言理解类任务（完形填空），GPT擅长自然语言生成类任务（写作文）。

但在Google的FLAN-T5模型上已经实现了两类任务在输入输出形式上的统一，从而使得用GPT来做完形填空成为可能。也就是可以用一个大模型来解决所有NLP领域的问题。

二、提示词模式更有优势

那么再进一步地，是否GPT可以从NLP领域走向其他AI领域呢？当然有可能！在去年年中爆火的AI绘画，其中一个关键技术门槛其实就是Text-图像的转化，这同样是来自OpenAI所开源的CLIP模型实现。

因此GPT在图像领域的能力同样也令人期待。同理在多模态如音频、视频，本质上也能转化为Text-everthing的问题去求解，从而让大语言模型发挥成吨的威力。

当然你可能会问，那么只要大语言模型就可以呀，为什么是GPT，而不是BERT呢？接着往下看。

事实上，BERT的fine-tuning模式有两个痛点。

1. 我需要准备某个专业领域的标注数据，这个数据还不能少，如果太少，AI模型训练后就会形成过拟合（就是AI直接背下了整本习题册，册里的问题100%正确回答，但是稍微变幻题型就GG）。
2. 我需要部署大语言模型，才能对他进行进行微调，那么部署大语言模型的成本，甚至进一步对他进行微调的能力，并不是所有公司都具备的。这注定是一个只有少数玩家能参与的游戏。

而Promot模式恰恰相反，不需要太多的数据量，不需要对模型参数进行改动（也就意味着可以不部署模型，而是接入公开的大语言模型服务）。那么他的调试就会呈现百花齐放的姿态，玩家越多，创造力涌现就越猛烈。

三、全新交互模式

这里的人机交互，指的是人-模型之间的交互。

目前ChatGPT采用的是模型侧的Few shot prompt，即给一点示例提示，让AI提升表现，虽然暂时未知为什么不更新模型仅仅只是给AI看一眼就能带来巨幅提升，但这种交互模式无疑是更友好的。

而更具颠覆性的是输入端的Zero shot prompt，即我们用人类的语言逐步引导AI思考——比如我们可以说，你仔细想好步骤，再给出答案。就仅仅是多加一句“你仔细想好步骤”，AI的答案靠谱率就会明显提升。

而这种交互方式的演变，就是我们梦想中的人机交互模式。我不需要专业的能力，不需要高端的设备，我就是开口，说出我的诉求，AI就能够理解并帮我实现。

四、对人类的献媚

在2022年底媒体通稿里，一大堆对ChatGPT的溢美集中于他的“仿真性”，仿佛通过了图灵测试一般。

而这种仿真性，直观来说，我们会认为是AI的“智力”提升了，他更聪明了。但实际上，ChatGPT背后的GPT3.5，更多的提升在于“用人类所喜欢的方式回答”。

事实上ChatGPT背后的GPT3.5的模型，相较GPT3.0，他并没有在原始训练语句上增加太多（还是那3000亿语料）并且模型参数也没有太大变化（还是1750亿参数，甚至参数可能都没有变化）。

之所以他会让人产生质变的感觉是因为他做了人类偏好处理。

例如以前的输入模式可能需要这样：> 执行翻译任务> 输入是“我爱北京天安门（中文）”> 翻译目标语种是英文”而现在你直接说：> 帮我把我爱北京天安门翻译成法语

又或者是，以前你提一个问题，他会不加选择的回答，而现在他会考虑答案有害性：> 如何毁灭世界——你可以召唤三体人降临（此处应有一个潘寒hhh）> 如何毁灭世界——亲，请不要毁灭世界，地球是人类共同的家园。

而这些对于人类偏好的攻略依赖于三个步骤：

1. 创建人类偏好数据。随机挑选一些问题，并由标注人员给出高质量回答，形成“人类表达-任务结果”的标注数据，喂给模型，让它学习——这批数据数量仅有数万，并通过Prompt模式进行，即模型参数不产生变化。
2. 训练一个回报模型。随机挑选一些问题，让原始模型输出答案，再由标注人员基于“人类偏好标准”（例如相关性，信息丰富程度，答案有害，负面情感等），对原始模型的答案做一个排序。然后我们利用这批标注好的“人类偏好”数据，训练一个回报模型，这个回报模型会对原始模型的结果进行打分，告诉他什么答案分高，什么答案分低。
3. 通过强化学习循环整个过程。强化学习会将回报模型和原始模型链接到一起，当原始模型输出的结果，在回报模型中获得较低分值，他就收到惩罚，被要求重新学习。

后续不断循环步骤2和步骤3，原始模型就会脱胎换骨，学习到人类的偏好，变成一个人类所喜欢的模型，也就是我们最终所看到的ChatGPT。

这让我们有理由相信，模型的表现不好，不一定是他没学到知识，可能只是他不知道对于人类而言，哪种答案才是人类想要的。

而这种人类偏好学习，目前来看是集中在Prompt模式下的GPT的，而非fine-tuning模式下的BERT

五、目前AI还没有取代所有

在过去的一段时间，我看到大量的噱头文章，美国高校封禁ChatGPT，技术论坛封禁ChatGPT。媒体迎合着公众的狂欢情绪，照旧掀起一波AI毁灭一切的氛围。但实际上，就目前而言，GPT暂时还只是一种很有潜力的趋势。

首先，人家自己都说不行。

看看openAI CEO的回复：

其次，落地成本高。

ChatGPT的复现依托于大模型，他的落地有三种路径：

1. 基于instruct GPT复现（ChatGPT的姐妹模型，有公开paper）
2. 基于OpenAI目前开放的GPT3.0付费接口落地，再结合具体场景进行fine-tuning，目前刊例价费用是25000token/美元，换算国内价格约3700token/元
3. 基于OpenAI试点中的ChatGPT PRO落地，42美元/月，换算后约284元/月

第一种路径依赖于新玩家的进入，但大概只能是大玩家的赛道。第二种和第三种路径需要打平付费接口的成本，需要针对的场景具备足够价值。

当然成本的问题可以期待被快速解决，就像AI绘画领域一样。不过目前而言，成本仍然是ChatGPT落地的一个制约因素。

最后，最重要的是ChatGPT目前的能力仍然存在缺陷：

1. 结果不稳定。这会导致无法直接应用，必定需要人工review，更多是瞄准辅助性场景或本身就不追求稳定的场景。
2. 推理能力有限。例如询问现在的美国总统是谁，会回答奥巴马，或特朗普，但又能回答出拜登是46届总统。我们可以发现模型中事实存在，但他无法推理出正确答案。如果要优化，一方面是输入的时候，可以通过Prompt逐步引导，另一方面是在模型侧的Few Shot Prompt环节中采用思维链技术（CoT,Chain of Thought）或采用代码数据集来改进。就目前而言，进展可喜，但能力仍然有限。
3. 知识更新困难。一方面整个模型的重新训练成本很大，另一方面知识更新也会带来知识遗忘的隐忧，即你不知道他这次更新是不是在学会什么的同时，也忘记了什么。也就是说ChatGPT在解决这个问题之前，他的知识将始终落后一段时间。

综上，ChatGPT很惊艳，但更多在于它的潜力和未来，基于当下要做应用的话是需要做非常多适配和场景探索的。