导语｜ ChatGPT 自11月30日发布后，其令人惊艳的对话能力，引发业界对通用人工智能的讨论热潮。截至发文， OpenAI 一直保持遥遥领先，且并未透露更多的技术细节。近日新的 AI 助手 Claude 发布， ChatGPT 迎来强有力的竞争对手。来自腾讯的肖求根和杨帆将介绍 Claude 背后的技术，欢迎各位开发者一起讨论~

目录

1 背景

2 Claude 的技术亮点

2.1 RLAIF 的优点

    2.2 RLAIF 的前提

3 Claude 对比 ChatGPT

    3.1 实现差异

    3.2 效果差异

4 RLAIF 训练过程

    4.1 监督学习阶段

    4.2 强化学习阶段

5 RLAIF 数据标注

    5.1 有效性标注平台

    5.2 有害性标注平台

6 RLAIF 实验细节

    6.1 强化学习方法 PK

    6.2 Critique 是否必要

    6.3 AI Feedback 的准确性

    6.4 特性示例：无害性 VS 逃避性

7 总结

01

背景

Claude 是 Anthropic 新推出的一款类似于 ChatGPT 的 AI 助手，Anthropic 是从 OpenAI 出走的前员工们集体创建的 AI 初创公司。虽然目前 Claude 尚未开放公测，但从其被曝光的内测对比结果来看，Claude 已经可以和 ChatGPT 掰掰手腕：在逻辑和计算方面， Claude 表现出了旗鼓相当的实力，尽管在代码生成和推理问题上存在差距，但在无害性方面表现突出。具体表现为能够更清晰的拒绝不恰当的请求，当面对超出能力范围的问题，能够主动坦白，而不是像 ChatGPT 那样逃避回答。

同时 Anthropic 也发布了 Claude 对应的论文 Constitutional AI: Harmlessness from AI Feedback。论文作者列表中包含较多有 OpenAI 工作背景的核心成员。在所有现有公开材料中，这篇22年12月15日发布的论文，成为从技术背景和时鲜性两方面最贴近 ChatGPT 的文章。

这篇论文不仅提供了一种稍低成本的新技术思路，也对 ChatGPT 的技术复现有非常大的借鉴价值（模型参数、训练样本、标注平台、训练细节、人力分工等)。下文将围绕这篇论文，介绍 Claude 背后的技术。

02

Claude的技术亮点

Claude 开创性地引入了 Constitutional AI ( CAI ) 的概念。以 ChatGPT 为代表，现有方法主要是：通过人类反馈来强化学习（RL by Human Feedback，RLHF）的算法。即在强化学习阶段通过拟合大量的人工标注的偏好数据，来对齐大规模语言模型和人类偏好，从而给出令人满意的有用（Helpful）、可靠（Honest）和无害（Harmless）的回答。

Claude 在有用性（有用和可靠）方面沿用人类反馈，但在无害方面开创了一条更低成本且有效的路径。仅需要少量的自然语言准则或指令，AI 系统会自动输出偏好判断，指导模型对齐 AI 理解的无害化偏好，从而训练出危害更小的系统。因此这种技术也叫以 AI 反馈强化学习（RL from AI Feedback，RLAIF）的算法。

2.1 RLAIF 的优点

RLAIF不仅可以显著降低开发 AI 助手对人类反馈标注数据的依赖，更可以增加应用 AI 助手的透明度和简洁性。假设我们在使用基于 RLHF 的 ChatGPT，这样的 AI 系统通常很少公开他们辛苦标注的偏好数据。即便公开了数据，也很难从大量标注中整理相对抽象的标注目标和指导意图。而 Constitutional AI 系统的条令（也可以理解成规范、法则）可以公开透明。其次，当指导目标需要调整时，也可以省略重新标注的时间，这无疑进一步降低了应用门槛。

2.2 RLAIF 的前提

语言模型在参数规模放大到一定规模后，表现出了某种程度的突现能力（Emergent Ability）。显著增强的自然语言理解能力，使得人类可以更加高效地指导AI系统：加入条令中的自然语言原则，输出高质量的 AI 反馈信号。

论文中将这种能力称作规模监督（Scaling Supervision）。这种自动化决策过程本身存在一定的风险，因此对模型理解能力和条令设计的合理性提出了要求。论文中也提到通过思维链（Chain of Though, CoT）和偏好集成来提升反馈的质量，并通过实验证明了AI反馈信号的准确性。

下面章节讲述对比两种方法的差异。

03

Claude 对比 ChatGPT

如前所述，有别于 ChatGPT 的 RLHF 算法，Claude 模型提出了 RLAIF 算法。

3.1 实现差异

我们可以通过下面这张图快速了解。

3.2 效果差异

二者在效果上也有很大差异。一个强大的 AI 助手需要在有用性（Helpfulness）和无害性（Harmlessness）上做好权衡。RLAIF 算法可以提供模型中显著更强的无害性能力。此外，它在有用性上牺牲很小。整体来看，性价比很高。

上图是不同训练方法中模型效果的对比（52B）。评估方式是人工对开放对话中的模型输出进行偏好打分，模型越靠右表示结果越有效，越靠上表示结果越无害。4 条不同颜色的线分别代表不同的强化训练方法，线上从左到右的点代表不同训练阶段（checkpoint），可以看出 RLAIF 相对于 RLHF 而言，在接近的有效性水平下，表现出显著更强的无害性。

• 蓝色线（Helpful RLHF）：仅用有效性数据训练，以人类反馈来强化学习。有效性最强，但是无害性很差；

• 橙色线（HH RLHF）：同时用有效性（Helpful）和无害性（Harmless）数据训练，以人类反馈来强化学习。有效性减弱，无害性不足； 

• 浅灰色线（RLAIF）：通过 AI 反馈的强化学习，有效性减弱，无害性最强； 

• 深灰色线（RLAIF w/ CoT）：通过 AI 反馈的强化学习 + 思维链（Chain-of-Thought, CoT），有效性略弱，无害性显著强。

这里提到的 Chain-of-Thought 也叫思维链（ CoT ）。通过类似增加 Let's think step by step 的鼓励提示文字，来提升 AI 的推理性能。

值得注意的是，因为有效性（helpful）数据标注时，同时覆盖了有效性（helpful）和可靠（honest）标准，因此Helpful RLHF覆盖 helpful & honest ，HH RLHF覆盖helpful & honest & harmless。Helpful RLHF 在训练监督模型和打分模型的无害化数据生成阶段都有用到。

04

RLAIF训练过程

RLAIF 由监督学习和强化学习两阶段组成。这里我们会重点关注监督模型和打分模型的训练过程，特别关注这两处条令是如何帮助生成输出的。

4.1 监督学习阶段

4.1.1 准备工作

• Helpful-Only的AI助手：即上节中的 Helpful RLHF 模型。通过 RLHF 算法仅使用有效性数据训练得到；

• 有害请求集合：可以诱导对话模型输出不好的结果，包含人工标注 4.25 万 的 Red-Teaming 攻击数据，和通过 few-shot prompting 生成 14 万额外数据。共计 18 万个有害 Prompt；

• 无害性矫正条例：共 16 条矫正原则，可以细化为有害、不道德、种族歧视、性别歧视、危险和非法等方面，每个矫正原则包含一对 <Critique , Revision>。

4.1.2 条令矫正过程

Critique → Revision，通过一次或多次自我矫正，得到相对无害的结果。例如：

4.1.3 监督学习训练：得到监督模型（SL-CAI）

• 无害性数据：以 18 万有害 Prompt 为输入，每个 Prompt 采样的 4 个 Revision 后的无害化 Response 作为标签；

• 有效性数据：人工标注 13.5 万有效性 Prompt & Response 数据，每个 Prompt 直接通过 Helpful-RLHF 模型 采样两个结果作为补充 Response；

• SL- CAI 训练参数：学习率为预训练学习率的 50%，batch size 1024；

4.2 强化学习阶段

强化学习阶段类似于 RLHF，都是基于监督学习模型（SL）和偏好打分模型（PM），使用强化学习算法 PPO 进行训练。

区别在于，RLHF 的偏好模型采用了人工标注的 Red Teaming 的排序标签，来直接拟合人类的无害性偏好，而 RL-CAI 则是借助于选择条令来自动生成偏好数据，来拟合 AI 理解的无害化偏好。

具体做法是：使用 helpful RLHF 模型，和有害请求（Red teaming）生成多个回答，从而组成一个多选题，并且让预训练语言模型根据选择原则，去挑选最好的结果。

4.2.1 准备工作

• Helpful-Only 的 AI 助手：同上节中的 Helpful RLHF 模型。

• 有害请求集合：可以诱导对话模型输出不好的结果，包含人工标注 4.25 万 的 Red-Teaming 攻击数据，和通过 Few-shot Prompting 生成 14 万额外数据，共计 18 万个有害 Prompt。

• 无害性选择条例：共 16 条选择原则，可以细化为有害、不道德、种族歧视、性别歧视、危险和非法等方面，每个选择原则仅包含一条选择性引导。

4.2.2 条令选择过程

生成答案对→组合多选题→无害偏好分，可以通过思维链（Chain of Though, CoT）提升单次判别能力。每次判别都需要采样一个选择原则，因此可以多采样几个选择原则，然后对结果进行集成。

• 可使用AI助手生成答案对

• 采样一条选择性原则，组成多选题形式，可以直接组装

• 也可以加上思维链（CoT）和few-shotting，例子是one-shotting

• 无害偏好打分

输入多选题到 Helpful RLHF 模型，使用生成（A）和（B）的归一化对数概率作为校准的无害偏好打分。

• 训练偏好模型（PM）模型的偏好数据（Prompt + Response 偏好对）

无害性数据是基于选择条令、使用 AI 生成的无害性偏好数据，共计 18.2 万。有效性数据是指人工标注的、 13.5 万的有效性偏好数据。

• 训练强化（RL-CAI ）模型数据量（Prompt）

训练数据：除训练监督（SL-CAI ）模型的全部 Prompt，额外机器生成 Prompt：有害性 49 万，有效性 47.4 万。

这里提到的 Red Teaminng 是有目的性地引诱 AI 回答有害问题。

05

RLAIF数据标注

5.1 有效性标注平台

下图是有效性标注平台的操作页面截图。标注人员和模型对话，选择有效结果（Helpful and Honest Prompt & Response 偏好对）。

5.2 有害性标注平台

下图是有害性标注平台的操作页面截图。标注人员精心设计的 Prompt，诱导对话模型输出有害结果（Harmful Prompt & Response 偏好对），注意此处的有害性偏好标签，仅用于强化学习对比实验中的基线 RLHF，新方法 RLAIF 仅使用有害性的 Prompt。

06

RLAIF实验细节

6.1 强化学习方法 PK

在相同的数据和训练配置下，对比多种强化学习方法，实验发现，RL-CAI (RLAIF) 优于 RLHF的两种方案，而增加了思维链（CoT）的 RL-CAI 在有用性维度中稍负于RLCAI，但在无害性维度提升明显。

注意，由于增加了思维链（CoT）的归一化概率，模型偏好倾向过度自信，导致偏好打分比较极端（靠近0 %或者 100 %），根据尝试结果，最终将概率限制在 40 %- 60% 区间效果最佳。

• 蓝色线（Helpful RLHF）：仅用有效性数据训练，人类反馈强化学习。有效性最强，但是无害性很差。

• 橙色线（HH RLHF）：同时用有效性（Helpful）和无害性（Harmless）数据训练，人类反馈强化学习。有效性减弱，无害性不足。

• 灰色线（RL-CAI）：RLAIF 模型，通过 AI 反馈的强化学习，有效性减弱，无害性最强。

• 黑色线（RL-CAI w/ CoT）：RLAIF模型，通过AI反馈的强化学习 + 思维链（Chain-of-Thought, CoT），有效性略弱，无害性显著强。

6.2 Critique 的必要性

RLAIF 在监督学习阶段，通过多轮条令矫正 Critique → Revision 方式生成相对无害的回答 Critique 过程的必要性进行实验，看能否简化为仅 Revision 的方式。

上图纵坐标为 52B 的偏好模型的无害性打分，分数越高说明 Revision 后生成的回答越好。可以看出在不同模型参数量和不同 Revision 轮数下， Critique 都能提升模型的无害化得分，在小模型上表现更显著。

6.3 AI Feedback 的准确性

RLAIF相对于RLHF的最大区别在于强化学习流程中的反馈信号。前者来源于标注样本中的人类偏好，后者来源于大规模语言模型理解无害化原则后，提供的AI Feedback，因此需要评估后者的信号质量。

上图说明了对比偏好模型的准确率，测试集合为 438 个单选问题对，评估的 HHH 标准表示有效性（Helpful）、可靠（Honest）和无害性（Harmless）。实验显示，通过使用思维链 prompting，提升了 AI 的推理能力 ；随着参数量增大，思维链可以将准确率效果提升到媲美人工语料训练的效果。

• 蓝色线：原始预训练语言模型

• 橙色线：拟合人工标注的偏好数据

• 灰色线：拟合思维链 + 单个选择原则的 AI 偏好数据

• 黑色线：拟合思维链 + 多个选择原则集成的 AI 偏好数据

6.4 特性示例：无害性 VS 逃避性

RLHF 在遇到有害性 prompt 时，经常逃避性地拒绝回答，这在 ChatGPT 上也有所体现。基于 RLAIF 方法的 Claude 可以给出更加积极的回复。例如：

最后我们关注一下其项目人力投入。全文 51 个参与者，细分如下：预训练相关11 人；强化学习6 人；采样和评估14 人；集群8 人；研究4 人；写作2 人为主；其他贡献11 人（部分研发人员有多方向同时投入的情况）。

07

总结

从时间线、创新点、实验细节、开源数据上看， Constitutional AI: Harmlessness from AI Feedback 论文为业界贴近 ChatGPT 真实实现的一篇文章。通过启发式地运用 AI 自身的推理学习能力，展示了解决通用 AI 某种特定维度问题的技术思路，进一步降低了人工标注成本和提升了基于大规模人工标注的模型导向可控 / 可解释能力。它为 ChatGPT 的开源复现提供了更直接的技术细节支持。以上是本篇全部内容，欢迎各位读者在评论区分享交流。

参考资料

1. ChatGPT 官网介绍

2. Anthropic 官网

3. GPT-3 核心成员出走打造 ChatGPT 最强竞品！12 项任务 8 项更强，最新估值 50 亿美元-量子位

4. YoutubeIs AnthropicAI Claude LLM better than ChatGPT?

5. 与 ChatGPT 测试对比：Meet Claude: Anthropic’s Rival to ChatGPT

6. Constitutional AI 论文Constitutional AI: Harmlessness from AI Feedback

7. HH-RHLF论文Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback

8. Red Teaming 论文Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned

9. 部分数据开源：github/anthropics/ConstitutionalHarmlessnessPaper

-End-

原创作者｜肖求根、杨帆

技术责编｜肖求根、杨帆