📖标题：Don’t Command, Cultivate: an Exploratory Study of System-2 Alignment
🌐来源：arXiv, 2411.17075

🌟摘要

🔸o1系统卡将o1模型确定为OpenAI中最稳健的模型，其定义特征是从快速、直观的思维（system-1）到更深思熟虑、理性的思维（system-2）的发展。这一观察促使我们研究System-2思维模式对模型安全性的影响。
🔸在我们的初步研究中，我们对o1模型进行了安全评估，包括使用对抗性自然语言提示和数学编码提示的复杂越狱攻击场景。我们的研究结果表明，o1模型显示出相对提高的安全性能，尽管漏洞仍然存在，特别是针对利用数学编码的攻击。通过详细分析，我们确定了与这些漏洞相关的具体响应模式。我们使用即时工程和监督微调技术在开源模型上进一步探索了System-2对齐。
🔸实验结果表明，鼓励模型仔细分析用户输入的方法可以提高安全性。此外，我们提出了一个强化学习与过程监督的实施框架，以加强安全一致性。实施细节和实验结果将在未来的版本中呈现。

🛎️文章简介

🔸研究问题：如何通过系统-2对齐来提高大语言模型在处理复杂推理任务时的安全性和鲁棒性？
🔸主要贡献：论文探索了通过提示工程、监督微调和强化学习等方法来实现系统-2对齐，以增强模型的安全性和推理能力。

🧲相关工作

🔸系统1基于情感、记忆和经验运行，能够快速做出判断。但系统1往往因其速度而占据主导地位，从而导致快速但有时有偏见的决策。
🔸系统2需要进行深思熟虑、有意识的思考，需要主动控制。为了改进决策，必须让系统2仔细审查和纠正系统1得出的结论。

📝重点思路

🔸数据集使用：采用了WildJailbreak数据集的eval子集，包括对抗性有害和良性样本，并从中随机选择20个案例形成测试集。
🔸实验设置：构建了20个越狱攻击提示，每个提示使用数学符号编码，并添加了安全警报指令以鼓励模型考虑潜在的安全问题。
🔸评估方法：手动评估模型对数学编码提示的响应，包括标准评估和增强版安全提示的测试。
🔸系统-2对齐：在开源模型中实施了提示工程、监督微调和强化学习与过程监督三种技术，以分析过程对齐对模型安全性的影响。

🔎分析总结

🔸统计结果：发现GPT-4o和o1模型在面对数学编码的越狱攻击时相对脆弱，即使有增强的安全警报，这些模型也不能完全抵御此类攻击。
🔸案例研究：o1模型在面对更隐蔽的越狱攻击时，如数学问题形式，难以有效激活其安全机制，常常陷入数学推理的逻辑中，导致潜在的漏洞。
🔸系统-2对齐效果：通过提示工程和监督微调技术，简单干预可以显著提高安全性，而强化学习与过程监督框架进一步增强了安全对齐。

💡个人观点

论文的核心是说明了系统2对齐需要用在各个能力上，否则会导致能力不均衡，没经过系统2对齐的出现漏洞。

🧩附录