栏目分类
发布日期：2025-03-12 16:03 点击次数：86
相应时东说念主颤动的责任，颠倒是 Deepseek-r1-zero。
莫得任何监督锻练，纯强化学习最初，驳斥了“感谢OpenAI开源”、“蒸馏OpenAI-o1”的说法，Deepseek-r1-zero 模子在预锻练之后，是全王人莫得经过任何监督学习的，也即是说莫得使用任何其他念念维链模子（以及东说念主类）的输出。从 Deepseek-v3 基座，平直进行强化学习，即可解锁 o1 级别的念念维链时候。
只看谜底，不搞花里胡梢Deepseek-r1-zero 在强化学习中，唯一两种奖励：
第一种：（如果我没贯穿错的话）只看最终谜底对辨别。关于数学题，只看它最终的终局 box{Answer} 并给以正确或无理的反映；关于编程题，只看测试用例的终局。既莫得过程奖励，也莫得MCTS。
第二种：形貌奖励，也即是条目模子将念念考实质写在“草稿纸”上（ CoT 标签内），不要混杂念念考实质和给用户呈现的实质。
为什么莫得过程奖励？作家觉得，过程奖励很容易被偷分（reward hacking），就像东说念主类学生在考验时，瞎写公式试图骗分一样。而且，能给过程进行打分的模子很难结束。除了东说念主类，还有谁能来当这个改革功课的淳厚呢？第一代模子只可硬闯出来我方的路。
为什么莫得MCTS？因为推理到每一步时，下一步的选项王人太多太多了，比围棋要多得多，而且这是指数级别的增速。如果边界搜索空间，又会很容易堕入局部最优。其次，和过程奖励的问题一样，给念念路打分的模子（value model）一样很难结束。
念念维链时候的自我进化随着强化学习的捏续进行，模子为了擢升作念题的正确率，越来越习尚进行很长的一语气念念考。
严防，这极少是在莫得奖励念念维链长度的情况下结束的。模子只是只是为了作念对题目，就自愿地进行越来越长的念念考。况兼，它从长念念考中得回了精熟的效力，也即是更高的正确率。
这似乎清晰咱们，只消强化学习环境成就顺应，为了完成一个任务，模子就有可能越来越习尚于进行超长的一语气念念考、一语气看成。这为强化学习结束 Agent 铺平了说念路。
反念念时候的清晰作家在文等共享了一个很意思意思的案例。一开动，模子（Deepseek v3 基础模子）只是惬心贵当地一步步撰写念念维链，就像其他一般的、莫得念念维链时候的模子那样。你以致不知说念它是的确在念念考，照旧只是只是背下来了解题过程？亦或是先有了一个谜底，然后再对着谜底凑过程？
磋磨词，随着强化学习的捏续进行。在某一步中，模子俄顷有了这样的输出：
问：如果 a>1 ，那么方程 sqrt{a-sqrt{a+x}}=x 的各个实数根之和是若干？
答：
为了解 sqrt{a-sqrt{a+x}}=x ，咱们最初双方同期闲居。。（不祥一堆公式）。。然后再把内部的根号移到一边去。。。再闲居不错得回 x^4-2ax^2-x+(a^2-a)=0
等等！等一下！我猜想了！
咱们再行不雅察一下这个设施。咱们从原方程开动。。最初，咱们对双方进行闲居。。
一直在接收强化锻练的模子，在锻练到一定进程的期间，仿佛“灵光一闪”一般，在念念维链中输出了一些鬼使神差的惊奇词。然后，第一次开动重新再行念念考扫数这个词问题，也即是清晰出了反念念的时候。
作家们觉得：这不单是是模子的灵光一闪，更是不雅察它的商量东说念主员的灵光一闪。这充分体现了强化学习的威力和魔力：咱们并不显式地教模子要怎么去求解问题，咱们只是条目模子去作念对题目，模子我方就能清晰出复杂的念念维模式（反念念）。这个阵势辅导咱们，强化学习的确具有很强的后劲，能为模子解锁下一个等第的智能，为结束 Agent 铺平了说念路。
实用的 CoT 模子——R1 的结束deepseek-r1-zero 的锻练过程及最终的时候让东说念主印象深切。虽然，放出来给各人用的模子照旧要作念一些工程上的优化的，不要那么激进。是以，第一步，deepseek-r1 模子照旧先用 SFT 来启动，让模子先随着样本学习一下念念维链长啥样。然后，第二步，再进行和 deepseek-r1-zero 一样的强化学习。
强化学习完成后（这只锻练了那些明确能判定终局正确与否的问题与解答），插足第三步。此时推论一些其他方面的问题，况兼让（经过微调的） Deepseek-v3 来生成相宜的数据及奖励（这里我没太看懂）。此外，关于一些浅易的、挂念类的问题，用了和 deepseek-v3 一样的后锻练顺次及数据。
临了第四步，在扫数场景中进行第二轮强化学习。关于那些能明确判定终局正确与否的问题，用和 deepseek-r1-zero 一样的顺次；其他种类的问题则用 RLHF，用访佛于 deepseek-v3 后锻练的历程及数据集。
站在巨东说念主肩膀上的小模子此前也曾有好多东说念主宣称我方用小模子结束了o1/o1-preview/o1-mini的性能，顺次是通过对展现了精熟念念维过程的样本进行监督学习。也即是说，蒸馏o1，或者收罗一堆东说念主类写的CoT文本然后监督学习。
那么这里 Deepseek 团队也作念了这件事情，发现这条路确本质得通，而且效力好得难以置信。
举例，Qwen 1.5b 这样小的模子，蒸馏了一下 Deepseek-r1，就能在数学题上杰出 GPT-4o 和 Claude-3.5-sonnet 这种顶级基座模子了！ 关于 Llama 70b 这种大模子，蒸馏了一下，作念题时候坐窝就杰出 o1-mini，直逼 o1 了。
然后，既然 deepseek-r1-zero 纯用强化学习就这样猛了，那小模子呢？于是尝试了一下对 Qwen-32b 基础模子，用 deepseek-r1-zero 的强化学习顺次，望望效力怎么。
终局，效力一般，和 Qwen 团队给出的 QwQ-32b 险些一样。纯强化学习的阐明，远远不如平直蒸馏 Deepseek-r1！
大要，关于大模子而言，学而不念念则罔；关于小模子而言，念念而不学则殆。
大模子不习尚于念念考，就很难作念对数学题。然而，大模子自己终点灵巧，只消条目它作念对题目，它我方就能清晰出复杂的念念考模式，通过大王人天才般的灵光一闪，踏出一条智识的说念路。
小模子即使十分勤奋地尝试作念对题目，但仍存在一定的瓶颈。磋磨词，天禀平平的小模子，却不错通过学习大模子的念念维形式，站在巨东说念主的肩膀上，快速学习到很强的念念维才略和作念题时候，从而成为及格以致优秀的作念题家。
回来与瞻望deepseek 团队为咱们展示了强化学习的浩大威力，况兼开源了 o1 级别的 deepseek-r1 模子为东说念主们所用。MIT条约！救助商用！饱读舞蒸馏！源神启动！
由于 deepseek-r1 主若是通过锻练念念维链以强化作念题时候，是以仍有检阅空间：
1、在通用任务上可能比不外 deepseek-v3，包括调用函数、多轮复杂的脚色饰演、输出 json 文本等；
2、输出有期间会搀和不同的话语，和用户盼愿不一致；
3、对辅导词明锐。few-shot 的辅导词可能会缩短当时候，是以推选使用 zero-shot 辅导词。（这里指的是，咱们最佳不要提供示例，而只是描写咱们想要的终局？如果我贯穿错了请在辩论区里告诉我）
4、软件工程时候，和 deepseek-v3 比拟莫得很较着的朝上。
我计划写一些莫得明确写在论文里的不雅察，但当今太晚了，先占个坑。