Self-Distillation Zeroとは何か

二値報酬しかないのに、どうやって「どのトークンをどう直すべきか」という密な学習信号を作るのか。2026年4月13日にarXivへ投稿された Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision は、この問いにかなり端的な答えを与えています。著者らの主張はシンプルで、外部教師や高品質デモを用意できなくても、モデル自身に「生成者」と「改訂者」の二役を担わせれば、正誤だけの二値報酬をトークン単位の自己教師信号へ変換できる、というものです。しかも数学・コード推論で、同一の問題集合とサンプル予算の下、RFT、GRPO、SDFTといった強い比較手法を上回ったと報告しています。現時点では査読前のプレプリントですが、問題設定そのものがいまのLLM後学習の急所を突いています。 (arxiv.org)

この論文の背景には、推論モデルの後学習が大きく二系統に分かれてきたという事情があります。ひとつは、数式の正解判定やコード実行の成否のような「検証可能な報酬」を使うRLVR系です。DeepSeekMathはGRPOを導入し、DeepSeek-R1は人手の思考過程ラベルに依存しない強化学習が自己反省や検証のような振る舞いを引き出せると示しました。ただし、この系統の弱点は、長い推論列に対して最後にほぼ1個のスカラー報酬しか返ってこないことです。つまり、どこが良くてどこが悪かったのかというクレジット割当てが粗い。SD-Zeroは、まさにこの粗さを埋めにいく提案だと読めます。 (arxiv.org)

SD-Zeroの中核は、同一モデルに二つの役割を与える設計です。まず Generator が最初の解答を出す。次に、その解答へ検証器から二値報酬が付く。そして Reviser が「元の解答」と「その報酬」を条件として、よりよい解答を生成する。最後に、その Reviser のトークン分布を教師信号として Generator に蒸留する。重要なのは、ここで教師が外部の強力モデルではなく、同じモデルが報酬付きの文脈の中で事後的に作り出した“よりよい次トークン分布”だという点です。二値報酬そのものは疎でも、改訂された出力列は密なので、学習信号は一気に細かくなる。論文タイトルの「binary rewards into dense supervision」は、まさにこの変換を指しています。 (arxiv.org)

この発想の面白さは、既存の自己改善法の長所をつなぎ直しているところにあります。Self-Refine や Reflexion は、同じモデルに自己フィードバックや自己修正をさせることで推論時の質を上げましたが、主眼はテスト時改善でした。一方、STaR や RFT は、モデル自身が作った正解付き推論を集めて再学習する枠組みで、自己生成データを訓練へ戻します。しかしSTaR/RFTは基本的に「うまくいった軌跡」を主に学ぶので、失敗例から得られる情報は捨てやすい。SD-Zeroは、失敗した軌跡であっても、報酬を見た改訂者がそこから改善案を作れれば、それ自体を密な教師信号に変えられる点で一段進んでいます。 (arxiv.org)

関連研究との位置づけを整理すると、流れはかなり明瞭です。
- GRPO/RLVR系は、検証可能な最終報酬で直接方策を更新するが、学習信号は疎になりやすい。 (arxiv.org)
- STaR/RFT系は、正しく解けた自己生成軌跡を再学習に使うが、不正解側の情報利用は限定的である。 (arxiv.org)
- RIFTは負例も捨てず、報酬で重み付けして使おうとした。 (arxiv.org)
- SDPOは、実行エラーや審判コメントのような豊かなテキストフィードバックを密な信号へ変える。 (arxiv.org)
- それに対しSD-Zeroは、豊かな外部フィードバックすら不要で、二値報酬と自己改訂だけで密化しようとする。ここが新規性の芯です。 (arxiv.org)

実験面で著者らが強調しているのは二点です。第一に、Qwen3-4B-Instruct と OLMo-3-7B-Instruct を用いた数学・コード推論ベンチマークで、ベースモデルより少なくとも10%以上改善し、同じ問題集合・同じ学習サンプル予算でRFT、GRPO、SDFTを上回ったこと。第二に、アブレーションから「token-level self-localization」と「iterative self-evolution」という性質が見えたことです。前者は、改訂者が報酬を手掛かりに、元の応答のどのトークン近辺を直すべきかを見分けていること、後者は、その改訂能力自体が定期的な同期を通じて生成能力へ還流していくことを意味します。もしこの解釈が再現されるなら、SD-Zeroは単なる性能向上テクニックではなく、自己修正を学習内部へ取り込むメカニズムとして重要です。 (arxiv.org)

では、この論文の射程はどこまであるのか。私は、少なくとも「外部教師がなくても、報酬条件付きの自己改訂を教師化できる」という点で、自己改善型推論モデルの設計空間を広げたと思います。近年は Absolute Zero のように外部データ自体を減らす方向も進んでいますが、SD-Zeroはそこまで極端ではなく、与えられた問題集合の中で、報酬の情報密度を内生的に引き上げる立場です。言い換えると、データをゼロにするのではなく、報酬の情報量を増幅する研究だと言えます。これは、今後の小〜中規模オープンモデルの後学習にとって実務上かなり価値が高いはずです。 (arxiv.org)

もっとも、慎重に見るべき点もあります。まず、この方法は依然として「検証可能な二値報酬」が得られる領域に強く依存します。数学やコードでは有効でも、創作や曖昧な判断を含むタスクへそのまま広げられるとは限りません。また、改訂者の質はベースモデルの自己診断能力に縛られるので、モデルが誤りの所在をそもそも言語化できない場合には伸びしろが限られるでしょう。さらに、2026年4月15日時点では公開直後のarXiv論文であり、独立再現や大規模追試をまだ待つ段階です。とはいえ、二値報酬しかない世界で密な学習信号をどう作るかという問いに対して、ここまで筋のよい答えを出した点は見逃せません。 (arxiv.org)

要するに、Self-Distillation Zero の本質は「正解か不正解か」しか分からない訓練環境でも、モデルに一度自分の失敗を見直させ、その見直し過程を蒸留すれば、疎な報酬を密な教師へ変換できる、という発想にあります。RLと蒸留、推論時の自己修正と訓練時の能力内在化、そのあいだにあった溝を一歩きれいに埋めた論文です。今後もし、この路線がより大規模なモデル、より難しい検証環境、あるいは部分的に曖昧な報酬へ拡張されていくなら、LLM後学習の中心課題は「より良い報酬を集めること」だけでなく、「乏しい報酬をどう密化するか」へ、さらに明確に移っていくかもしれません。 (arxiv.org)

主な出典: SD-Zero本論文、DeepSeekMath、DeepSeek-R1、Self-Refine、Reflexion、STaR、SDFT、RIFT、AdaSTaR、Absolute Zero。 (arxiv.org)