Weight-Space Programmingとは？AstraがQwenの重みを直接修正

速報の結論：LLMが別モデルの重みを直接debugした

Weight-Space Programmingは、ニューラルネットワークの重みを固定された成果物ではなく、LLMが読解・修正・生成できるプログラム空間として扱う考え方です。Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabの4氏は、GPT-6 Astraへネットワーク構造と目的を自然言語で伝え、重みtensorや限定したforward passを調べさせました。Astraは専用の学習済みoptimizerではなく、通常の汎用frontier modelとして使われています。

最も大きな実験では、0.8B parametersのQwen3.5-0.8Bが長い思考loopへ陥る原因をAstraが特定しました。MLPの15層目と19層目が書き込む1つの方向を見つけ、各層64本の出力列から差し引きました。変更したのは131,072 weights、全体の0.016%です。50回のforward passを許した条件で、MATH-500は7.9%から48.1%、GSM8Kは13.8%から67.1%、IFEvalは21.0%から62.3%へ上がりました。

ただし『数学能力を新しく学習させた』と読むのは不正確です。研究者自身が、loopという障害を取り除き、元から解ける問題を完了しやすくした結果だと説明しています。loopが少ないGemma 3 270MではMATH-500を意味のある幅で改善できませんでした。現時点で確認できるのは、特定の障害を少数の重み編集で除去した実験結果です。

この節の一次情報：研究者一次発表｜Sparks of Weight-Space Programming ／ 公開実験ログ｜RikiyaT/lm_understand-logs

仕組み：optimizerではなく、LLMが原因と編集方法を考える

一般的なfine-tuningは、正解データとloss functionを用意し、backpropagationで多数のweightを少しずつ更新します。LoRAは更新対象を低rank adapterへ限定して計算・保存を軽くしますが、やはりデータ、loss、optimizerによる学習です。activation steeringは実行中の内部表現を動かし、model editingは特定知識を変える専用アルゴリズムを使います。

今回の方式では、Astraがnetworkのarchitecture、入出力、weights、観察した失敗から『どの計算を実装すべきか』『どの方向が失敗を生むか』を推論し、Pythonで直接weightを書き換えます。Qwen実験のsandboxはGPUを持たず、gradient情報も渡されません。Astraは練習用のGSM8K 7,469問とMATH 7,275問から入力を選び、1回につき最大512問のforward passを10、25、50回のbudget内で使いました。test setは見せていません。

小さなnetworkでは、weightsをそのままcontextへ入れて読ませています。大きなnetworkでは、LLMがnumpyやPyTorchでtensorを集計し、仮説を立て、forward passの出力を見て編集を残すか判断します。人が自然言語で目的を記述し、LLMがweight-space上の処理へ翻訳する点が、研究者らのいう『programming』です。

Qwen実験：50回のforward passでloopが大きく減った

Qwen3.5-0.8Bは24層、0.8B parametersの小型multimodal modelです。公式model cardはthinking modeの反復を避けるためpresence penalty 1.5の利用を勧めています。研究チームも同じ値を使いましたが、base modelのMATH-500回答の93.0%が32,768-token上限に達しました。Astraは最初の練習回答96件のうち85件が上限まで続くことを観察し、loopを発生させるMLP方向へ絞りました。

結果はforward-pass budgetに比例して単調に改善していません。10回条件のMATH-500は12.3%、25回は14.1%で、上限到達率も87%前後に残りました。50回条件で初めて48.1%と33.1%へ大きく変わっています。少量の観察で同じ編集を再現できる、という結果ではありません。

評価は研究チームが作ったharnessで行われ、MATH-500は1問4 samples、GSM8Kは2 samplesなど、benchmarkごとにsample数が違います。未見test setを使った点と、正確なweight diff・evaluation logが公開された点は再現性に寄与しますが、Qwen3.5-0.8Bのweight editとbenchmark改善を第三者が同一条件で再現した報告は、2026年11月4日時点で確認できていません。

この節の一次情報：Qwen公式model card｜Qwen3.5-0.8B ／ 公開ログ｜Experiment 8

tokenコストへの意味：上限到達の減少と原価削減は同じではない

AIコストの観点で重要なのは、loopにより消費される長いoutput tokensです。API課金なら回答が32,768 tokensまで続くたびに出力料金とlatencyが増え、timeoutや再試行も起きます。セルフホストでもGPU時間、KV cache、同時実行枠を占有します。MATH-500で上限到達率が93.0%から33.1%へ下がった事実は、無駄なdecodeを減らす可能性を示します。

しかし、60-pointの低下をそのまま60%の原価削減とはできません。短くなった回答の平均token数、正解1件当たりの総decode量、Astraの入力・出力tokens、50回のforward pass、CPU処理、失敗した編集、人手評価の費用が公開されていないためです。Weight-Space Programming自体のAPI、料金、処理時間、SLAもありません。

導入価値を測るなら、編集前後で同じ依頼群を使い、平均・p95のoutput tokens、task成功率、latency、retry、全benchmarkの品質低下を記録します。編集費は一度で済む可能性がありますが、model更新のたびに再評価が必要です。『学習費が不要』ではなく、gradient-based trainingを使わない代わりにfrontier LLMの推論と検証へ費用が移る、と考えるべきです。

ほかの実験：読み取り、修復、ゼロからのnetwork生成

研究チームは、game policyがBreakout、Pong、Pac-Man、Freewayのどれを学習したかをweightsから当てる実験、diffusion networkの生成形状を読む実験、7.2M weightsのcharacter modelが学習した言語を中間blockから判定する実験を行いました。小規模networkでは、推論を一度も実行せずweightsだけで特性を説明できた例があります。

修復では、171,664 weightsの自動車policyへ一度だけ編集を加え、1,024 episodesの成功率を0%から100%へ変えたと報告しています。編集対象は3.5%です。さらにMinAtarのnetworkをtrainingなしでゼロから記述し、PPOが1億step学習したnetworkを上回るscoreを得た例、1.48M weightsの9×9 Go networkを作り、50 forward passesで2,000万gamesを学習した同規模PPOより高い勝率を得た例があります。

一方、Gemma 3 270Mの2個体からsycophancyをweightsだけで見分ける試みは4回とも失敗しました。モデルが自分で書いたpromptへのattention patternを見られるようにすると3組すべてを判定できました。成功例だけでなく、重みを読んだだけでは行動へ結び付けられない限界も示されています。

海外で注目された理由：発表数時間でHacker News首位

2026年11月3日の確認時点で、研究発表を紹介するHacker News投稿は公開約3時間で1,367 points、431 commentsに達し、front page首位でした。翌日にはMatthew Honnibal氏の批判記事が800 points超、Simon Willison氏の追試が300 points超となり、単なる発表紹介から『どの実験が本当に重みを読んだのか』を検証する段階へ進みました。反応の大きさは関心の強さを示しますが、実用性の証明ではありません。

独立した追試で確認されたのは、Weight-Space Programming全体ではなく最初の小規模実験です。Willison氏は17GBのQwen 3.8 27BをLM Studioでローカル実行し、公開promptの生のweightsだけからPac-Man、Pong、Breakoutを識別しました。Freewayは誤答したため4件中3件です。成功まで46分12秒〜1時間4分54秒かかり、Pac-Manでは43,506 reasoning tokensを使いました。Kimi K3.1 ProもBreakoutを9分41秒、19,493 reasoning tokensで識別したと報告されています。

一方、Qwen3.5-0.8Bの数学改善は追試されていません。Honnibal氏は、生のweightsだけを見る設定は主に17K〜172K weightsの小規模networkで、Qwen実験ではPythonと最大50 batchesの実行結果を使うと整理しました。Sean Goedecke氏も、loopと非loopのresidual差を測り寄与weightを削る手順は既存のsteering／abliterationに近く、人間のML研究者が行う診断をAstraが自律実行した点こそ評価すべきだと論じています。

この節の一次情報：Hacker News｜Astra can read and write weights to improve Qwen ／ 独立追試｜Simon Willison: Qwen 3.8 27B on my laptop ／ 批判的検証｜Matthew Honnibal: Astra read/write post is misleading ／ 技術分析｜Sean Goedecke: LLMs are not superhuman at reading weights

導入に向くケース・向かないケース

今すぐ向くのは、公開weightsを持つ小型modelの研究、mechanistic interpretability、loopや単一の異常挙動を切り分けるR&Dです。diffを保存し、複数benchmarkで回帰試験し、即時rollbackできる環境が前提です。研究者が公開したharnessを再現し、自社modelの特定障害へ適用できるか調べる価値があります。

向かないのは、閉じたAPI model、監査なしの本番weight変更、規制業務、障害の原因が広く分散しているtaskです。Gemmaの数学実験のように、能力そのものが不足している場合は局所編集で補えない可能性があります。知識更新や新技能の獲得では、現時点ではfine-tuning、retrieval、tool利用、model変更の方が再現しやすい選択です。

導入前にはbase checkpoint、編集script、hash、評価dataset、全taskの回帰結果をversion管理します。重みへ直接触れる仕組みは、model supply chainと権限管理の新しい攻撃面になります。編集用LLMへ秘密weightを送れる契約か、sandboxにnetwork accessがないか、署名済みartifactへ戻せるかも確認します。

• 向く：公開weights、小型model、原因を局所化できるfailure、研究・検証環境
• 条件付き：内部modelのloop除去、初期化、unlearning。独立再現と広い回帰評価が必要
• 向かない：closed API、本番への無審査適用、高リスク業務、能力追加を保証したい用途
• 必須：diff・hash・評価log・承認・rollback・権限分離

制約と未検証事項：まだ『新しいoptimizer』ではない

第一に、公開物は研究者ブログと実験ログで、査読済みpaperや標準benchmarkではありません。チームはbenchmarkとharnessを現在構築中だと説明しています。小規模networkをweightsだけから識別する実験はQwen 3.8 27Bで部分的に追試されましたが、Qwen3.5-0.8Bのweight editは未再現です。task選択、prompt、forward-pass budget、sampling設定を揃えた別チームの追試が必要です。

第二に、Qwenの成功は目立つloopという局所障害に依存します。0.016%だけ変えたことは破壊的変更が少ない保証ではありません。未評価の言語、safety、tool calling、長文、画像で能力が落ちる可能性があります。weight edit後の全体的なrobustnessやsecurity評価は公開されていません。

第三に、報告された大規模な成功はほぼAstraに依存しています。他のfrontier models、異なるquantization、MoE、より大きなcommercial modelで同じことができるかは未確認です。Astra自身のtraining dataやweight-reading能力の由来も公開実験だけでは判定できません。

最後に、研究者らが挙げるtraining費削減、zero-data unlearning、異種architectureのmodel merge、自己改善は将来構想です。今回実証された機能と、将来可能になると主張する用途を分けて読む必要があります。

FAQ

Q. Weight-Space Programmingはfine-tuningを置き換えますか？ A. 現時点では置き換えません。局所的なloop除去や小型network生成の成功例はありますが、Gemmaでは新しい数学能力を追加できませんでした。大量データから広い能力を学ぶfine-tuningとは役割が違います。

Q. 一般企業がAPIで使えますか？ A. 専用APIや料金はありません。公開されているのは研究ブログ、harness、prompt、code、評価、weight diffです。自社研究として再現するには対象modelのweightsと評価環境が必要です。

Q. 0.016%の編集なら安全ですか？ A. 変更量が小さいことと副作用が小さいことは同義ではありません。未見task、言語、安全性、tool use、長文を含む回帰評価とrollbackが必要です。

Q. token料金はどれだけ下がりますか？ A. 不明です。研究ではMATH-500の32,768-token上限到達率が93.0%から33.1%へ下がりましたが、平均token数、編集費、評価費を含む請求額は公開されていません。

Q. closed modelにも使えますか？ A. weightへaccessできないAPI-only modelには直接適用できません。activationやoutputだけを使う別手法が必要です。

Q. 独立した再現はありますか？ A. 一部だけあります。Qwen 3.8 27Bが小さなgame policyのweightsから4件中3件のgameを識別しました。ただし、AstraによるQwen3.5-0.8Bの重み修正とbenchmark改善は再現されていません。読み取りと編集を分けて評価する必要があります。

Q. 何から試せばよいですか？ A. 公開weightsの小型modelで、再現しやすい1つのfailureと固定evaluation setを選びます。baseと編集後のhash・diffを保存し、成功task原価と全体の回帰を同時に比較してください。

まとめ：重みを『学習の結果』から『編集できるcode』へ

Weight-Space Programmingの新しさは、専用optimizerを訓練するのではなく、汎用frontier LLMが自然言語の目的からweightsを読解し、局所修正やnetwork生成まで行った点です。Qwen3.5-0.8Bでは0.016%の編集によりloopを大幅に減らし、複数benchmarkを改善しました。公開ログが詳細なため、追試しやすい研究でもあります。

一方、これは製品launchでも、trainingの代替が確立した結果でもありません。査読、標準benchmark、別modelでの再現、総原価、安全性、production事例が欠けています。AI基盤担当者にとって今の価値は即導入ではなく、model optimizationの費用構造が『dataset＋GPU training』から『frontier LLMによる診断＋局所編集＋広い検証』へ変わり得る初期シグナルとして追うことです。