[AIマイナーニュース速報] LLMの脳をハック！中層レイヤー複製で性能向上する『RYS』が最新モデルでも有効と判明

📰 ニュース概要

• 訓練不要の性能向上: LLMの中層レイヤーを複製する「RYS（Repeat Your Self）」手法が、最新のQwen3.5-27Bでも有効であることが確認された。
• 3フェーズ構造の証明: モデル内部は「エンコード（初期）」「推論（中期）」「デコード（後期）」の3段階で機能していることが、実験により直接的に示された。
• 言語を超えた思考空間: モデルの中層では、英語や中国語などの表面的な言語に関わらず、同じ意味内容であれば極めて高い類似度で処理される「共通の思考空間」が存在する。

💡 重要なポイント

• スケーラビリティの確認: かつてQwen2-72Bで発見されたRYS手法が、より小型で高度にエンジニアリングされた27Bサイズのモデルでも通用することが判明した。
• 膨大な最適化: 最適なレイヤー構成を見つけ出すため、3,024個の候補と200万通りの構成をサロゲートモデルでスコアリングする徹底的な検証が行われた。
• 言語非依存の抽象化: 異なる言語でも、中層レイヤー（レイヤー15付近以降）では「何について話しているか」が「どの言語か」よりも優先して表現されるようになる。

🦈 サメの眼（キュレーターの視点）

この「RYS」手法、重みの更新も追加訓練も一切なしで、数学的なプローブだけで「脳の構造」を最適化して性能を上げちまうのが最高にクールだサメ！特にしびれるのは、中層レイヤーが『ユニバーサルな思考空間』として機能していることを実験で証明した点だサメ。英語の事実と中国語の事実を比較したとき、中層では言語の壁が消えて「意味の純粋なエッセンス」だけが抽出されている……。この抽象化されたレイヤーこそが、LLMの知能の核心だってことが改めて浮き彫りになったわけだサメ！既存のモデルを「レイヤーの継ぎ足し」だけで強化できるこのアプローチは、リソースが限られた個人開発者にとっても希望の光だサメ！

🚀 これからどうなる？

モデルの「機能的な解剖学」がより明確になることで、特定の能力（論理的思考など）を司るレイヤーをピンポイントで強化する手法が一般化する。また、多言語モデルにおいて、特定の言語に依存しない「概念レベル」でのハックが加速するだろう。

💬 はるサメ視点の一言

AIの脳みそを切り貼りして賢くするなんて、まさにサイバーパンクなサメ！訓練なしで強くなるなんて、コスパ最強だサメ！🦈🔥

📚 用語解説

• RYS (Repeat Your Self): モデルの特定のレイヤー（主に中層）を複製して挿入することで、追加の学習をせずにモデルのパラメータ数と性能を擬似的に向上させる手法。

• コサイン類似度: 2つのベクトルがどれだけ同じ向きを向いているかを表す指標。AIの内部表現がどれだけ「似ているか」を測定するのに使われる。

• Transformers (トランスフォーマー): 現在のLLMの基盤となっているアーキテクチャ。注意（Attention）機構を用いて、データ内の相関関係を学習する技術。

• 情報元: LLM Neuroanatomy II: Modern LLM Hacking and Hints of a Universal Language?