金融モデルが学んだ内部表現から、予測情報と市場構造を取り出す

有望なのは、内部を説明することだけではなく、予測のために獲得された表現を「別の問いに答えるための資源」として再利用する方向だ。 金融データで内部状態の読み出しを検証した研究、LLM内部の特徴を株式リターン予測へ渡した研究、既知の一変数では捉えきれない表現や計算経路を探す研究が、実際にある。

ただし、既知の市場状態を内部から読み出せること、元のモデルがそれを使っていること、将来価格の予測に追加価値があることは別の結果になる。本調査では、その違いが実験結果として現れた研究を軸にする。

文献調査:2026年11月12日。金融・時系列モデルの実証と、LLM等から転用可能な方法を区別。掲載数値は原論文の報告値であり、今回の再学習・市場データ分析・バックテストの結果ではない。

仮説・問いの流れ

出発点は「内部状態を人間向けの業種や地理に翻訳すると、その先の分析に使える複雑な関係を捨ててしまわないか」。調べたいのは、説明の巧さではなく、元の予測値には集約されていない市場情報を、どのように取り出し、利用できるかである。

学習された関係を、人間の分類に潰さず使えるか?表現の再利用と、構造の発見を分けて考える数値のまま利用できるか?内部表現 → 別の読み出し器ニュース・時系列に実例(方法1・2)未知の構造をどう探すか?特徴の分解・多次元構造・計算経路LLM中心に実例(方法3〜5)内部の情報は、元の出力へ使われているか?操作・状態移植・差分で調べる(方法6〜8)その情報は、未来価格への追加情報か?実市場では、状態の復元と価格予測の改善が分かれるここを別に評価した研究を重視

上図は問いと文献の対応を示す模式図。金融市場でこれらの経路がすべて成立すると示した図ではない。

探索・分析

人間の分類を通さずに利用する方法と、内部の構造を発見する方法は並行して進められる

最初から「これはモメンタム」「これは業種要因」と命名する必要はない。まず数値のまま使い、名前を付ける分析は必要に応じて行う。ただし、ラベルを付けないことと、一切圧縮しないことは違う。表現の生成・プーリング・距離計算・特徴選択はいずれも情報の選択を含むため、残したい関係に応じて方法を選ぶ。

方法 取り出す対象と操作 新しく扱えるもの 金融への証拠の位置
1. 内部表現の直接再利用 学習済みの途中のベクトルを、別の予測器へ渡す 最終予測ではなく、履歴をまとめた表現を使う別課題 金融ニュース・一般時系列に実例
2. 層別の読み出し・出力部の交換 層ごとに情報を測り、新しい読み出し器を学習 内部にあるのに、元の出力へ十分反映されない情報 実市場の板モデルと合成金融過程に実例
3. 疎な特徴への分解 内部状態を、多数の特徴のうち少数が動く表現へ展開 既存ラベルに限定しない特徴候補と、その組合せ 株・企業情報・金融時系列に研究あり
4. 多次元の特徴・非線形な幾何 一特徴を一本の軸に限定せず、部分空間や曲がった構造を調べる 単一の距離・単語では表せない状態関係 LLM・気象モデルで実例。金融転用は残る
5. 特徴間の計算経路 中間処理を近似し、特徴同士の接続を追って介入 何があるかだけでなく、どう組み合わさるか LLMで実例。金融の価格予測への直接実証は限定的
6. 内部状態の移植・操作 別局面の内部統計や方向を移し、出力を比較 モデル内の条件付き反応・シナリオ 指数時系列・実市場の板モデルで実例
7. 表現に基づく銘柄関係 元ベクトルや疎な特徴から関係・ネットワークを作る 既存業種とは異なる比較対象・共通性 企業記述のLLM内部で直接例。行動履歴由来とは別
8. モデル間・層間の差分 同じ入力に対する表現を対応付け、共通・固有部分を抽出 再学習で変わった表現、出力に至る過程の違い LLMと一般時系列で実例。市場構造変化の認定は別

1. 高次元表現を、別の分析器へそのまま渡す

操作は、元のモデルの最終回答を使う代わりに、その手前の表現を保存して別の学習器へ渡すこと。 例えば取引履歴から作った状態を、元の「次の取引」とは別の、将来フローや価格変化の分布を推定する学習器へ渡す。これは転用の構成例であり、今回その先物予測を実施したわけではない。

検証記録:何と比較すれば、内部表現を使う意味が分かるか

2. 最終出力の出来が悪くても、途中に使える情報が残っていないか

モデル全体の予測成績だけでは、内部表現の価値は決まらない。 層ごとの状態から目的情報を読み出し、元の出力部を別の読み出し器へ交換することで、「表現が足りない」のか「出力へ変換する部分が合っていない」のかを分ける。

3. 人間の業種分類ではなく、モデルの特徴候補を数値として取り出す

Sparse Autoencoder(SAE)は、内部の混ざった表現を、より多くの特徴へ疎に展開する補助モデル。 各時点では一部だけが活性化する。2次元へ押し縮める方法ではなく、多くの場合は座標数を増やして分けようとする。

履歴を読んだ内部状態混ざった高次元ベクトル元の表現を残す人間の名前を付けず利用SAEで多数の特徴へ展開特徴番号と活性値を保持別の問いへの有用性を比較価格・フロー・関係説明用の模式図:疎な分解も完全な情報保存ではない

元表現とSAE表現の両方を残して比較するのが自然だ。 SAEには再構成誤差と特徴選択があり、複雑な関係を完全に保存する装置ではない。名前の分かりやすさだけで、利用する特徴を絞る必要もない。

4. 一つの特徴を一本の軸、一組の銘柄を一つの距離に限定しない

あなたの問題意識に特に近いのは、「一つの意味=一本の方向」と決めない研究。 特徴が多次元のまとまりで表現されているなら、そのまとまりを保って分析する。

非線形モデルから線形に情報を読むこと自体は、学んだ関係を線形へ戻すことではない。 履歴から内部状態までの変換が非線形なら、その内部状態の線形結合でも、元の履歴に対しては複雑な関数になる。一方、単一スコアに集約すれば、それ以外の情報は落ちる。

5. 特徴一覧ではなく、特徴が組み合わさる計算経路を取り出す

「何が表現されているか」の次は、「どの特徴がどの特徴を作り、出力へつながるか」。 Transcoderは、元の密な中間処理を、広く疎な補助ネットワークで近似し、その接続を追える形にする。[S11]

6. 内部状態を操作し、モデル内の「もしも」を作る

内部の特徴を読めることに加え、それを変えるとモデルの想定する次の状態がどう変わるかを測る。 現実の市場に介入するのではなく、モデルの反応を調べる実験である。

7. 内部特徴の構造から、銘柄の比較対象を作る

元のLTで考えた銘柄探索に近い直接例が、企業記述をLLMへ読ませた研究にある。 Interpretable Company Similarity with Sparse Autoencodersは、Llama 3.1 8Bの内部特徴から企業の関係を作り、既存分類や通常の文章埋め込みと比べる。[S13]

8. モデルを更新したとき、何の表現が変わったかを調べる

再学習前後のパラメータを座標ごとに引き算するより、同じ入力で生じる内部表現を対応付けて比較する。 Crosscoderは複数モデルや層を共通の特徴辞書で表し、共通・片側固有の特徴を探す。[S14]

市場環境が変わったから表現が変わったのか、乱数・学習量・目的関数の違いなのかは別に調べる必要がある。モデルの差分だけで市場構造の変化を認定しない。

直接的な研究で、どこまで分かっているか

注文メッセージを学習すると、内部に市場状態ができる。ただし、そのまま追加の価格予測力にはならなかった

最も対象に近い実市場の内部分析は、2026年10月の板モデル研究。 Transformerではなく8.2MパラメータのMamba-3だが、金融系列を次のイベント予測で学ばせ、その内部から市場情報を抽出するという点で直接的だ。[S3]

入力は米国株8銘柄の2022–2025年の注文メッセージ。板そのものは与えず、2026年1月をモデル学習から外して分析する。研究対象の中心は20取引日の2,014窓。JPM・ORCLという学習外銘柄への読み出しも調べている。

過去500メッセージの注文フロー偏りを復元する00.20.40.6学習済みの内部状態0.59未学習の同型モデル0.01直近の板スナップショット0.12説明力 R² — 原論文 表1の報告値。将来価格の予測ではない

学習済み状態の棒が長いのは、注文の履歴から、直近の板スナップショットだけでは復元しにくいフローを保持したため。 順方向の時系列交差検証でも、内部状態からの読み出しはR²=0.53。ここでの目的は過去500メッセージの注文フローの復元で、未来価格ではない。

次の25メッセージの価格変化を予測する00.010.020.030.040.05学習済みの内部状態約0.04直近の板スナップショット0.036説明力 R² — 原論文 §5.2.2。内部状態の値は本文の丸め値

将来価格へ問いを変えると差はほとんどなくなる。 次の25メッセージの価格変化について、内部状態の説明力は約0.04、板スナップショットは0.036。内部からフローが読める発見と、価格予測で既存観測を上回る結果は分かれた。

検証記録:読み出し・介入・先行予測を分けた設計

内部から分解した特徴を、株式リターン予測へ直接渡した実例もある

A Financial Brain Scan of the LLMは、内部特徴の利用が予測へつながる金融実例。 今回は2026年11月4日版(arXiv v4)を確認した。旧版の説明だけで判断しない。[S6 §VI・表V]

Gemma-2-9B-ITと公開済みSAEを使い、131,072特徴のうち、事前に定義した経済トピックへ対応する7,278特徴を選ぶ。Reutersの2015–2024年の夜間ニュースから表現を作り、先行する4年間で推定する予測器へ渡す。通常の最終層の密な表現と比較している。

同じ金融ニュースから、二種類の内部表現を利用50%50.5%51%51.5%52%通常の密な最終層表現50.90%経済トピックで選んだSAE特徴51.45%原論文 表V:日ごとの銘柄方向精度の平均。表示軸は50〜52%。

SAE側の精度がわずかに上回る。 これは「人間に分かりやすい特徴にしたら必ず予測情報を失う」とは限らない例。ただし、表現の採取層・疎な分解・経済特徴の選択が異なるため、差をSAE一要素だけの効果へ分解した結果ではない。

検証記録:この結果を、先物への有効性と読まない理由

金融時系列TransformerへのSAEでは、予測利用の報告と先読みの問題が同居する

Mechanistic Interpretability of Financial Time-Series Transformers via Sparse Autoencodersは、102.3MパラメータのKronosの第11層へSAEを学習し、6資産の特徴を調べる研究。NeurIPS 2026ワークショップの公式掲載要旨では、抽出特徴の予測利用と、元予測との比較を報告している。[S7]

本文の§6と§7を確認すると、抽出特徴を将来リターンの符号を予測するロジスティック回帰へ渡し、拡大型の時系列分割で比較していた。一方、§7は特徴の順位付けに全標本のSpearman相関を使う先読みバイアスがあり、各学習窓の中で選び直す必要があると明記する。したがって、内部特徴を予測へ使う方法の直接例として重要だが、その報告成績を厳密な将来未知の性能とは扱わない。

また、要旨の「2つの直接予測特徴」と、予測器へ渡した特徴集合は同じではない。本文では異なる有意水準の選択を使う。低い特徴間cosineだけで意味の純粋さを認定せず、PCMCI+の条件付き関係を市場での介入因果とも同一視しない。

検証記録:Kronos内部から別の予測器へ渡す設計と限界

複雑なモデルだから、必ず複雑で有用な情報が潜んでいるわけではない

この三つは、内部分析をやめる理由ではなく、「元表現」「分解した表現」「最終予測」のどれが、どの問いに有効なのかを比較する必要がある理由になる。

結果:この調査で確認できたこと

  1. 研究分野はすでに金融へ接続している。 実市場の注文系列モデルを開いて状態を読む研究、ニュースを読むLLMの内部特徴をリターン予測へ渡す研究、金融時系列TransformerにSAEを適用する研究がある。金融と無関係なLLMの比喩だけではない。
  2. 人間に命名しなくても利用できる。 数値のまま別の予測器へ渡す、疎な特徴群を組み合わせる、多次元特徴を一まとまりとして扱う、計算経路を追う、という複数の経路がある。
  3. 市場状態の保持と、追加の未来価格情報は分かれる。 板モデルの結果は、この違いを実際に示す。逆に、出力が弱くても途中の情報を読み直せる可能性は、合成過程・一般時系列の実験で支持される。
  4. 先物・perp DEX固有の内部データでの有効性は、今回の文献だけでは確定しない。 既出のTREASUREやTFTの個人購入研究も、そのまま先物の価格予測を実証したものではない。新しい実データ学習や収益検証は実施していない。

洞察:先に深掘りする価値が高い方向

第一候補は「未知の内部表現を残したまま、別の問いへの情報量を調べる」

中心に置くのはSAEそのものではなく、再利用できる表現の探索。 元の高次元状態を残した経路と、SAE等で分解した経路を併設する。どちらかに初めから一本化しない。

この方向なら「売買が増えた人の集まりだった」と名付けて終わらず、その集計では拾えない履歴の組合せが、別の市場状態や将来の変化について情報を持つかへ問いを進められる。

第二候補は「単独特徴ではなく、多次元の特徴と、その条件付きの結び付き」

銘柄AとBを一本の距離で固定するより、状態に応じた関係を測る。 内部表現を二銘柄・参加者群・市場文脈ごとに扱い、状況依存の関係を評価する。その際、見やすい地図は説明用に使えても、分析の入力は2次元座標に限定しない。

具体的な学習方法や関係の評価先は今後の選択。最初から「相関が高い」「代替される」「先行する」を同一の近さに押し込まない。多次元特徴・計算経路の研究は、この区別を保持するための方法候補になる。

読む順番

  1. S3:板モデルの内部分析 — 実際の金融系列で、何を取り出し、何が価格予測へ届かなかったかを見る。
  2. S6:Financial Brain Scan §VI — 内部特徴を予測へ渡す具体的な経路を見る。既知概念による絞り込みと事前学習の問題も一緒に読む。
  3. S9:多次元特徴 — 人間の一語・一本の軸でなく、構造のまま特徴を扱う発想を見る。
  4. S11とS8:Transcoder/End-to-End SAE — 単なるクラスタの命名から、計算と予測に関係する部分の抽出へ進む。

Q&A

Q. 結局、別の予測器を学習するなら、最初から価格予測モデルを作るのと何が違う?

入力した履歴だけでなく、別の大きなデータや別目的で先に学んだ変換を利用できること。比較対象は「内部表現を使ったモデル」と「同じ時点で使える元データから直接学ぶモデル」。どちらがよいかは実証事項で、先に学んだモデルが必ず勝つとはしない。

Q. SAE特徴に「モメンタム」などと名前を付けないと使えない?

使える。特徴番号の活性値と組合せをそのまま入力できる。命名は何が効いているかを調べる別工程。金融トピックで事前選択するS6は、その選択が有用だった一例であり、すべての内部探索がそれを要件にするわけではない。

Q. 元のモデルを超える情報を、内部から取り出せるの?

最終出力へ集約されていない情報を読み出せる可能性はある。ただし、同じ入力を処理した内部状態は、その入力から独立した未来情報を魔法のように増やさない。学習済み変換が、別の課題に必要な情報を利用しやすくすることが価値になる。

Q. 層の情報や特徴を操作して価格予測が変わったら、市場の因果が分かった?

分かるのは、そのモデルの出力への影響。市場の機構や参加者の動機は別。S3では、次注文への予測反応と、生成された市場の実際の変動が一致しないケースもあった。

Q. もっとも大きいモデルを選べばよい?

パラメータ数だけでは決まらない。入力・目的・学習期間・どの内部状態を読むかが重要。実市場で直接的だったS3も8.2Mパラメータであり、巨大さそのものが研究上の必要条件ではない。

Q. 今回の調査は、文献を網羅し尽くしたもの?

金融・時系列・LLM・隣接分野をまたいで方法群を比較した調査だが、全論文の完全列挙ではない。本文確認の範囲を分け、金融タスクを扱っていても、価格予測と無関係な規制遵守研究などは直接例から外した。既存レビューや新しい引用関係から拡張可能な範囲は残る。

原典と確認箇所

原文の方法・結果を確認したものを本文の根拠に使用。S7は通常のHTTPでは本文を取得できなかったが、ブラウザでPDFの方法・結果・限界を確認した。会議論文・プレプリント・研究ノートの違いも保持する。

本文の主要証拠にしなかった関連資料: