金融モデルが学んだ内部表現から、予測情報と市場構造を取り出す
有望なのは、内部を説明することだけではなく、予測のために獲得された表現を「別の問いに答えるための資源」として再利用する方向だ。 金融データで内部状態の読み出しを検証した研究、LLM内部の特徴を株式リターン予測へ渡した研究、既知の一変数では捉えきれない表現や計算経路を探す研究が、実際にある。
ただし、既知の市場状態を内部から読み出せること、元のモデルがそれを使っていること、将来価格の予測に追加価値があることは別の結果になる。本調査では、その違いが実験結果として現れた研究を軸にする。
仮説・問いの流れ
出発点は「内部状態を人間向けの業種や地理に翻訳すると、その先の分析に使える複雑な関係を捨ててしまわないか」。調べたいのは、説明の巧さではなく、元の予測値には集約されていない市場情報を、どのように取り出し、利用できるかである。
上図は問いと文献の対応を示す模式図。金融市場でこれらの経路がすべて成立すると示した図ではない。
- 既存のLTとの関係:店のベクトルを可視化する話から発展し、元の高次元表現の直接利用、特徴の分解、特徴間の処理、内部への介入へ広げる。LT資料自体は変更しない。
- 対象:金融取引・市場時系列を扱うTransformer等の内部と、それに転用可能なLLMの方法。ニュースを読むLLMは転用の金融実例として扱うが、取引系列モデルと混同しない。
- 対象外:LLMに戦略案を文章で作らせること、売買エージェントの役割分担、Attentionの重みだけを価格予測情報として扱うこと。
探索・分析
人間の分類を通さずに利用する方法と、内部の構造を発見する方法は並行して進められる
最初から「これはモメンタム」「これは業種要因」と命名する必要はない。まず数値のまま使い、名前を付ける分析は必要に応じて行う。ただし、ラベルを付けないことと、一切圧縮しないことは違う。表現の生成・プーリング・距離計算・特徴選択はいずれも情報の選択を含むため、残したい関係に応じて方法を選ぶ。
| 方法 | 取り出す対象と操作 | 新しく扱えるもの | 金融への証拠の位置 |
|---|---|---|---|
| 1. 内部表現の直接再利用 | 学習済みの途中のベクトルを、別の予測器へ渡す | 最終予測ではなく、履歴をまとめた表現を使う別課題 | 金融ニュース・一般時系列に実例 |
| 2. 層別の読み出し・出力部の交換 | 層ごとに情報を測り、新しい読み出し器を学習 | 内部にあるのに、元の出力へ十分反映されない情報 | 実市場の板モデルと合成金融過程に実例 |
| 3. 疎な特徴への分解 | 内部状態を、多数の特徴のうち少数が動く表現へ展開 | 既存ラベルに限定しない特徴候補と、その組合せ | 株・企業情報・金融時系列に研究あり |
| 4. 多次元の特徴・非線形な幾何 | 一特徴を一本の軸に限定せず、部分空間や曲がった構造を調べる | 単一の距離・単語では表せない状態関係 | LLM・気象モデルで実例。金融転用は残る |
| 5. 特徴間の計算経路 | 中間処理を近似し、特徴同士の接続を追って介入 | 何があるかだけでなく、どう組み合わさるか | LLMで実例。金融の価格予測への直接実証は限定的 |
| 6. 内部状態の移植・操作 | 別局面の内部統計や方向を移し、出力を比較 | モデル内の条件付き反応・シナリオ | 指数時系列・実市場の板モデルで実例 |
| 7. 表現に基づく銘柄関係 | 元ベクトルや疎な特徴から関係・ネットワークを作る | 既存業種とは異なる比較対象・共通性 | 企業記述のLLM内部で直接例。行動履歴由来とは別 |
| 8. モデル間・層間の差分 | 同じ入力に対する表現を対応付け、共通・固有部分を抽出 | 再学習で変わった表現、出力に至る過程の違い | LLMと一般時系列で実例。市場構造変化の認定は別 |
1. 高次元表現を、別の分析器へそのまま渡す
操作は、元のモデルの最終回答を使う代わりに、その手前の表現を保存して別の学習器へ渡すこと。 例えば取引履歴から作った状態を、元の「次の取引」とは別の、将来フローや価格変化の分布を推定する学習器へ渡す。これは転用の構成例であり、今回その先物予測を実施したわけではない。
- 使える情報:履歴の順番・複数変数の組合せを処理した数値表現。業種ラベル、クラスタ名、2次元座標に一度変換する必要はない。
- 具体的な金融実例:Guo・Hauptmannのニュース研究は、LLMのトークン表現を集約してリターン予測へ入力し、感情スコアへ先に要約する方法と区別している。[S1]
- 区別する点:この研究は表現部も共同で微調整する。凍結済み金融モデルから未知の情報を発掘した実験と同じではない。一方、TS2Vecは、時系列から先に学んだ文脈表現を予測・分類・異常検知へ再利用する方法の原型になる。Transformerでも金融専用でもない。[S2]
- あなたの目的との接続:既存モデルを「答えを出す機械」から「履歴を数値化する基盤」へ変える最短の方法。未知の構造を名前で理解する前に、他の問いへの有用性を測れる。
検証記録:何と比較すれば、内部表現を使う意味が分かるか
- 元の予測値だけ、同じ利用可能情報から作る観測特徴、内部表現、観測特徴+内部表現を、同じ時点・対象・予測先で比較する。
- 表現を作るモデルの学習時点も固定する。予測器だけを過去データで学習しても、表現モデルが評価期間を学習済みなら未来情報の問題は残る。
- 非線形な読み出し器も使えるが、読み出し器だけで学んだ効果と、表現が学習済みである効果を分けるため、未学習の同型モデルや同容量の観測入力モデルが有用な対照になる。
- ここで示すのは比較の考え方。先物の対象銘柄・予測時間・入力・採用条件はまだ決めておらず、新規の実データ実験はしていない。
2. 最終出力の出来が悪くても、途中に使える情報が残っていないか
モデル全体の予測成績だけでは、内部表現の価値は決まらない。 層ごとの状態から目的情報を読み出し、元の出力部を別の読み出し器へ交換することで、「表現が足りない」のか「出力へ変換する部分が合っていない」のかを分ける。
- 実市場の例:板の注文メッセージだけを学習したMamba-3の内部状態から、注文フローの偏り・出来高・変動性を取り出す研究がある。市場情報の所在も、LLMでよく使う場所とは違った。[S3]
- 合成金融過程の例:確率的に変わる潜在ボラティリティからリターンを生成し、そのリターンだけで学習したTransformerの内部を調べる。真の潜在状態は研究者には分かるため、何が内部に保持されたかを評価できる。出力部の交換で一部の劣化を緩和し、表現失敗と読み出し不整合を分けている。[S4]
- 一般時系列の例:Dynamical Parametersは、内部からトレンド等を読み出せても、入力変化に対する最終予測が正しく反応しない場合を示した。予測のJacobianから内部の編集方向を作り、実際の出力変化も検証する。[S5]
- 得たいもの:「このモデルは当たらないから中身も無価値」という結論を避け、再利用する層と読み出し方を選ぶ材料。ただし、既知のボラティリティを読み出す実験だけでは、新しい価格予測情報の発見にはならない。
3. 人間の業種分類ではなく、モデルの特徴候補を数値として取り出す
Sparse Autoencoder(SAE)は、内部の混ざった表現を、より多くの特徴へ疎に展開する補助モデル。 各時点では一部だけが活性化する。2次元へ押し縮める方法ではなく、多くの場合は座標数を増やして分けようとする。
- 発見の単位:特徴番号ごとの活性値、特徴の同時発火、時系列上の切替、銘柄をまたいだ共通性。全特徴に人間が名前を付けなくても、数値のまま次の分析器へ渡せる。
- 金融LLMの例:A Financial Brain Scan of the LLMは、Gemma内部のSAE特徴を株式リターン予測へ入力している。ただし、経済トピックに対応する特徴を先に選ぶ設計なので、「人間の意味付けで絞らず未知の特徴まで探索する」という目的と完全一致はしない。[S6]
- 金融時系列モデルの直接例:Kronos内部へSAEを適用し、抽出特徴を別の予測へ使う研究がある。本文の結果と限界をブラウザで確認したところ、特徴選択に先読みバイアスを含むと著者自身が明記していた。方法の実例ではあるが、実運用可能な予測改善の確証にはしない。[S7]
- 方法の改善:通常のSAEは内部状態の再構成を優先する。End-to-End Sparse Dictionary Learningは、SAEを挿入した後も元の出力分布を保つよう学習し、「数値をよく復元する特徴」と「元モデルの処理に重要な特徴」のずれへ対処する。[S8]
元表現とSAE表現の両方を残して比較するのが自然だ。 SAEには再構成誤差と特徴選択があり、複雑な関係を完全に保存する装置ではない。名前の分かりやすさだけで、利用する特徴を絞る必要もない。
4. 一つの特徴を一本の軸、一組の銘柄を一つの距離に限定しない
あなたの問題意識に特に近いのは、「一つの意味=一本の方向」と決めない研究。 特徴が多次元のまとまりで表現されているなら、そのまとまりを保って分析する。
- LLMの実例:Not All Language Model Features Are One-Dimensionally Linearは、SAE辞書の関連する要素から多次元特徴を探索し、曜日・月の円状表現と、それを使う計算を介入で調べている。[S9]
- 意味すること:人間向けの一つのラベルや一つの座標だけを操作すると、計算に必要な構造を取り逃す可能性がある。ただし、円を使ったという結果は「金融内部にも必ず同じ形がある」という証拠ではない。
- 非線形な分解の候補:KAN-SAEは気象予測モデルの内部で、特徴ごとに学習する非線形ゲートを導入し、通常の構成で見つけにくい特徴を探す。気象モデルでの初期研究であり、金融での優位性は示していない。また、変更の中心は符号化側のゲートで、あらゆる非線形相互作用を完全に分解するものではない。[S10]
- 金融への転用の形:単一の銘柄ベクトル間距離だけにせず、複数の内部特徴・両銘柄の状態・市場文脈をまとめて扱う。関係が状況依存・非対称でもよい。これは有望な構成の方向で、実証済みの金融手法という扱いではない。
非線形モデルから線形に情報を読むこと自体は、学んだ関係を線形へ戻すことではない。 履歴から内部状態までの変換が非線形なら、その内部状態の線形結合でも、元の履歴に対しては複雑な関数になる。一方、単一スコアに集約すれば、それ以外の情報は落ちる。
5. 特徴一覧ではなく、特徴が組み合わさる計算経路を取り出す
「何が表現されているか」の次は、「どの特徴がどの特徴を作り、出力へつながるか」。 Transcoderは、元の密な中間処理を、広く疎な補助ネットワークで近似し、その接続を追える形にする。[S11]
- 具体的な操作:層の入力から、その層の出力を近似する疎なモデルを学習する。入力に依存する発火と、学習済みの接続を分けて調べ、候補の処理経路を見つける。その経路を消す・差し替える実験で、予測への影響を調べる。
- 従来の話との差:特徴を「トレンド」「出来高」と命名して終わらず、複数条件がそろうと別の内部特徴が生じる、という処理を対象にできる。金融の具体的な条件はまだ発見していない。
- 利用先:再利用したい計算部分の特定、異なる状態で同じ予測になる理由の比較、情報の経路を残した補助モデルの設計。
- 現在の証拠:Transcodersは言語モデルの計算回路を対象とする。既出のCircuit Tracingもこの発展に位置するが、近似モデルや固定される計算があり、元モデル全体の完全な逆解析ではない。金融時系列への移植では、連続値の出力と時系列の入力単位に合わせた設計が必要。
6. 内部状態を操作し、モデル内の「もしも」を作る
内部の特徴を読めることに加え、それを変えるとモデルの想定する次の状態がどう変わるかを測る。 現実の市場に介入するのではなく、モデルの反応を調べる実験である。
- 実市場系列の例:time2timeはNASDAQ-100の平穏期・急落期を使い、内部活性の平均・標準偏差を移植して、予測を変える。TotoとChronosで試している。[S12]
- 実市場の注文モデルの例:Mamba-3の状態へ、注文フロー・出来高・ボラティリティの方向を加えると、次メッセージの予測分布は対応して動く。しかし、自由生成した注文を板へ流したときの実現変動性は、同じようには動かなかった。[S3 §5.2.1]
- 使い道:ストレス時の反応、状態依存の連動、予測の感度、内部の異なる状態が同じ出力に隠れていないかを調べる。
- 残る問題:平均・分散を変えて下落予測になっただけでは、経済的に正しい危機機構や発生確率を学んだとは言えない。操作した予測を「今から暴落するというシグナル」にすることもできない。
7. 内部特徴の構造から、銘柄の比較対象を作る
元のLTで考えた銘柄探索に近い直接例が、企業記述をLLMへ読ませた研究にある。 Interpretable Company Similarity with Sparse Autoencodersは、Llama 3.1 8Bの内部特徴から企業の関係を作り、既存分類や通常の文章埋め込みと比べる。[S13]
- 操作:年次報告書の企業説明 → 内部SAE特徴をトークン方向に合計 → PCA → 距離 → 最小全域木を切ってクラスタ化。
- 何を確かめたか:同じクラスタ内の月次リターン相関。SAE系のクラスタは、論文の比較で通常の文章埋め込みやSIC分類より高い平均相関を示す。
- ここが重要:図の見た目や人間が付けたラベルだけでなく、別の金融的な結果で関係を評価している。
- ただし目的との差もある:入力は投資家の購入履歴でなく企業記述。さらにPCA・距離・クラスタ化を使うため、複雑な情報をそのまま保つ研究ではない。PCAを全期間で学習する設計もあり、過去時点から実行可能な価格予測へそのまま読み替えない。
8. モデルを更新したとき、何の表現が変わったかを調べる
再学習前後のパラメータを座標ごとに引き算するより、同じ入力で生じる内部表現を対応付けて比較する。 Crosscoderは複数モデルや層を共通の特徴辞書で表し、共通・片側固有の特徴を探す。[S14]
- LLMの実例:2026年のCross-Architecture Model Diffingは、異なる構造のLLM同士でも、固有の特徴と行動差を無教師的に探している。
- 金融で考えられる使い道:同じ過去入力に対し、更新したモデルが新しく獲得した表現・失った表現を調べる。どの時期のどんな入力で差が大きいかを探す。
- 同一モデルの層間比較:Exploring Representations and InterventionsはCKAによる表現の類似性や冗長性を調べ、層の削減と、トレンド等の操作を検証している。[S15]
- 出力までの途中経過:Tuned Lensは層ごとの内部状態を出力分布へ読み替え、最終回答までの変化を追う。LLMで入力攻撃の検出に使った例はあるが、金融予測の誤り検出への有効性は今回確認していない。[S16]
市場環境が変わったから表現が変わったのか、乱数・学習量・目的関数の違いなのかは別に調べる必要がある。モデルの差分だけで市場構造の変化を認定しない。
直接的な研究で、どこまで分かっているか
注文メッセージを学習すると、内部に市場状態ができる。ただし、そのまま追加の価格予測力にはならなかった
最も対象に近い実市場の内部分析は、2026年10月の板モデル研究。 Transformerではなく8.2MパラメータのMamba-3だが、金融系列を次のイベント予測で学ばせ、その内部から市場情報を抽出するという点で直接的だ。[S3]
入力は米国株8銘柄の2022–2025年の注文メッセージ。板そのものは与えず、2026年1月をモデル学習から外して分析する。研究対象の中心は20取引日の2,014窓。JPM・ORCLという学習外銘柄への読み出しも調べている。
学習済み状態の棒が長いのは、注文の履歴から、直近の板スナップショットだけでは復元しにくいフローを保持したため。 順方向の時系列交差検証でも、内部状態からの読み出しはR²=0.53。ここでの目的は過去500メッセージの注文フローの復元で、未来価格ではない。
将来価格へ問いを変えると差はほとんどなくなる。 次の25メッセージの価格変化について、内部状態の説明力は約0.04、板スナップショットは0.036。内部からフローが読める発見と、価格予測で既存観測を上回る結果は分かれた。
検証記録:読み出し・介入・先行予測を分けた設計
- 状態・層の選択と正則化を入れ子の交差検証で選び、日単位のブートストラップで不確実性を調べる。順方向の交差検証も別に提示。
- 学習済みモデル、未学習の同型モデル、板スナップショットを比較。内部次元が多くても、そのまま強い証拠としない。
- 注文フローはメッセージ履歴から計算できる既知の量。内部で読めること自体が、新しい経済変数の発見ではない。
- 内部への操作で次注文の予測は変わるが、自由生成した市場で価格・変動性へ同じ制御が成立するとは限らなかった。
- 25メッセージはイベント時間。秒数や実運用の保有時間へ変換していない。本文の約0.04は丸め値であり、0.036との差を有意な改善とは扱わない。
- 既存のフロー表現としての価値はあるが、この評価で価格予測が強く改善したという結論ではない。株式の結果であって、暗号資産先物やDEXの参加者状態での検証ではない。
内部から分解した特徴を、株式リターン予測へ直接渡した実例もある
A Financial Brain Scan of the LLMは、内部特徴の利用が予測へつながる金融実例。 今回は2026年11月4日版(arXiv v4)を確認した。旧版の説明だけで判断しない。[S6 §VI・表V]
Gemma-2-9B-ITと公開済みSAEを使い、131,072特徴のうち、事前に定義した経済トピックへ対応する7,278特徴を選ぶ。Reutersの2015–2024年の夜間ニュースから表現を作り、先行する4年間で推定する予測器へ渡す。通常の最終層の密な表現と比較している。
SAE側の精度がわずかに上回る。 これは「人間に分かりやすい特徴にしたら必ず予測情報を失う」とは限らない例。ただし、表現の採取層・疎な分解・経済特徴の選択が異なるため、差をSAE一要素だけの効果へ分解した結果ではない。
検証記録:この結果を、先物への有効性と読まない理由
- 予測器はロジスティック回帰。入力への変換は非線形LLMを通るため、最後が線形でも、元の文章に対して線形な分析とはならない。
- 本文の学習ラベルはニュースの周辺3日(t−1からt+1)の符号、評価側は次取引日の始値から終値。表Vの説明は学習ラベルまで同じように読める記述だが、ここでは本文の区別を維持する。
- 記載された事前学習モデルに対して2015–2024年を使うため、評価時点より後の情報が事前学習へ入った懸念が残る。著者は共通モデルでの相対比較を論じるが、これを完全に未来未知の運用検証とはしない。
- 特徴数を減らす実験では、脚注14が全学習窓の係数を平均して同じTop-Nを使うと明記する。初期評価年から見た後年の情報を利用し得るため、その系列を厳密な逐次選択の成績と扱わない。上図はそのTop-N選択を使わないALL列とBenchmark列。
- 原論文はポートフォリオ指標も提示するが、今回は費用後期間収益率・資金分母・最大ドローダウン等を揃えた経済評価としては再監査していないため、収益性を示す図には使わない。
- 金融ニュースの表現を使う研究で、取引履歴モデルや先物市場内部の未知の機構を直接発見した研究ではない。
金融時系列TransformerへのSAEでは、予測利用の報告と先読みの問題が同居する
Mechanistic Interpretability of Financial Time-Series Transformers via Sparse Autoencodersは、102.3MパラメータのKronosの第11層へSAEを学習し、6資産の特徴を調べる研究。NeurIPS 2026ワークショップの公式掲載要旨では、抽出特徴の予測利用と、元予測との比較を報告している。[S7]
本文の§6と§7を確認すると、抽出特徴を将来リターンの符号を予測するロジスティック回帰へ渡し、拡大型の時系列分割で比較していた。一方、§7は特徴の順位付けに全標本のSpearman相関を使う先読みバイアスがあり、各学習窓の中で選び直す必要があると明記する。したがって、内部特徴を予測へ使う方法の直接例として重要だが、その報告成績を厳密な将来未知の性能とは扱わない。
また、要旨の「2つの直接予測特徴」と、予測器へ渡した特徴集合は同じではない。本文では異なる有意水準の選択を使う。低い特徴間cosineだけで意味の純粋さを認定せず、PCMCI+の条件付き関係を市場での介入因果とも同一視しない。
検証記録:Kronos内部から別の予測器へ渡す設計と限界
- 第11層のSAE特徴を利用。対象は6資産、2023–2026年。
- 予測対象は1・5・10・15・20・25・30日先の対数リターンの符号。L2正則化ロジスティック回帰、最小学習200日からの10個の拡大型分割。
- Skillは方向精度と多数派予測精度の差。正規化した改善率や収益率ではない。
- 先読みの記載はPDF p4 §7 lines139–141。分類器が時系列分割でも、特徴選択が同じ分割内に閉じていなければ、全体は厳密な逐次検証にならない。
- 公式要旨には著者名がある一方、取得したPDFは匿名版。確認箇所をこのOpenReview掲載PDFへ結び付け、別の最終版まで確認したとはしない。
複雑なモデルだから、必ず複雑で有用な情報が潜んでいるわけではない
- Are Sparse Autoencoders Useful? は、少量データ・ラベル誤り・不均衡・分布変化で、SAEを使った読み出しが通常の読み出し器を一貫して上回るとは示せなかった。[S17]
- Superposition Is Not Necessary は、標準的な時系列ベンチマークで、小さなPatchTSTのSAE辞書を広げても改善が乏しく、主要な潜在特徴への操作による予測変化も小さいと報告する。狭い単層モデルの結果を、巨大金融モデル全般へ一般化しない。[S18]
- 多次元特徴の研究は、一本の特徴軸に分けることが常に適切ではないと示す。[S9]
この三つは、内部分析をやめる理由ではなく、「元表現」「分解した表現」「最終予測」のどれが、どの問いに有効なのかを比較する必要がある理由になる。
結果:この調査で確認できたこと
- 研究分野はすでに金融へ接続している。 実市場の注文系列モデルを開いて状態を読む研究、ニュースを読むLLMの内部特徴をリターン予測へ渡す研究、金融時系列TransformerにSAEを適用する研究がある。金融と無関係なLLMの比喩だけではない。
- 人間に命名しなくても利用できる。 数値のまま別の予測器へ渡す、疎な特徴群を組み合わせる、多次元特徴を一まとまりとして扱う、計算経路を追う、という複数の経路がある。
- 市場状態の保持と、追加の未来価格情報は分かれる。 板モデルの結果は、この違いを実際に示す。逆に、出力が弱くても途中の情報を読み直せる可能性は、合成過程・一般時系列の実験で支持される。
- 先物・perp DEX固有の内部データでの有効性は、今回の文献だけでは確定しない。 既出のTREASUREやTFTの個人購入研究も、そのまま先物の価格予測を実証したものではない。新しい実データ学習や収益検証は実施していない。
洞察:先に深掘りする価値が高い方向
第一候補は「未知の内部表現を残したまま、別の問いへの情報量を調べる」
中心に置くのはSAEそのものではなく、再利用できる表現の探索。 元の高次元状態を残した経路と、SAE等で分解した経路を併設する。どちらかに初めから一本化しない。
- 表現の直接利用で、次イベント以外の問いへ利用できる情報があるかを調べる。
- 特徴の分解で、どの組合せ・期間・銘柄で情報が現れるかを掘る。人間のラベルへ対応しない特徴も候補から落とさない。
- 必要な部分への介入で、予測に関わる経路と、ただ記録されている情報を分ける。すべての内部機構を解読することを、予測利用の前提にしない。
この方向なら「売買が増えた人の集まりだった」と名付けて終わらず、その集計では拾えない履歴の組合せが、別の市場状態や将来の変化について情報を持つかへ問いを進められる。
第二候補は「単独特徴ではなく、多次元の特徴と、その条件付きの結び付き」
銘柄AとBを一本の距離で固定するより、状態に応じた関係を測る。 内部表現を二銘柄・参加者群・市場文脈ごとに扱い、状況依存の関係を評価する。その際、見やすい地図は説明用に使えても、分析の入力は2次元座標に限定しない。
具体的な学習方法や関係の評価先は今後の選択。最初から「相関が高い」「代替される」「先行する」を同一の近さに押し込まない。多次元特徴・計算経路の研究は、この区別を保持するための方法候補になる。
読む順番
- S3:板モデルの内部分析 — 実際の金融系列で、何を取り出し、何が価格予測へ届かなかったかを見る。
- S6:Financial Brain Scan §VI — 内部特徴を予測へ渡す具体的な経路を見る。既知概念による絞り込みと事前学習の問題も一緒に読む。
- S9:多次元特徴 — 人間の一語・一本の軸でなく、構造のまま特徴を扱う発想を見る。
- S11とS8:Transcoder/End-to-End SAE — 単なるクラスタの命名から、計算と予測に関係する部分の抽出へ進む。
Q&A
Q. 結局、別の予測器を学習するなら、最初から価格予測モデルを作るのと何が違う?
入力した履歴だけでなく、別の大きなデータや別目的で先に学んだ変換を利用できること。比較対象は「内部表現を使ったモデル」と「同じ時点で使える元データから直接学ぶモデル」。どちらがよいかは実証事項で、先に学んだモデルが必ず勝つとはしない。
Q. SAE特徴に「モメンタム」などと名前を付けないと使えない?
使える。特徴番号の活性値と組合せをそのまま入力できる。命名は何が効いているかを調べる別工程。金融トピックで事前選択するS6は、その選択が有用だった一例であり、すべての内部探索がそれを要件にするわけではない。
Q. 元のモデルを超える情報を、内部から取り出せるの?
最終出力へ集約されていない情報を読み出せる可能性はある。ただし、同じ入力を処理した内部状態は、その入力から独立した未来情報を魔法のように増やさない。学習済み変換が、別の課題に必要な情報を利用しやすくすることが価値になる。
Q. 層の情報や特徴を操作して価格予測が変わったら、市場の因果が分かった?
分かるのは、そのモデルの出力への影響。市場の機構や参加者の動機は別。S3では、次注文への予測反応と、生成された市場の実際の変動が一致しないケースもあった。
Q. もっとも大きいモデルを選べばよい?
パラメータ数だけでは決まらない。入力・目的・学習期間・どの内部状態を読むかが重要。実市場で直接的だったS3も8.2Mパラメータであり、巨大さそのものが研究上の必要条件ではない。
Q. 今回の調査は、文献を網羅し尽くしたもの?
金融・時系列・LLM・隣接分野をまたいで方法群を比較した調査だが、全論文の完全列挙ではない。本文確認の範囲を分け、金融タスクを扱っていても、価格予測と無関係な規制遵守研究などは直接例から外した。既存レビューや新しい引用関係から拡張可能な範囲は残る。
原典と確認箇所
原文の方法・結果を確認したものを本文の根拠に使用。S7は通常のHTTPでは本文を取得できなかったが、ブラウザでPDFの方法・結果・限界を確認した。会議論文・プレプリント・研究ノートの違いも保持する。
- S1 Guo & Hauptmann, Fine-Tuning Large Language Models for Stock Return Prediction Using Newsflow(2024), §3(表現と予測器)、実験。表現の直接利用だが共同微調整。https://arxiv.org/html/2407.18103v1
- S2 Yue et al., TS2Vec: Towards Universal Representation of Time Series(2022), 方法・予測・異常検知。一般時系列、Transformer専用ではない。https://arxiv.org/html/2106.10466v4
- S3 Mohl et al., Understanding the Inner Workings of a State-Space Foundation Model for Limit Order Books(2026), §4–5、表1–2、§5.2。実市場の注文系列・Mamba。https://arxiv.org/html/2610.28753v1
- S4 Huang & Wang, Emergent Latent-State Computation under Stochastic Volatility(2026), §2–3、出力部交換。合成金融過程。https://arxiv.org/html/2607.25459v1
- S5 Yang et al., Dynamical Parameters: An Interpretability Framework for Time-Series Foundation Models(2026), §3–4。制御された生成過程での可読性と予測応答の区別。https://arxiv.org/html/2609.34316v1
- S6 Chen et al., A Financial Brain Scan of the LLM(2026-11-04版、v4), §II、§V–VI、表V・脚注14。金融ニュース・経済的な特徴選択。https://arxiv.org/html/2508.21285v4
- S7 Verma & Liu, Mechanistic Interpretability of Financial Time-Series Transformers via Sparse Autoencoders(2026ワークショップ)。公式掲載要旨と匿名版PDF §6–7を確認。https://neurips.cc/virtual/2026/164270 / https://openreview.net/forum?id=2rXQHReBlH
- S8 Braun et al., Identifying Functionally Important Features with End-to-End Sparse Dictionary Learning(2024), 目的関数・結果。https://arxiv.org/html/2405.12241v1
- S9 Engels et al., Not All Language Model Features Are One-Dimensionally Linear(2025版), §3–5。多次元表現・探索・介入。https://arxiv.org/html/2405.14860v3
- S10 Cheon, Beyond Linear Superposition: Discovering Climate Features in AI Weather Models with KAN-SAE(2026), 方法・結果。気象モデルの初期プレプリント。https://arxiv.org/html/2605.17493v1
- S11 Dunefsky et al., Transcoders Find Interpretable LLM Feature Circuits(2024), 方法・回路解析。https://arxiv.org/html/2406.11944v1
- S12 Sanyal et al., time2time: Causal Intervention in Hidden States to Simulate Rare Events in Time Series Foundation Models(2025), §2–3・付録B。https://arxiv.org/html/2509.05801v1
- S13 Molinari et al., Interpretable Company Similarity with Sparse Autoencoders(ACL Industry 2025), §3–4・PCAの脚注6。https://aclanthology.org/2025.acl-industry.73.pdf
- S14 Jiralerspong & Bricken, Cross-Architecture Model Diffing with Crosscoders: Unsupervised Discovery of Differences Between LLMs(2026)。https://arxiv.org/html/2602.11729v1
- S15 Wiliński et al., Exploring Representations and Interventions in Time Series Foundation Models(2025版), 表現の類似性・削減・概念操作。https://arxiv.org/html/2409.12915v3
- S16 Belrose et al., Eliciting Latent Predictions from Transformers with the Tuned Lens(2025版), affine translator・介入・prediction trajectory。https://arxiv.org/html/2303.08112v6
- S17 Kantamneni et al., Are Sparse Autoencoders Useful? A Case Study in Sparse Probing(2025)。通常の読み出しとの比較・否定的結果。https://arxiv.org/html/2502.16681v1
- S18 Yıldırım, Superposition Is Not Necessary: A Mechanistic Interpretability Analysis of Transformer Representations for Time Series Forecasting(2026), §3–4。https://arxiv.org/html/2605.05151v1
本文の主要証拠にしなかった関連資料:
- Gao et al., Scaling and evaluating sparse autoencoders(2024)— SAEの規模・再構成と評価方法。金融転用の証拠ではない。https://arxiv.org/html/2406.04093v1
- Anthropic, Insights on Crosscoder Model Diffing(2025)— 共有特徴と固有特徴の競合。完成論文ではなく研究ノート。https://transformer-circuits.pub/2025/crosscoder-diffing-update/index.html
- Golgoon et al., Mechanistic interpretability of large language models with applications to the financial services industry(2024)— 金融サービスの規制遵守タスク。価格予測・市場情報抽出の直接例ではない。https://arxiv.org/html/2407.11215v1
- TimeSAE: Mechanistic Interpretability for Time-Series Foundation Models(2026)— 本文取得未完了。名称だけで金融での実証済み手法とはしない。https://openreview.net/forum?id=Ojd6YjHpyE