メインコンテンツへスキップ
見出し画像

Monolithの自由研究の続き sMNISTを学習してみよう

    Monolith: 空間構造に敏感な3次元格子型知能モデル

    sMNISTを用いた容量と入力配置の比較実験

    要旨

    本研究では、3次元格子状の力学系から成る「モノリス型知能モデル」に対し、時系列MNIST(sMNIST)入力を与え、容量(ユニット数)と入力の空間配置が性能に与える影響を調査した。その結果、同一容量のモデルでも入力配置によって精度が変化し、容量増加よりも入力の空間構造の方が性能に強く影響することが示唆された。



    1. はじめに

    多くのニューラルネットワークでは、性能向上はパラメータ数の増加によって達成される。しかし、生物の脳は単純な容量増加だけでなく、皮質コラムなどの空間的構造を持つ。本研究では、空間構造を持つ最小限の知能モデルとして「モノリス」を用い、容量と入力幾何の影響を検証する。


    2. モデル構造

    2.1 モノリスの基本構造

    モノリスは以下の特徴を持つ。

    • size³ の3次元格子状ユニット

    • 各ユニットは6近傍と接続

    • ユニット種別:

      • E(興奮)

      • I(抑制)

      • X(差分型)

    近傍信号は以下で計算される。

    E: 近傍加重和(興奮性)
    I: 近傍加重和(抑制性)
    X: 近傍平均 − 自己状態

    実装では、各層のインデックスを事前に保持し、主にx, y, z+方向に情報が伝播する3次元格子構造となっている。


    2.2 時系列処理

    入力画像は以下の手順で時系列化される。

    1. MNISTを14×14にダウンサンプリング

    2. 196次元を20次元ずつ分割(足りない4次元は0埋め)

    3. 10ステップの時系列入力を生成

    この入力をモノリスに逐次注入し計算、内部状態を統合した後、線形Readoutで分類する。


    2.3 入力配置の違い

    本研究では、z0面への入力配置を2種類比較した。

    (A) 非構造配置(旧方式)

    • 入力を1列に並べる

    (B) 構造維持配置(新方式)

    • z0面中央に5×4のブロックとして配置

    この変更は、同一容量でも入力の空間的近接性を変化させる。


    3. 実験設定

    3.1 データ

    • MNIST

    • 14×14にダウンサンプリング

    • 10ステップ時系列化

    3.2 モデルサイズ

    比較した主なサイズ:

    画像
    5と8では、4倍くらい容量に差がある

    4. 結果

    4.1 容量と精度

    画像
    ユニット数増やしても、あんまり変わらなかった

    容量を4倍にしても精度は向上しなかった。


    4.2 入力配置による差

    同じ6³でも、入力を5x4のブロック状にする/しないによって:

    画像
    ブロック状にすることで……

    → 約0.5%の改善


    4.3 図

    画像
    Learning trajectories in the Loss–Accuracy plane for two 6³ Monolith configurations.The spatially structured input layout converges faster and reaches higher accuracy despite identical capacity.

    2つの6³モノリス構成における、Loss–Accuracy平面上の学習軌跡。
    同一の容量であるにもかかわらず、空間的に構造化された入力配置のほうが、より速く収束し、より高い精度に到達している。


    5. 考察

    5.1 容量増加だけでは性能は向上しない

    8³は6³の約2.4倍のユニット数を持つが、精度は向上しなかった。
    これは、モノリスが単なるパラメータ=容量モデルではないことを示す。


    5.2 入力の空間構造が性能を左右する

    同一容量(6³)で配置のみ変更した結果、精度差が生じた。

    これは以下を示唆する。

    • 入力が近接していると局所相互作用が増加

    • 波のような動的ダイナミクスが発生しやすい

    • 時系列統合が安定する

    つまり、

    モノリスは容量よりも入力の空間構造に敏感なモデルである

    bluecrow

    5.3 最適サイズ仮説

    実験では、sMNIST(28x28のMNISTを14x14にダウンサンプリングして時系列化した196次元のデータセット)において、20次元×10セットの入力では、

    • 5³〜6³付近が最適

    • それ以上では性能低下

    が観測された。

    これは

    最適ユニット数 ≈ 入力次元 × 時間統合深さ
    6^3(216) ≈ 20 × 10

    というスケーリング仮説を支持する。

    5.4 追記(比較用の精度)

    比較として、同様の時系列データをReadoutのみの線形分離装置に入力して得られた精度は、20 Epochにおいて、Loss 0.3230  Acc 91.99% であった。


    6. 結論

    本研究では、3次元格子型知能モデル「モノリス」に時系列MNISTを与え、容量と入力配置の影響を比較した。

    主な知見:

    1. 容量増加だけでは性能は向上しない

    2. 同容量でも入力配置で精度差が生じる

    3. 最適サイズが存在する可能性がある

    これらの結果は、

    知能モデルにおいては「容量」よりも「空間構造」が重要である

    bluecrow

    ことを示唆している。


    7. 今後の課題

    • サイズ×配置の網羅的比較

    • 多層入力面の検証

    • ロボット制御などの行動タスクへの適用


    8. 追試用プログラム

    本研究で利用したPythonファイルを添付する。
    cnn_smnist はモダンなCNNによる理想的な精度を算出するために使った。
    direct_smnist は 入力から線形Readoutに直結することによる比較用の精度を算出するために使った。
    monolith_smnist は今回の研究のために主に使ったものである。

    9. おまけ

    なお、Readoutを強化するとどうなるかの比較実験も行った。

    構成                                    精度
    直結Readout(200→10)  92.00%
    Monolith+内部Readout     92.50% <-- 今ここ
    Monolith+Keras線形Readout   94.34% <-- ん!?

    あなたへのおすすめ