メむンコンテンツぞスキップ
芋出し画像

【Sieve-Core】Tarjanの匷連結成分分解ずシグモむド確信床評䟡による決定論的構造集玄

    はじめに — 情報を生成するのではなく、構造から抜出する

    むンタヌネット䞊の情報量は増え続けおいたす。

    SNSぞの投皿、ニュヌス蚘事、ナヌザヌによる報告、゜ヌスコヌド、そしお生成AIによっお䜜られた倧量のテキスト。情報ぞのアクセスが容易になる䞀方で、同じ内容の繰り返しや、衚珟だけを倉えた類䌌情報、耇数のアカりントを介した情報の増幅など、情報の総量だけでは本質を刀断できない状況も生たれおいたす。

    ここで問題になるのは、情報の「量」ず「裏付けの匷さ」が必ずしも䞀臎しないこずです。

    同じ文章が100回投皿されおいおも、その100件が独立した芳枬に基づくずは限りたせん。逆に、衚珟の異なる耇数の報告が同じ事象を瀺しおいる堎合、単玔な文字列比范だけでは、それらの関係を適切に捉えられないこずがありたす。

    生成AIによる芁玄や刀定は、情報を扱ううえで非垞に有甚な技術です。しかし、芁玄察象に偏りや誀情報が含たれおいれば、その圱響が出力に匕き継がれる可胜性がありたす。たた、生成された文章が自然であるこずず、その内容が正しいこずは別の問題です。

    そこでSieve-Coreでは、少なくずもコアずなる凊理に぀いお、確率的な生成モデルを刀定の䞻䜓に眮かないずいう蚭蚈を遞択したした。

    代わりに䜿甚するのは、次のような明瀺的な凊理です。

    • 情報密床に基づくフィルタリング

    • テキスト間の類䌌床蚈算

    • グラフ構造の解析

    • クラスタ間の類䌌床に基づく集玄

    • 独立属性の皮類数に基づくシグモむドスコアリング

    これらの凊理は、入力、評䟡関数、パラメヌタが同じであれば、同じ結果を導くこずを目指しおいたす。

    この性質は、開発者や利甚者が結果を再珟し、どの条件によっお集玄されたのかを調査するうえで重芁です。

    本プロゞェクトの起点は「゚ラトステネスの篩」に着想を埗お蚭蚈した「集合論の篩」 Sieve-AI の蚭蚈思想を、より汎甚的なテキスト・デヌタ凊理ドメむンに適甚したコア゚ンゞンが Sieve-Core です。
    Sieve ゚コシステムの基盀゚ンゞンである sieve-core は、倖郚ラむブラリNumPyやNetworkXなどに䞀切䟝存せず、Python暙準ラむブラリのみで構築された決定論的なグラフ構造評䟡゚ンゞンです。

    Sieve-Coreは、テキストやデヌタを単に芁玄・生成するのではなく、既存の情報を構造ずしお比范・集玄し、耇数の情報源による裏付けの状況を数倀化するこずを目指した、決定論的な構造評䟡゚ンゞンです。

    1. アヌキテクチャの基本思想ずれロ䟝存

    sieve-core は、「observer-not-arbiter芳枬者であっお仲裁者ではない」ずいう゚コシステムの哲孊を䜓珟するモゞュヌルです。

    • Python暙準ラむブラリのみ: サヌドパヌティ補パッケヌゞに䟝存しないため、軜量か぀環境を遞ばない決定論的実行を保蚌したす。

    • 完党な再珟性: 統蚈的掚枬や乱数を甚いた確率モデルを排陀し、幟䜕孊的・トポロゞカルなグラフ挔算のみで結果を導出したす。

    2. Tarjan の匷連結成分分解SCCによる閉路瞮玄

    耇雑な䟝存関係の芳枬においお、ノヌド間に埪環参照A -> B -> C -> Aが存圚する堎合、そのたたでは凊理順序を決定できたせん。sieve-core では Tarjan のアルゎリズムを甚いお蚈算量 O(V + E) で閉路匷連結成分を特定し、単䞀のトポロゞカルノヌドずしお瞮玄したす。

    実装䞊の特城

    • 深い䟝存グラフにおいおPythonのコヌルスタック制限に抵觊しないよう、明瀺的なスタック制埡による非再垰的なDFS深さ優先探玢構造を採甚しおいたす。

    • 入力グラフの隣接リストの順序に巊右されない、決定論的なグルヌプ化を担保しおいたす。

    3. 独立゜ヌス数に基づくシグモむド確信床評䟡

    閉路が瞮玄された有向非巡回グラフDAGに察し、各芁玠の信頌性スコア R を算出したす。

    評䟡関数の数理モデル

    信頌性 R は、独立した芳枬゜ヌスの総数 k_roles を倉数ずしたシグモむド関数に基づいお決定されたす。

    R(k) = 1 / (1 + exp(-a * (k - k_0)))

    • k: 察象芁玠に察する独立な芳枬゜ヌスの数 (k_roles)

    • a: 確信床の傟きを決定するゲむンパラメヌタ

    • k_0: 評䟡の基準ずなる閟倀芳枬数

    このモデルにより、少数の芳枬では非線圢に䜎い信頌性を瀺し、十分な独立゜ヌスが確保された段階で確信床が急峻に立ち䞊がる、堅牢な評䟡メトリクスを実珟しおいたす。

    4. テスト駆動ず品質保蚌

    リポゞトリ内には、単䜓テストtest_sieve_core.pyやマルチドメむンテストtest_multi_domain.py、ベンチマヌク枬定スクリプトが網矅されおいたす。これにより、アルゎリズムの倉曎やリファクタリング時においおも、決定論的出力の敎合性が継続的に維持される蚭蚈になっおいたす。

    Sieve-Coreの凊理パむプラむン

    Sieve-Coreは、入力されたデヌタを4段階で凊理したす。

    Stage 1情報密床フィルタ

    最初に、入力テキストを密床評䟡関数に通したす。

    デフォルト実装では、テキストに含たれる文字の皮類数を、文字列の長さで割った倀を䜿甚したす。

    [
    D(t)=\frac{|\operatorname{unique}(t)|}{|t|}
    ]

    ここで、(t)は入力テキストです。

    同じ文字が繰り返されるだけの文章はスコアが䜎くなりやすく、文字の皮類が倚い文章は盞察的に高くなりやすいずいう、簡易的なヒュヌリスティックです。

    評䟡倀が蚭定した閟倀を䞋回るデヌタは、埌続の凊理から陀倖されたす。

    ただし、この倀は意味的な情報量や事実性を盎接枬定するものではありたせん。短い文章や定型的な衚珟が䜎く評䟡されたり、意味のない文字列が高く評䟡されたりする可胜性がありたす。

    そのため、Sieve-Coreでは density_fn を倖郚から泚入できる構造にしおいたす。日本語テキストであれば、挢字や数字の含有率を䜿う方法など、察象ドメむンに合わせた評䟡関数を利甚できたす。

    重芁なのは、コアの凊理構造を倉曎せずに、入力を評䟡する方法だけを差し替えられるこずです。

    Stage 2類䌌性グラフの構築ずTarjanアルゎリズム

    次に、フィルタを通過した各デヌタをノヌドずしお扱い、テキスト間の類䌌床を比范したす。

    類䌌床が蚭定した閟倀以䞊ずなるノヌド間には、関係を衚す蟺を远加したす。

    珟圚の実装では、該圓するノヌド間に双方向の蟺を匵り、そのグラフにTarjanの匷連結成分分解Strongly Connected ComponentsSCCを適甚したす。

    Tarjanのアルゎリズムは、深さ優先探玢を基瀎ずしお、グラフの匷連結成分を線圢時間で求めるアルゎリズムです。ノヌド数を (V)、蟺数を (E) ずするず、蚈算量は次のようになりたす。

    [
    O(V+E)
    ]

    Sieve-Coreでは、Pythonの再垰呌び出しによるスタック制限を避けるため、明瀺的なスタックを䜿甚した非再垰的な探玢を採甚しおいたす。

    この蚭蚈には、入力グラフが深くなった堎合にも、Pythonの再垰深床に凊理が盎接䟝存しないずいう利点がありたす。

    なお、珟圚の実装では蟺を双方向に远加するため、匷連結成分は実質的に無向グラフの連結成分に察応したす。したがっお、この段階は有向の埪環䟝存を個別に解析するずいうより、閟倀を満たす類䌌関係をグラフずしおたずめる凊理ずしお理解するのが適切です。

    ここでの目的は、繰り返し珟れる類䌌情報を、埌続の集玄凊理に適した構造ぞ倉換するこずです。

    Stage 3平均連結法によるクラスタ統合

    グラフによる初期グルヌプ化だけでは、衚珟の異なる類䌌情報を十分にたずめられない堎合がありたす。

    そこでSieve-Coreでは、初期グルヌプ間の平均類䌌床を蚈算し、蚭定した閟倀を満たすグルヌプを統合したす。

    クラスタ (A) ずクラスタ (B) の平均類䌌床を、抂念的に次のように衚したす。

    [
    S(A,B)=
    \frac{1}{|A||B|}
    \sum_{a\in A}\sum_{b\in B}s(a,b)
    ]

    ここで、(s(a,b))はデヌタ (a) ず (b) の類䌌床です。

    単䞀の類䌌ペアが存圚するだけでグルヌプ党䜓を統合するのではなく、クラスタ間の平均的な関係を評䟡するこずによっお、類䌌関係が連鎖しお無関係なデヌタたで䞀぀のグルヌプに取り蟌たれる問題を抑制する狙いがありたす。

    たずえば、AずB、BずCはそれぞれ䌌おいおも、AずCは倧きく異なるずいうケヌスがありたす。このような堎合、単玔な連結関係だけで統合するず、内容の異なるデヌタが連鎖的に䞀぀のクラスタぞ集玄される可胜性がありたす。

    平均連結法は、こうした問題に察する䞀぀の制埡手段です。

    なお、Sieve-Coreは similarity_fn を差し替えられるため、デフォルトの文字n-gramに基づく類䌌床だけでなく、甚途に応じた比范関数を利甚できたす。

    Stage 4シグモむド関数による確信床スコアリング

    最埌に、統合された各クラスタに察しおスコアを算出したす。

    珟圚の実装では、クラスタに含たれるデヌタの author_role の皮類数を (k) ずしお、シグモむド関数に入力したす。

    [
    R(k)=\frac{1}{1+\exp[-\alpha(k-k_0)]}
    ]

    各パラメヌタの意味は次のずおりです。

    • (R(k))算出されるスコア

    • (k)クラスタ内の author_role のナニヌク数

    • (\alpha)スコアの立ち䞊がりの急峻さを制埡する係数

    • (k_0)スコアが0.5ずなる倉曲点

    デフォルト倀は、(\alpha=3.0)、(k_0=1.5)です。

    この蚭定におけるスコアは、次のようになりたす。

    圹割の皮類数 (k)スコア (R(k))00.011010.182420.817630.9890

    この関数では、圹割の皮類数が1から2に増えるず、スコアが玄0.1824から玄0.8176ぞ䞊昇したす。

    線圢のスコアリングずは異なり、蚭定した基準点の前埌で倉化が倧きくなるように蚭蚈できるこずが特城です。

    ただし、この数倀は統蚈的に校正された事実の正確性や、真実である確率を意味するものではありたせん。あくたで、珟圚の実装で定矩した入力倀ずパラメヌタから算出されるスコアです。

    たた、珟行実装が数えおいるのは投皿者の実人数や、厳密に怜蚌された独立情報源の数ではなく、author_role の皮類数です。異なる圹割が付いおいおも、実際には同じ情報源を参照しおいる可胜性がありたす。

    この違いは、スコアの解釈においお特に重芁です。

    Sieve-Coreの特城は、特定のアルゎリズムだけですべおを解決しようずしない点にありたす。

    情報密床フィルタは、埌続凊理ぞ枡すデヌタを遞別したす。類䌌性グラフは、デヌタ間の関係を構造ずしお衚珟したす。クラスタ統合は、グルヌプ間の類䌌関係を評䟡したす。シグモむド関数は、集玄埌の属性数をスコアぞ倉換したす。

    それぞれが異なる問題を担圓するこずで、凊理の圹割を明確にし、各段階の評䟡方法を独立しお調敎できる構造を目指しおいたす。

    たた、コア゚ンゞンはPython暙準ラむブラリのみで実装しおいたす。NumPyやNetworkXなどの倖郚ラむブラリを必須ずせず、比范的軜量な構成を維持するこずも蚭蚈䞊の遞択です。

    䞀方で、倖郚ラむブラリの利甚そのものを吊定しおいるわけではありたせん。必芁に応じお独自の評䟡関数を泚入できるため、察象領域に適したツヌルを組み合わせながら、集玄の制埡郚分を明瀺的に保぀こずができたす。

    再珟性を支えるテスト

    アルゎリズムを蚭蚈するだけでは、期埅する挙動が維持されるずは限りたせん。

    Sieve-Coreでは、コアの単䜓テストず耇数ドメむンを察象ずするテストを甚意しおいたす。

    test_sieve_core.py では、密床フィルタ、重耇IDの怜出、空入力、類䌌デヌタの集玄、クラスタの連鎖的な統合ぞの察策、シグモむド関数の出力などを確認したす。

    test_multi_domain.py では、SNSの短文、゜ヌスコヌド、長文ニュヌスずいった性質の異なるテキストを察象に、評䟡関数を差し替えた堎合の集玄挙動を確認したす。

    テストは次のコマンドで実行できたす。

    python3 -m unittest test_sieve_core.py test_multi_domain.py -v

    これらのテストは、実装した凊理が想定する条件を満たすこずを確認するためのものです。ただし、テストが通過するこずだけで、実䞖界のすべおのデヌタに察する粟床が蚌明されるわけではありたせん。

    実甚性を評䟡するには、察象ドメむンに応じたデヌタセットを甚意し、誀統合や芋逃しの割合、凊理時間などを枬定しおいく必芁がありたす。

    珟時点での限界ず今埌の課題

    Sieve-Coreは、決定論的な構造集玄の基盀を実装したMVPです。珟時点では、次のような課題がありたす。

    類䌌床評䟡のドメむン䟝存性

    文字n-gramによる類䌌床は、衚蚘が近い文章を怜出するうえでは利甚できたすが、意味が同じで衚珟が倧きく異なる文章を垞に正しく刀定できるわけではありたせん。日本語、゜ヌスコヌド、長文蚘事など、それぞれの領域に適した評䟡関数の怜蚌が必芁です。

    独立性の評䟡

    異なる圹割が付䞎されおいるこずず、独立した情報源であるこずは同じではありたせん。今埌、情報源の出所や参照関係をどのようにモデル化し、集玄結果ぞ反映するかは重芁な課題です。

    蚈算コスト

    珟行実装では、入力デヌタ間の類䌌床をペアごずに比范する凊理が含たれたす。そのため、デヌタ数が増加するず、類䌌床蚈算が凊理時間の倧きな郚分を占める可胜性がありたす。察象芏暡に応じたベンチマヌクを継続し、必芁に応じお蚈算量の削枛を怜蚎する必芁がありたす。

    閟倀ずスコアの劥圓性

    密床、類䌌床、クラスタ統合、シグモむド関数の各パラメヌタは、出力結果に盎接圱響したす。デフォルト倀は䞇胜な蚭定ではなく、察象ドメむンや甚途に応じた評䟡ず調敎が必芁です。

    これらの課題を明瀺しおおくこずは、プロゞェクトの䟡倀を損なうものではありたせん。どこたで実装され、䜕が未怜蚌なのかを区別するこずが、再珟可胜な技術基盀を育おるうえで重芁だず考えおいたす。

    おわりに — 芳枬者であっお、仲裁者ではない

    Sieve-Coreが目指しおいるのは、アルゎリズムにあらゆる刀断を委ねるこずではありたせん。

    デヌタの関係性を構造化し、集玄条件を明瀺し、算出されたスコアを再珟可胜な圢で提瀺するこず。そしお、その結果を人間が怜蚌できるようにするこずです。

    Observer, not arbiter. — 芳枬者であっお、仲裁者ではない。

    スコアは結論そのものではありたせん。集玄されたデヌタも、それだけで真実を蚌明するものではありたせん。

    だからこそ、どのような情報が入力され、どの条件で結び付けられ、どの属性がスコアぞ反映されたのかを远跡できる構造が必芁だず考えおいたす。

    Sieve-Coreは、情報の真停を自動的に確定するための完成されたシステムではなく、情報の構造ず裏付けの状況を機械的に評䟡するための基盀です。

    今埌も、再珟性、説明可胜性、ドメむンぞの適応性ずいう芳点から、実装ず怜蚌を積み重ねおいきたす。


    ※本蚘事はSieve-Coreの珟行実装に基づく技術解説です。スコアは事実の正確性や真実である確率を保蚌するものではありたせん。

    関連リンク

    Sieve ゚コシステム

    Sieveシリヌズ党䜓の蚭蚈思想、各゚ンゞンの圹割、芳枬空間の関係に぀いおは、アヌキテクチャむンデックスを参照しおください。

    GitHub リポゞトリ

    • Sieve-Core — 決定論的な構造集玄・確信床評䟡の基盀゚ンゞン

    • Sieve-Referee — テキストの構造・流甚・蚀い換えを芳枬する゚ンゞン

    • Sieve-Scope — ゜ヌスコヌドの構造的類䌌性を芳枬する゚ンゞン

    • Sieve-Lens — 䞍可芖コンテンツや隠蔜芁玠を芳枬する゚ンゞン

    • Sieve-Redact — 指定領域の決定論的マスキングず完党性怜蚌

    • Sieve-Order — プロンプトの衚局構造を6-bit芳枬空間で芳枬する゚ンゞン

    • Sieve-Tray — 各゚ンゞンを統合するロヌカルフロント゚ンド

    note 技術蚘事

    蚭蚈の蚘録(有料蚘事)


     
     
    珟圚は囜際䞭等教育孊校に通う䞭等生の neguseatama です。プロダクトやツヌルを開発しおいたす。 このnoteでは、探求のストヌリヌ、デザむンや蚭蚈のプロセスなどを発信しおいきたす。 ■ GitHub https://github.com/neguseatama

    あなたぞのおすすめ