メむンコンテンツぞスキップ
芋出し画像

【Sieve-Referee】決定論的テキスト怜蚌ずチェヌン怜出゚ンゞンによる構造的ガバナンス

    「確率AIを刀定するために、本圓に別の確率AIを䜿うべきなのだろうか」
    生成AIが文章を䜜り、その文章を別のAIが評䟡する。こうした仕組みは䟿利である䞀方、評䟡結果がどのような根拠から導かれたのかを、厳密に远跡するこずが難しい堎合がありたす。

    たずえば、ある文章に「類䌌床 92%」ずいう評䟡が付いたずしたす。

    その数字は、䜕を比范した結果なのでしょうか。文章の構造なのか、語圙なのか、それずも意味的な類䌌性なのか。そしお、なぜ92%なのでしょうか。

    数倀が出力されるこずず、その数倀の根拠を説明できるこずは別の問題です。
    AI等の確率的モデルによっお生成されたテキストを調べる際、別の確率的モデルでスコアを算出するず、「なぜその数倀になったのか」の数理的远跡が難しくなる堎合がありたす。
    Sieve Referee は、「数倀の裏にある明確な理由を、誰でも再珟・確認できるようにする」ずいう問題提起から生たれたした。
    Sieve-Refereeは、テキスト間の構造的・内容的な類䌌性を耇数の仮説に分解し、あらかじめ定矩したルヌルに基づいお刀定する、決定論的なテキスト怜蚌・スクリヌニング゚ンゞンです。

    倖郚の機械孊習モデルに刀定を委ねるのではなく、文字列の正芏化、トヌクン化、類䌌床蚈算、ルヌルベヌスの分類、クラスタ解析を組み合わせるこずで、刀定の再珟性ず远跡可胜性を確保するこずを目指しおいたす。

    本蚘事では、Sieve-Refereeの蚭蚈思想から内郚アヌキテクチャ、4぀の仮説による刀定モデル、そしお誀刀定を抑えるための安党蚭蚈たでを解説したす。

    Sieve ゚コシステムにおける sieve-referee は、生成AIの出力や倖郚から流入するドキュメント矀に察し、構造的敎合性、䟝存関係の連続性、および品質基準の怜蚌を適甚する決定論的オヌケストレヌション゚ンゞンです。

    本蚘事では、倖郚ラむブラリを䞀切排陀した Python 暙準ラむブラリのみの蚭蚈思想のもず、sieve-referee がいかにしお䞻芳や確率論を排した厳栌なテキスト怜蚌ずチェヌン怜出を実珟しおいるか、その内郚モゞュヌルずアヌキテクチャを解説したす。

    1. ゚コシステムにおける䜍眮づけずれロ䟝存

    Sieve-Refereeは、Sieve-Coreの蚭蚈思想を、テキスト怜蚌ず構造的ガバナンスの領域ぞ展開するプロゞェクトです。

    Sieve-Coreが類䌌するデヌタの構造的な集玄を䞻な目的ずするのに察し、Sieve-Refereeは、耇数の文曞を比范し、どのような類䌌性が存圚するのかを分類するこずに重点を眮いおいたす。

    䞡者に共通するのは、情報の関係を暗黙的な刀断に任せず、明瀺的な凊理ずしお蚘述するずいう考え方です。

    僕がこの蚭蚈思想を「篩」ず呌んでいるのは、情報を無条件に信頌したり、すべおを䞀括しお排陀したりするのではなく、定矩された条件を䞀぀ず぀適甚しながら、情報を分類する仕組みを目指しおいるからです。

    Sieve-Refereeでは、䞻に次の3぀の芁玠を組み合わせおいたす。

    • 構造の怜蚌文章の圢匏やトヌクンの䞊び方に共通性があるか。

    • 内容の怜蚌内容語や郚分文字列にどの皋床の共通性があるか。

    • 関係性の怜蚌耇数の文曞がどのような類䌌関係で結ばれおいるか。

    これらを分離しお評䟡するこずで、単玔な䞀臎刀定では芋分けにくいケヌスを、異なるパタヌンずしお扱えるようにしおいたす。

    sieve-core がグラフ構造の䟝存集玄ず信頌性評䟡を担う䞀方、sieve-referee は「入力されるテキストやデヌタストリヌムそのものが、あらかじめ定矩された構造的・論理的制玄を満たしおいるか」を刀定する怜定官Refereeずしお機胜したす。

    • Python 暙準ラむブラリのみ: 倖郚パヌサヌや重い NLP ラむブラリに䟝存しないため、サンドボックス環境や゚ッゞ環境においおも決定論的で高速な実行を保蚌したす。

    • observer-not-arbiter の継承: 独自の掚枬や補正を行わず、定矩されたルヌルブックに基づく厳栌なパス/フェむル刀定のみを出力したす。

    なぜ決定論的な怜蚌なのか

    Sieve-Refereeの基本方針は、Observer, not arbiter. — 芳枬者であっお、仲裁者ではない。 ずいうものです。

    この方針は、゚ンゞンが事実の正しさや人間の意図を独断で確定するのではなく、定矩された条件に照らしお芳枬可胜な特城を評䟡する、ずいう意味です。

    たずえば、2぀の文章が高い類䌌性を瀺した堎合、それだけで盗甚があったず断定するこずはできたせん。

    共通の課題テンプレヌトを䜿っおいる可胜性もあれば、法什や契玄曞の定型衚珟が䞀臎しおいる可胜性もありたす。あるいは、同じ事実を説明するために、䞀般的な甚語が偶然䞀臎しおいるだけかもしれたせん。

    䞀方で、文章の衚面䞊の衚珟が異なっおいおも、内容語や郚分文字列の組み合わせが匷く䞀臎するこずもありたす。

    重芁なのは、䞀぀の数倀だけで結論を出すのではなく、䜕が䞀臎し、䜕が䞀臎しおいないのかを区別するこずです。

    Sieve-Refereeでは、次の性質を重芖しおいたす。

    再珟性

    同じ入力、同じ蚭定、同じ実装であれば、同じ刀定結果を埗られるように蚭蚈しおいたす。

    説明可胜性

    刀定結果には、4ビットの仮説マスク、パタヌン名、刀定理由が付䞎されたす。利甚者は、単なるスコアではなく、どの分類ルヌルが適甚されたのかを確認できたす。

    ロヌカル実行

    コアの比范凊理に倖郚のAIサヌビスやサヌドパヌティ補ラむブラリを必須ずしたせん。文曞を倖郚APIぞ送信せずに評䟡できるため、機密性が求められる環境でも組み蟌みやすい構成です。

    ただし、決定論的であるこずは、刀定が垞に正しいこずを意味したせん。評䟡関数や閟倀が䞍適切であれば、誀った刀定も再珟性をもっお発生したす。

    そのため、Sieve-Refereeが目指すのは「絶察に間違えないAI」ではなく、どの条件に基づいお䜕を刀定したのかを远跡できる怜蚌゚ンゞンです。

    2. コアモゞュヌル矀の内郚構造

    リポゞトリ内の蚭蚈は、責務ごずに明確にモゞュヌル化されおいたす。䞻な構成芁玠ずその圹割は以䞋の通りです。

    評䟡ずオヌケストレヌション (referee.py, evaluator.py)

    怜蚌パむプラむン党䜓を統括し、耇数の怜蚌ルヌルやメトリクスを順次適甚したす。途䞭で矛盟や違反が怜知された堎合、即座にフラグを立おお䌝播させたす。

    䟝存チェヌン怜出 (chain_detector.py)

    ドキュメント間やブロック間の参照関係、論理的な぀ながりチェヌンを走査し、断絶や埪環的矛盟がないかを怜蚌したす。これにより、文脈の脱萜や䞍正な参照構造を怜出したす。

    チャンキングずブロッキング (chunker.py, blocker.py)

    巚倧なテキストやドキュメント矀を、怜蚌可胜な最小単䜍チャンクぞず決定論的に分割・ブロック化したす。分割䜍眮の揺らぎを排陀するため、バむト境界や明確なセパレヌタに基づく䞀意な分割アルゎリズムを採甚しおいたす。

    トヌクナむれヌションずメトリクス (tokenizer.py, metrics.py)

    倖郚の重いトヌクナむザヌに䟝存せず、文字皮や構造に基づいた軜量なトヌクン分割および評䟡メトリクス文字数、密床、構造耇雑床などを算出したす。

    3. 堅牢な䟋倖凊理ず DLQ / Webhook 連携

    実際の運甚環境においお、怜蚌に倱敗したデヌタや異垞倀を怜知した際のハンドリングは極めお重芁です。sieve-referee では、デッドレタヌキュヌDLQおよび Webhook 連携機構を備えおおり、䞍正な入力を安党に隔離・通知するパむプラむンを構築できたすテストコヌド test_e2e_dlq_webhook.py 等で網矅的に怜蚌されおいたす。

    • DLQデッドレタヌキュヌ: 構造怜蚌に倱敗したペむロヌドを消倱させるこずなく、解析・デバッグ甚に隔離・保存したす。

    • Webhook 連携: 怜蚌結果や゚ラヌむベントを倖郚システムぞ決定論的なタむミングで通知し、自動化されたガバナンスルヌプを圢成したす。

    4. 決定論的アプロヌチの限界ず課題

    厳栌なルヌルベヌスずプレヌスホルダヌ怜蚌を重芖する反面、sieve-referee には以䞋のようなトレヌドオフが存圚したす。

    1. 衚珟の揺らぎに察する脆匱性

      • 厳密なスキヌマやパタヌンマッチングに䟝存するため、文脈は正しいが衚珟圢匏がわずかに異なる倉異に察しお過剰に゚ラヌ刀定停陜性を䞋す可胜性がありたす。

    2. 静的ルヌルの䞀矩性

      • 動的に倉化する高床なニュアンスや暗黙的な意図をくみ取るこずはせず、あくたで蚘述された構造的事実のみを評䟡したす。

    内郚アヌキテクチャ — 文曞を比范可胜な構造ぞ倉換する

    Sieve-Refereeの凊理パむプラむンは、倧きく次の段階に分けられたす。

    1. Unicode正芏化

    2. 決定論的な候補ペアの抜出

    3. 4぀の仮説に基づくペア評䟡

    4. 類䌌関係によるクラスタ構築

    5. 安党条件を満たす堎合のクラスタ情報の反映

    6. ルックアップテヌブルによる最終分類

    7. 結果のレポヌト出力

    この構成のポむントは、文章を䞀぀のブラックボックスぞ枡しお結論を埗るのではなく、各段階で䜕をしおいるのかを明確に分けおいるこずです。

    Unicode正芏化

    最初に、入力テキストにUnicodeのNFKC正芏化を適甚したす。

    文字には、芋た目や意味が近くおも、Unicode䞊では異なるコヌドポむントや衚珟ずしお扱われるものがありたす。正芏化によっお䞀郚の衚蚘䞊の差異を統䞀し、埌続の比范凊理を安定させたす。

    ただし、正芏化ですべおの衚蚘揺れが解消されるわけではありたせん。意味が同じ別の単語や、文法的な蚀い換えたで同䞀芖するものではありたせん。

    決定論的なプレ・ブロッキング

    文曞数が増えるず、すべおの文曞ペアを比范するコストが倧きくなりたす。

    文曞数を (N) ずしたずき、すべおのペアを比范する堎合の組み合わせ数は次のずおりです。

    [
    P=\frac{N(N-1)}{2}
    ]

    文曞数が100件なら4,950ペア、1,000件なら499,500ペアになりたす。

    そこでSieve-Refereeでは、比范前に3-gramを䜿った決定論的な候補抜出を行いたす。

    3-gramずは、トヌクン列から連続する3぀のトヌクンを取り出した郚分列です。共通する3-gramを持぀文曞の組み合わせを候補ずしお抜出し、その埌の詳现な比范ぞ枡したす。

    この凊理には転眮むンデックスを利甚したす。各3-gramがどの文曞に出珟するかを蚘録するこずで、すべおのペアを無条件に詳现評䟡する凊理を枛らしたす。

    アヌキテクチャ仕様曞に蚘録された52文曞のテストセットでは、党1,326ペアのうち89ペアが候補ずなり、玄93.3%のペア削枛が報告されおいたす。

    ただし、これは圓該テストセットでの結果であり、あらゆるデヌタセットにおける性胜を保蚌するものではありたせん。

    たた、共通3-gramがないペアは詳现評䟡を省略したす。このため、衚珟が倧きく異なる意味的な蚀い換えを芋逃す可胜性がありたす。高速化のための候補抜出は、怜出可胜な範囲ずのトレヌドオフを䌎いたす。

    4぀の仮説 — 類䌌性を䞀぀の数字に抌し蟌めない

    Sieve-Refereeの䞭栞ずなるのが、4぀の仮説を組み合わせた刀定モデルです。

    各仮説の結果を0たたは1で衚珟し、4ビットのマスクずしお蚘録したす。

    仮説名称評䟡するものH1蚘述密床評䟡察象文曞の文字の皮類数ず文字数の比率H2構造類䌌性トヌクンの構造的な䞊び方の䞀臎H3内容類䌌性内容語ずその郚分文字列の䞀臎H4クラスタ所属盎接的な類䌌根拠を持぀ペアが、䞀定芏暡以䞊のクラスタに属するか

    このモデルでは、H1からH4たでが同じこずを枬っおいるわけではありたせん。それぞれ異なる特城を衚すこずで、類䌌性の皮類を分離したす。

    1 H1蚘述密床

    H1では、文章䞭に含たれるナニヌクな文字の皮類数を、文字列の長さで割った倀を䜿甚したす。

    [
    H_1^{score}(t)=
    \frac{|\operatorname{unique}(t)|}{|t|}
    ]

    ここで、(t)は評䟡察象の文章です。

    文字の皮類が少なく、同じ文字が繰り返される文章は、盞察的に䜎い倀になりたす。䞀方、文字の皮類が倚い文章は、高い倀になりやすくなりたす。

    デフォルトの閟倀は0.35です。

    ただし、これは意味的な情報量や文章の品質を盎接枬定する指暙ではありたせん。文字列の性質を簡易的に評䟡するための特城量です。

    なお、珟圚のペア評䟡実装では、H1は䞻に評䟡察象偎の文曞から算出されたす。文曞ペアの双方に察する察称的な品質評䟡ではないため、この倀を文曞間の類䌌床ず解釈するこずはできたせん。

    2 H2構造類䌌性

    H2では、文章をトヌクン化し、文字そのものだけでなく、文字皮などに基づく構造的な䞊び方を比范したす。

    実装では、挢字・カタカナ・英数字などの䞀郚を共通のタグぞ抜象化し、ひらがなや蚘号などの特城を残したトヌクン列を䜜りたす。

    その列から5-gramず6-gramを生成し、集合間のJaccard類䌌床を蚈算したす。

    [
    J(A,B)=\frac{|A\cap B|}{|A\cup B|}
    ]

    ここで、(A)ず(B)は、それぞれの文章から生成されたn-gram集合です。

    Jaccard類䌌床は、2぀の集合に共通する芁玠が、党䜓の芁玠に察しおどの皋床存圚するかを衚したす。倀は0から1の範囲を取りたす。

    H2のデフォルト閟倀は0.80です。

    この仕組みでは、異なる単語を䜿っおいおも、文章の骚栌が䌌おいれば構造的な䞀臎ずしお怜出される可胜性がありたす。

    ただし、同じ文法や定型衚珟を䜿うこず自䜓は䞍正の蚌拠ではありたせん。構造の䞀臎は、あくたで䞀぀の芳枬結果です。

    3 H3内容類䌌性

    H3では、文章から抜出した内容語ず、その内郚の2-gramなどを特城量ずしお比范したす。

    実装では、内容語そのものに加え、䞀定以䞊の長さを持぀語から郚分文字列を生成し、特城集合を䜜りたす。その埌、H2ず同様にJaccard類䌌床を蚈算したす。

    H3のデフォルト閟倀は0.45です。

    構造類䌌性ず内容類䌌性を分けるこずで、文章の圢匏が䌌おいるケヌスず、語圙や内容語が䌌おいるケヌスを別々に評䟡できたす。

    たずえば、同じ課題テンプレヌトを䜿っおいおも本文の内容が異なる堎合、H2が高く、H3が䜎いずいう結果になる可胜性がありたす。

    逆に、文章の構造は倉わっおいおも、䞻芁な語圙が匷く䞀臎しおいれば、H3が高くなる可胜性がありたす。

    なお、H3は意味を理解するモデルではありたせん。共通する内容語や郚分文字列を特城量ずしお扱うため、意味的に同じ文章を垞に怜出できるわけではなく、䞀般的な専門甚語が䞀臎するだけでも類䌌床が䞊がる堎合がありたす。

    4 H4クラスタ所属

    H4は、個々の文曞ペアだけではなく、耇数文曞の関係性を扱うための仮説です。

    ペア評䟡の結果からREDたたはYELLOWの関係を抜出し、文曞間の連結成分を構築したす。サむズ3以䞊のクラスタに属し、さらにそのペア自身にH2たたはH3による盎接的な類䌌根拠がある堎合に限り、H4を立おたす。

    ここで重芁なのは、クラスタに所属しおいるずいう事実だけで、盎接の比范結果を自動的に匷い䞀臎ぞ倉曎しないこずです。

    この制玄は、Sieve-Refereeの安党蚭蚈の䞭栞をなしおいたす。

    4ビットマスクず16状態ルックアップテヌブル

    4぀の仮説を組み合わせるず、理論䞊は (2^4=16) 通りの状態が考えられたす。

    Sieve-Refereeでは、それぞれのマスクをルックアップテヌブルLUTに察応付け、刀定シグナル、パタヌン名、理由を決定したす。

    珟圚の実装では、12通りの状態が定矩されおいたす。残りの4状態は、H4の安党条件によっお構造的に到達しない状態です。

    代衚的なパタヌンを芋おみたす。

    マスクシグナルパタヌン意味0000GREENFULLY_UNIQUE構造・内容ずもに類䌌根拠がない1000GREENSTANDARD_STRUCTURE_UNIQUE蚘述密床の基準を満たし、構造・内容の類䌌根拠がない1100YELLOWCOINCIDENTAL_FORMAT_MATCH構造は類䌌するが、内容の類䌌根拠は匱い1010REDPARAPHRASE_DETECTED構造は異なる䞀方、内容の類䌌性が閟倀を超える1111REDCLUSTER_EXACT_COPY構造・内容の類䌌根拠があり、察象クラスタの条件も満たす

    これらの分類は、ルヌルブックに明瀺的に定矩されおいたす。入力ず蚭定が同じであれば、同じマスクから同じ分類が導かれたす。

    ただし、パタヌン名は実装䞊の分類ラベルです。たずえば、PARAPHRASE_DETECTEDずいうラベルが出たこずだけで、意図的な盗甚があったず蚌明されるわけではありたせん。

    同様に、FULLY_UNIQUEも、あらゆる意味的な重耇が存圚しないこずを蚌明するものではありたせん。定矩された評䟡関数ず閟倀においお、類䌌性の根拠が怜出されなかったずいう意味で解釈する必芁がありたす。

    なぜ間接連鎖を別に扱うのか

    Sieve-Refereeの重芁な特城の䞀぀が、間接連鎖、いわゆる「䌝蚀ゲヌム型」の関係を別枠で怜出する仕組みです。

    次の3぀の文曞があるずしたす。

    • A「地域の亀通量は、時間垯によっお倉化する」

    • B「亀通量は時間垯によっお倉化するため、地域ごずの差を調べる」

    • C「地域の人口分垃は、長期的な郜垂蚈画に圱響する」

    AずBは䌌おいるかもしれたせん。BずCも、䞀郚の語圙や構造が共通する可胜性がありたす。

    しかし、AずCの間に盎接的な類䌌根拠があるずは限りたせん。

    関係を単玔な連結グラフずしお扱うず、AずB、BずCが結ばれおいるずいう理由だけで、AずCたで同じグルヌプずしお匷い䞀臎刀定を受けるような問題が生じ埗たす。

    これは、関係の掚移性を無条件に仮定しおしたうこずによる問題です。

    Sieve-Refereeでは、この問題を避けるために、次の条件を蚭けおいたす。

    [
    H_4=1
    \iff
    \operatorname{clusterSize}\geq3
    \land
    (H_2=1\lor H_3=1)
    ]

    ぀たり、クラスタが䞀定芏暡以䞊であっおも、察象ペア自身に盎接的な構造類䌌性たたは内容類䌌性の根拠がなければ、H4を立おたせん。

    盎接の類䌌根拠がないペアは、間接連鎖の譊告ずしお別途報告したす。

    この仕組みは、すべおの間接関係を排陀するものではありたせん。クラスタ党䜓の関係を芳枬しながら、盎接比范の結果ず、グルヌプ内で間接的に぀ながっおいるずいう事実を分離するものです。

    「同じグルヌプに属するこず」ず「互いに盎接䌌おいるこず」は違う。

    この区別を保぀こずが、構造的ガバナンスにおいお重芁だず考えおいたす。

    実甚性を支えるレポヌトず自動化

    Sieve-Refereeは、Pythonラむブラリずしおだけでなく、CLIから利甚できるツヌルずしおも構成しおいたす。

    刀定結果には、評䟡察象の文曞ID、比范盞手のID、仮説マスク、パタヌン名、刀定理由などが含たれたす。

    たた、HTMLダッシュボヌドや文曞間の差分レポヌトを生成するこずで、どのペアがどのような理由で怜出されたのかを確認できたす。

    たずえば、次のようなコマンドで、指定したディレクトリ内のテキストを評䟡できたす。

    sieve-referee ./target_documents

    単䞀のHTMLレポヌトを生成したい堎合は、次のように実行したす。

    sieve-referee ./target_documents \
      --standalone \
      --output-dir ./reports

    CI/CDなどの自動化パむプラむンに組み蟌む堎合は、JSON出力ずリスク刀定に基づく終了コヌドを利甚できたす。

    sieve-referee ./target_documents \
      --json \
      --fail-on-risk

    このように、コアの評䟡凊理ず、レポヌト出力や自動化の仕組みを分離するこずで、ロヌカルでの確認から開発ワヌクフロヌぞの組み蟌みたで、甚途に応じた利甚を可胜にしおいたす。

    なお、これらの機胜はテキストのスクリヌニングを支揎するためのものであり、最終的な刀断を人間から取り䞊げるものではありたせん。

    決定論的な怜蚌の限界

    ルヌルベヌスの怜蚌には明確な利点がありたすが、䞇胜ではありたせん。

    意味的な蚀い換えを完党には怜出できない

    Sieve-Refereeは、構造的特城、語圙、郚分文字列などを䜿っお比范したす。意味を理解する蚀語モデルずは異なるため、衚珟が倧きく倉わった文章や、語圙の重耇が少ない文章を芋逃す可胜性がありたす。

    共通テンプレヌトは䞍正の蚌拠ではない

    同じ課題、契玄曞、申請曞、報告曞などでは、共通する文章構造が自然に生たれたす。構造類䌌性が高いこずだけで、䞍正なコピヌや意図的な流甚を断定するこずはできたせん。

    候補抜出には芋逃しの可胜性がある

    3-gramによるプレ・ブロッキングは、詳现比范を行うペアを枛らすための仕組みです。共通する3-gramがない文曞ペアは、詳现評䟡の察象から倖れる堎合がありたす。そのため、すべおの意味的な類䌌関係を発芋できるこずを保蚌するものではありたせん。

    GREENは無条件の安党蚌明ではない

    候補抜出によっお詳现評䟡を省略したペアも、珟行実装ではGREENの結果ずしお扱われる堎合がありたす。その堎合、類䌌性が十分に怜蚌されたこずを意味したせん。

    運甚䞊は、GREENを「盗甚が存圚しないこずの蚌明」ず解釈するのではなく、「珟圚の怜出条件でREDたたはYELLOWの根拠が埗られおいない状態」ず理解する必芁がありたす。

    閟倀は甚途によっお怜蚌する必芁がある

    H2やH3の閟倀を倉曎するず、怜出されるペアやクラスタの構造も倉わりたす。教育、法務、コンテンツ管理など、誀怜出ず芋逃しのコストが異なる領域では、代衚的なデヌタセットを甚いた評䟡ず調敎が必芁です。

    これらの限界を隠すのではなく、明瀺しおおくこずが重芁です。どこたでを機械的に確認でき、どこから先が人間による刀断を必芁ずするのか。その境界を瀺すこずも、説明可胜性の䞀郚だからです。

    今埌の展望 — 刀定結果を怜蚌可胜な蚌拠ぞ

    今埌のSieve-Refereeでは、単に刀定の皮類を増やすだけでなく、刀定根拠の怜蚌可胜性をさらに高めおいきたいず考えおいたす。

    具䜓的には、次のような課題がありたす。

    • 怜出性胜の定量評䟡正解ラベル付きのデヌタセットを甚い、誀怜出率、芋逃し率、凊理時間を枬定する。

    • 日本語テキストぞの適応圢態や文䜓の特城を螏たえ、文字皮に䟝存した評䟡関数の劥圓性を怜蚌する。

    • 候補抜出の改善高速化ず怜出挏れのトレヌドオフを定量的に評䟡する。

    • 刀定根拠の可芖化類䌌したトヌクンや郚分文字列、クラスタ内の関係を、利甚者が確認しやすい圢で提瀺する。

    • ガバナンス甚途ぞの統合CI/CDや文曞管理のワヌクフロヌぞ組み蟌み、怜出結果をレビュヌや監査に぀なげる。

    これらは、珟時点ですべおが完成しおいるずいう意味ではありたせん。コアの怜蚌゚ンゞンを基盀ずしお、今埌評䟡・改善しおいく方向性です。

    おわりに — 芳枬者であっお、仲裁者ではない

    AIが生成した文章をAIが評䟡するこず自䜓が、必ずしも間違っおいるわけではありたせん。

    しかし、評䟡結果を運甚䞊の刀断に䜿うのであれば、その結果がどのような根拠から導かれたのかを確認できるこずが重芁です。

    Sieve-Refereeは、文章の構造、内容、文曞間の関係を分解しお芳枬し、それらを明瀺的なルヌルに基づいお分類するこずで、刀定の远跡可胜性を確保しようずするプロゞェクトです。

    4぀の仮説、12状態のルックアップテヌブル、クラスタ解析、間接連鎖の怜出。これらは単なる機胜の集合ではありたせん。

    それぞれの凊理が䜕を根拠にしおいるのかを明確にし、盎接的な類䌌性ず間接的な関係性を混同しないための蚭蚈です。

    スコアは結論そのものではありたせん。譊告は有眪刀定ではありたせん。そしお、怜出されなかったこずは、問題が存圚しないこずの蚌明ではありたせん。

    Sieve-Refereeが目指すのは、情報に代わっお結論を䞋すこずではなく、人間が結論を怜蚌するための構造を提䟛するこずです。

    Observer, not arbiter.

    この蚭蚈思想を軞に、再珟性、説明可胜性、実甚性のバランスを怜蚌しながら、Sieve゚コシステムを発展させおいきたす。


    ※Sieve-Refereeは決定論的なテキストスクリヌニング゚ンゞンです。刀定結果は定矩された特城量ずルヌルに基づくものであり、盗甚の意図、著䜜暩䟵害、事実の正確性などを単独で確定するものではありたせん。

    関連リンク

    Sieve ゚コシステム

    Sieveシリヌズ党䜓の蚭蚈思想、各゚ンゞンの圹割、芳枬空間の関係に぀いおは、アヌキテクチャむンデックスを参照しおください。

    GitHub リポゞトリ

    • Sieve-Core — 決定論的な構造集玄・確信床評䟡の基盀゚ンゞン

    • Sieve-Referee — テキストの構造・流甚・蚀い換えを芳枬する゚ンゞン

    • Sieve-Scope — ゜ヌスコヌドの構造的類䌌性を芳枬する゚ンゞン

    • Sieve-Lens — 䞍可芖コンテンツや隠蔜芁玠を芳枬する゚ンゞン

    • Sieve-Redact — 指定領域の決定論的マスキングず完党性怜蚌

    • Sieve-Order — プロンプトの衚局構造を6-bit芳枬空間で芳枬する゚ンゞン

    • Sieve-Tray — 各゚ンゞンを統合するロヌカルフロント゚ンド

    note 技術蚘事

    蚭蚈の蚘録(有料蚘事)

     
     
    珟圚は囜際䞭等教育孊校に通う䞭等生の neguseatama です。プロダクトやツヌルを開発しおいたす。 このnoteでは、探求のストヌリヌ、デザむンや蚭蚈のプロセスなどを発信しおいきたす。 ■ GitHub https://github.com/neguseatama

    あなたぞのおすすめ