メインコンテンツへスキップ
見出し画像

【Sieve-AI】 エコシステム アーキテクチャインデックス

    1. 概要と開発思想

    決定論的な観測・検証・処置をつなぐ、ローカルファーストのオープンソースエンジン群

    はじめに — Sieveとは何か

    Sieveは、テキスト、ソースコード、AIプロンプト、文書に含まれる情報を、明示的なルールと構造化された証拠に基づいて観測・検証するためのオープンソースプロジェクトです。

    プロジェクト名: Sieve-AI
    ( Social Information Extraction and Verification Engine via Algorithmic Graph Reduction )
    (アルゴリズム的グラフ縮約によるソーシャル情報抽出・検証エンジン)
    英語の Sieve(篩:ふるい)という意味だったSieve-AIは、ここから略称(アクロニム)としてのプロジェクトになりました。

    本プロジェクトの起点は「エラトステネスの篩」に着想を得て設計した「集合論の篩」 Sieve-AI の設計思想を、
    Sieve は、データの類似性・構造・不透明性を数学的に説明可能な形で検証・観測するための、オープンソースの決定論的エンジン群です。

    テキスト・ソースコード・プロンプト・不透明文書などのデータ検証において、確率的AI(LLM等)を「判定の主体」とすることには根本的な限界が存在します。推論プロセスのブラックボックス性とハルシネーションのリスクにより、「なぜその数値・結論になったのか」を人間が最後まで追跡・説明することができないためです。

    本プロジェクトでは、確率的な内部状態を経由するアプローチを排し、以下の不変条件を基本原則として設計しています。

    • 決定論的確信性(Determinism): 同じ入力・パラメータ・ルールからは、環境や時刻に依存せず常に同一の観測結果(マスク、スコア、レシート)を出力する。

    • 完全ローカル execution & ゼロ依存(Zero-Dependencies): コアライブラリは Python 標準ライブラリのみで実装し、外部 API 通信・サードパーティパッケージへの依存を排除する。

    • 観測者としての境界(Observer, not Arbiter): 善悪・真偽・意図などの定性的な判定を行わず、定義された観測空間(仮説マスク・LUT・位置情報)に基づいた客観的証拠のみを人間に提示する。

    本記事は、Sieveエコシステム全体の設計思想、各エンジンの責務、モジュール間の関係、そして開発ノートへの入口をまとめた固定インデックスです。個別のアルゴリズムや実装の詳細は、各リポジトリと関連記事で順次説明していきます。

    設計思想 — 判定よりも、観測可能な証拠を

    Sieveが重視するのは、結果だけを返すブラックボックス型の判定ではなく、結果に至った根拠を人間が追跡できる仕組みです。

    確率的なAIモデルは、曖昧な文章の理解や意味の推定などに有用です。一方、入力の類似性や特定の文字の存在、構文上の一致などを検証する場面では、モデルの自然言語による説明だけに依存せず、明示的なルールによって確認できる部分を分離する価値があります。

    Sieveは、こうした部分を決定論的な処理として実装することを目指しています。

    1 決定論性 — 同じ条件から同じ結果へ

    同じ入力、同じ設定、同じルール、同じ実行条件のもとでは、観測結果が再現されることを基本原則とします。

    対象に応じて、結果は次のような形式で表現されます。

    • 仮説マスク:どの観測条件に該当したか

    • スコア:定義された計算規則に基づく数値

    • 位置情報:証拠が存在する箇所

    • 構造化データ:後続エンジンが利用できる観測結果

    • レシート:何を観測し、何を処置したかを記録する出力

    決定論性は、結果の追跡、回帰テスト、異なる入力間の比較を可能にするための基盤です。

    ただし、これは実行環境や依存ライブラリが異なっても、無条件に同一結果を保証するという意味ではありません。OCRや外部抽出器などを利用する場合は、それらのバージョンや設定も再現条件の一部になります。

    2 説明可能性 — 結果だけでなく、根拠を残す

    「似ている」「隠されている」「一定の条件に該当する」という結果だけでは、利用者はその妥当性を十分に検証できません。

    Sieveでは、可能な範囲で観測条件、スコア、位置情報、クラスタ関係、処置内容などを明示します。

    その目的は、利用者に結果を無条件で信頼してもらうことではありません。むしろ、結果を自分で確認し、必要に応じて反証・再検証できるようにすることです。

    3 ローカルファースト — 入力データを手元で扱う

    Sieveのコアエンジンは、Python標準ライブラリのみで動作する構成を基本とし、外部APIへの送信を前提としません。

    この設計は、機密性のある文章やソースコードを扱う際に、入力を外部サービスへ渡さずに処理できる選択肢を提供します。

    ただし、エコシステム全体のすべての拡張機能がゼロ依存というわけではありません。PDFや画像の高度な抽出、OCR、デスクトップGUIなどでは、用途に応じて追加ライブラリを利用します。

    4 Observer, not Arbiter — 観測者であり、最終審判者ではない

    Sieveの重要な原則は、Observer, not Arbiter(観測者であり、審判者ではない) という立場です。

    検出された類似性は、盗用の確定を意味しません。不可視文字の存在は、悪意の証明ではありません。プロンプトの表層表現を観測しても、利用者の意図や文章の意味を完全に理解したことにはなりません。

    Sieveが提示するのは、定義されたルールによって得られた証拠です。その証拠をどのように評価し、どのような対応を取るかは、利用者や後続システムの責務として分離します。

    2. パイプラインとモジュール構成

    Sieveは、単一の巨大な検出器ではありません。共通の基盤、用途別の専門エンジン、処置を担当するエンジン、そして利用者が操作するフロントエンドから構成されます。
    Sieve エコシステムは、基礎となる数理演算エンジン sieve-core を中心に、ドメインごとの観測空間を定義した各種モジュールと、全体を統括するフロントエンドで構成されています。

    [ 入力データ: ファイル・フォルダ・プロンプト ]
      │
      ▼
    Sieve Tray (デスクトップ GUI / CLI フロントエンド)
      │ (拡張子・形式ごとに自動振り分け)
      ├─ Sieve Lens (不可視構造・隠蔽要素の 7-bit 観測)
      │    └─► Sieve Redact (他バイト完全性を維持した決定論的マスキング)
      │
      ├─ Sieve Scope (AST骨格と識別子語彙の 7-bit コード構造検証)
      │
      ├─ Sieve Referee (16状態 LUT による 4-bit テキスト構造スクリーニング)
      │
      └─ Sieve-Order (プロンプト注文構造の 6-bit 観測とレシート生成)
      │
      ▼
    Sieve-Core (基盤エンジン)
      - 密度フィルタ (density_fn)
      - Tarjan SCC 閉路縮約 (強連結成分分解)
      - 平均連結法 Jaccard/Overlap 統合
      - 独立ソース数に基づくシグモイド確信度評価

    この図は、役割と代表的な連携関係を示す概念図です。すべてのエンジンが常に一つの直列パイプラインとして動作することを意味するものではありません。実際の実行経路は、フロントエンドの振り分け設定や各エンジンの連携仕様に依存します。

    3. 各モジュールの仕様と観測空間

    以下は、この記事の時点です。

    Sieve-Core — 共通の数理基盤

    Repository: https://github.com/neguseatama/sieve-core

    Sieve-Coreは、Sieveエコシステムにおける共通の数理処理・構造集約基盤です。
    観測形式: 密度、グラフ、クラスタ、スコア
    主な目的: 関係性の構造的な集約

    単純に文字列を比較するだけでは、複数の情報源から得られた関係性や、データ間の連結構造を十分に扱えない場合があります。Sieve-Coreでは、データ密度の抽出、グラフ構造の集約、クラスタ統合、確信度スコアリングなどを組み合わせて扱います。

    主な構成要素は次のとおりです。

    • 密度フィルタ: 観測対象の密度を計算し、後続処理の対象を整理する。

    • Tarjanの強連結成分分解(SCC): 有向グラフ内の相互到達可能なノード群を抽出し、循環的な関係を構造として捉える。

    • クラスタ統合: Jaccard係数やOverlap係数などを利用した類似性の統合を行う。

    • シグモイド確信度評価: 独立したソース属性数など、定義された入力に基づいてスコアを計算する。

    ここで重要なのは、グラフ上のつながりと、個々の情報が直接一致していることを混同しないことです。ノード同士が連結しているという構造的事実は、それだけで同一性や真偽を証明するものではありません。

    Sieve-Coreは、専門エンジンのすべての機能を代替するものではなく、共通の数理処理を整理する基盤として位置付けています。

    Sieve-Referee — テキスト構造・流用・言い換えのスクリーニング

    Repository: https://github.com/neguseatama/sieve-referee

    Sieve-Refereeは、テキストの構造や類似性を複数の仮説から検証するエンジンです。
    観測形式: 4-bit仮説マスクと16状態LUT
    主な目的: テキスト構造のスクリーニング

    4つの独立した仮説、H1〜H4による4-bitマスクを、16状態のルックアップテーブル(LUT)へ決定論的に対応付けます。

    この構成では、テンプレートや定型文に由来する形式上の一致と、本文の流用・言い換えに関する証拠を区別することを目指します。

    形式が似ているというだけで、本文まで同じであるとは限りません。逆に、表現が異なっていても、構造や内容に関係がある場合があります。

    Refereeは、こうした違いを単一の曖昧な類似度だけに押し込めず、明示的な仮説と規則によって整理します。

    Sieve-Scope — コード構造の類似性を観測する

    Repository: https://github.com/neguseatama/sieve-scope

    Sieve-Scopeは、Pythonソースコードの構造的な類似性を検証するエンジンです。
    観測形式: 7-bit仮説マスク
    主な目的: コード構造の類似性の観測

    コード比較では、空白やコメントの違いだけでなく、変数名の変更、構文の組み替え、定型的な記述などが結果に影響します。そのため、文字列の一致だけに依存せず、抽象構文木(AST)の骨格と、tokenizeから得られる識別子の語彙・順序を分離して観測します。

    7-bit観測空間を用いて複数の特徴を整理し、直接的な類似性の証拠とクラスタ構造を区別します。

    ただし、構造が似ていることは、盗用が確定したことを意味しません。同じ課題、共通のライブラリ、定型的なアルゴリズムなどによって、独立したコードが似ることもあります。

    Scopeは、判断に必要な構造的証拠を提供するためのエンジンです。

    Sieve-Lens — 不可視コンテンツの観測

    Repository: https://github.com/neguseatama/sieve-lens

    Sieve-Lensは、人間に見える文書と、機械が解析する文書の間に生じる差を観測するエンジンです。
    観測形式: 7-bit仮説マスク
    主な目的: 不可視コンテンツの観測

    対象には、ゼロ幅文字、双方向制御文字、HTML/CSSによる非表示要素、コメント、メタデータなどが含まれます。7-bit観測空間を使い、異なる種類の観測結果を共通のマスク形式に整理します。

    Lensの役割は、隠された内容や不可視文字を検出し、位置情報やデコード結果などの証拠を提示することです。検出結果をそのまま悪意の証明とするのではなく、何がどこに存在したのかを明確にします。

    また、Sieve-Redactに渡す観測カタログを出力することで、観測結果を後続の処置につなげます。

    Sieve-Redact — 観測結果に基づく決定論的な処置

    Repository: https://github.com/neguseatama/sieve-redact

    Sieve-Redactは、指定された対象に対する削除・置換・マスキングなどを担当するエンジンです。
    観測形式: 処置カタログとレシート
    主な目的: 対象の変更と変更記録

    Lensが「何が存在するか」を観測するのに対し、Redactは「指定された対象をどう変更するか」を扱います。

    処理様式には、delete、mosaic、label、noise、decor、replaceなどがあります。テキストや対応する画像データを対象に、マッチ区間外のデータを不必要に変更しないことを重視しています。

    また、変更内容をレシートとして記録し、機密本文そのものをレポートへ不用意に含めない構成を目指しています。

    ここでいう完全性は、処置対象外のデータを保持することを中心とした性質です。すべてのファイル形式や処理様式について、元データ全体が必ず同一の意味・表示・バイト列を保つという意味ではありません。実際の保証範囲は、入力形式と処理方式ごとの仕様に従います。

    Sieve-Order — プロンプトを「注文」として観測する

    Repository: https://github.com/neguseatama/sieve-order

    Sieve-Orderは、AIに入力される自由記述プロンプトを、構造化された観測対象として扱うエンジンです。
    観測形式: 6-bit観測空間とレシート
    主な目的: プロンプト表層構造の観測

    設計上の中心にあるのは、プロンプトをファーストフードの注文に見立てるという比喩です。

    利用者が入力する文章は「注文」、観測可能な表層表現は「メニュー」、そして観測結果を人間と機械の双方に返すものが「レシート」です。

    Orderは、REQUEST、ACTION、TARGETなどの表層表現を6-bit観測空間でスキャンし、Human ReceiptとMachine Receiptを出力します。

    この設計では、文章の意味を推測して不足情報を補ったり、利用者の意図を勝手に確定したりするのではなく、定義された観測条件に該当する表現を整理します。

    レシートは、入力のすべてを理解したという証明ではありません。どの表層的な特徴が観測され、どの条件が該当したかを、利用者と後続処理が確認できるようにするための記録です。

    この「注文・メニュー・レシート」という比喩は、技術的な構造を専門家以外にも伝えるための、Sieve-Orderの重要な説明軸です。

    Sieve-Tray — エンジン群を利用するための統合フロントエンド

    Repository: https://github.com/neguseatama/sieve-tray

    Sieve-Trayは、複数のSieveエンジンを一つの操作環境から利用するためのフロントエンドです。
    観測形式: 実行結果・履歴・レポート
    主な目的: 統合操作と結果確認

    ファイルやディレクトリを入力とし、形式や設定に応じてLens、Scope、Referee、Redactなどのエンジンへ処理を振り分けます。デスクトップGUIとCLIを通じて、個別のエンジンを直接操作する場合よりも、統合的なワークフローを扱いやすくすることを目指しています。

    GUIでは非同期のバックグラウンド処理、ローカルの履歴管理、HTMLレポート生成などを扱います。

    Trayは、各専門エンジンの内部ロジックを一つに統合するものではありません。それぞれの責務を保ったまま、利用者が実行・確認・比較しやすい入口を提供します。

    観測空間の違い — すべてを同じスコアにしない

    Sieveエコシステムでは、用途に応じて異なる観測空間を採用しています。

    エンジン観測形式主な目的Sieve-Core密度、グラフ、クラスタ、スコア関係性の構造的な集約Sieve-Lens7-bit仮説マスク不可視コンテンツの観測Sieve-Scope7-bit仮説マスクコード構造の類似性の観測Sieve-Referee4-bit仮説マスクと16状態LUTテキスト構造のスクリーニングSieve-Order6-bit観測空間とレシートプロンプト表層構造の観測Sieve-Redact処置カタログとレシート対象の変更と変更記録Sieve-Tray実行結果・履歴・レポート統合操作と結果確認

    ビット数が多いほど優れている、あるいはスコアが高いほど危険である、という共通の序列はありません。

    各エンジンの仮説は、それぞれ異なる対象と目的に合わせて定義されています。LensのH2とScopeのH2は、同じ番号であっても意味が異なります。ビットマスクは、各エンジンが定義する観測空間の内部で解釈する必要があります。

    また、異なるエンジンのマスクを単純に合算して、一つの「Sieve安全スコア」を作ることも、現時点での設計方針ではありません。

    観測対象の違いを保ったまま、根拠を比較できることを重視しています。


    観測・処置・記録を分離する

    Sieveエコシステムの設計を理解するうえで、観測、処置、記録の3段階を区別することが重要です。

    観測

    入力に何が存在するかを、定義されたルールで調べます。

    例:ゼロ幅文字の存在、ASTの特徴、識別子の順序、テキスト構造の一致。

    処置

    観測結果や利用者が指定した条件に基づき、対象を削除・置換・マスキングします。

    例:Sieve-Lensが出力した観測カタログをSieve-Redactへ渡す。

    記録

    どのような入力に対して、どの条件が該当し、どのような処理が実行されたかを記録します。

    例:仮説マスク、位置情報、処置対象、変更レシート。

    この分離によって、検出結果をそのまま処置命令として扱うことを避けられます。また、処置後のデータを再観測し、特定の条件が解消されたかを確認することも可能になります。

    もちろん、再観測によって特定の条件が解消されても、入力全体の安全性や意味の完全性が保証されるわけではありません。観測と処置を分けることは、最終判断を不要にするためではなく、判断の根拠と変更履歴を明確にするための設計です。


    テストと品質保証 — 決定論性を維持するために

    決定論的なルールを定義するだけでは、システムの信頼性は完成しません。実際の入力に対してルールが正しく適用され、変更によって意図しない結果が生じないことを、継続的に検証する必要があります。

    Sieveでは、各エンジンの責務に応じて、次のような検証を重視します。

    • 単体テスト: 個々の仮説、閾値、変換規則が意図した条件で動作するか。

    • 回帰テスト: 実装変更によって既存の観測結果が予期せず変化していないか。

    • 境界値テスト: 閾値の直前・一致・直後で結果が正しく切り替わるか。

    • 連携テスト: あるエンジンの出力を、後続エンジンが正しく利用できるか。

    • 再現性テスト: 同一条件の入力に対して、出力やレシートが安定しているか。

    テストが通過することは、検証した条件に対する品質の根拠です。ただし、未知の入力や未対応形式を含むすべてのケースで、完全な正しさを保証するものではありません。

    この点を明示することも、説明可能性の一部です。

    現時点の限界と、これからの課題

    Sieveは、すべての入力を完全に理解する万能な判定器を目指しているわけではありません。

    明示的なルールで扱える範囲を広げ、何が観測でき、何が観測できなかったのかを明らかにすることを優先しています。

    今後の開発で重要になる課題には、次のものがあります。

    1 実データによる評価

    合成データや小規模なテストケースだけでは、実際の文書やコードで生じる多様なパターンを十分に評価できません。正例・負例を増やし、誤検出と見逃しを分けて分析する必要があります。

    2 観測根拠の可視化

    マスクやスコアに加え、該当した位置、比較された構造、クラスタへの所属理由などを確認しやすくすることで、利用者が結果を検証するための負担を減らせます。

    3 エンジン間の契約

    観測カタログやレシートの形式、エラーの扱い、バージョン間の互換性などを明確にすることは、複数のエンジンを組み合わせるうえで重要です。

    4 再現条件の明示

    コアのルールだけでなく、Pythonのバージョン、外部抽出器、OCRエンジン、設定値などが結果に影響する場合、その条件を記録できるようにする必要があります。

    5 検出と意味判断の境界

    類似性や不可視コンテンツの検出を、盗用・悪意・虚偽などの確定判定と混同しないこと。観測結果をどう解釈するかについて、利用者が根拠を追跡できる設計を維持することも重要です。

    Sieveは、これらの課題を個別のエンジンの改善だけでなく、エコシステム全体の設計課題として扱っていきます。

    このインデックスの読み方

    1. 全体の思想を知る: 本記事で、決定論性・説明可能性・Observer, not Arbiterという設計方針を把握する。

    2. 一つのエンジンを深掘りする: 興味のある領域のREADMEや仕様書を読み、具体的な観測条件を確認する。

    3. 実装とテストを確認する: GitHubのソースコード、テスト、変更履歴を参照する。

    4. 開発ノートを読む: noteの記事で、アルゴリズムを採用した理由、設計上のトレードオフ、限界や今後の課題を追う。

    各エンジンの記事は、単に機能を紹介するためだけのものではありません。なぜその観測空間を採用したのか、どのような失敗を避けようとしているのか、どこまでを保証し、どこから先を保証しないのかを記録する開発ノートでもあります。

    4. 今後の展開と開発ノート

    本 note では、このインデックスを軸として、各エンジンの数理モデルやアルゴリズムの詳細、決定論的アプローチにおける限界と課題についての検証記事を公開していく予定です。

    関連リポジトリ

    • Sieve-Core — 共通の数理処理・構造集約基盤

    • Sieve-Lens — 不可視コンテンツの観測

    • Sieve-Redact — 決定論的な処置と変更記録

    • Sieve-Scope — コード構造の類似性の観測

    • Sieve-Referee — テキスト構造・流用・言い換えのスクリーニング

    • Sieve-Order — プロンプト表層構造の観測とレシート生成

    • Sieve-Crowd — テーブルデータの匿名化・数理的変換

    • Sieve-Tray — 統合フロントエンド

    設計の記録(有料記事)


    おわりに — Sieveは判断を置き換えるのではなく、判断の根拠をつくる

    Sieveが目指しているのは、すべてを一つの数値に変換し、機械が最終判断を下す世界ではありません。

    異なるデータには異なる構造があり、異なる検証には異なる観測条件が必要です。それらを一つの曖昧な判定へ押し込めるのではなく、用途ごとに分離し、結果を追跡可能な形で残すこと。そのうえで、必要なエンジン同士を接続し、利用者が検証できるワークフローをつくること。

    それがSieveエコシステムの基本方針です。

    篩は、対象のすべてを理解するわけではありません。しかし、何を通し、何を分離し、どの条件に該当したのかを明確にすることはできます。

    Sieveもまた、観測可能な証拠を積み重ねることで、情報の検証をより再現可能で、説明可能なものにすることを目指します。

    観測する。根拠を残す。必要な処置を分離する。そして、人間が結果を検証できるようにする。


    関連リンク

    Sieve エコシステム

    Sieveシリーズ全体の設計思想、各エンジンの役割、観測空間の関係については、アーキテクチャインデックスを参照してください。

    GitHub リポジトリ

    • Sieve-Core — 決定論的な構造集約・確信度評価の基盤エンジン

    • Sieve-Referee — テキストの構造・流用・言い換えを観測するエンジン

    • Sieve-Scope — ソースコードの構造的類似性を観測するエンジン

    • Sieve-Lens — 不可視コンテンツや隠蔽要素を観測するエンジン

    • Sieve-Redact — 指定領域の決定論的マスキングと完全性検証

    • Sieve-Order — プロンプトの表層構造を6-bit観測空間で観測するエンジン

    • Sieve-Crowd — テーブルデータ匿名化・プライバシー保護エンジン

    • Sieve-Tray — 各エンジンを統合するローカルフロントエンド

    note 技術記事

    設計の記録(有料記事)

    Sieveシリーズに共通する設計方針は、観測できた証拠を決定論的に記録し、その根拠を人間が追跡できるようにすることです。

    Observer, not Arbiter — 観測者であって、裁定者ではない。

     
     
    現在は国際中等教育学校に通う中等生の neguseatama です。プロダクトやツールを開発しています。 このnoteでは、探求のストーリー、デザインや設計のプロセスなどを発信していきます。 ■ GitHub https://github.com/neguseatama

    あなたへのおすすめ