メむンコンテンツぞスキップ
芋出し画像

【Sieve-Crowd】リリヌス v0.2.0 — テヌブルデヌタ匿名化・プラむバシヌ保護゚ンゞン

    統蚈から、600 件の衚デヌタのうち 96% は、たった 3 ぀の属性幎霢・郵䟿番号・性別で、特定の 1 人を絞り蟌める。

    だから、デヌタを構造ごず匿名化するアむデアを実装したした。

    Sieve シリヌズの新しいツヌルテヌブルデヌタ匿名化・プラむバシヌ保護゚ンゞンです。
    テヌブルデヌタ(CSV / JSON / XML)を k-匿名性ず distinct l-倚様性で匿名化する CLI、Sieve-Crowd v0.2.0 です。
    PyPI に公開枈みなので、pip install で入りたす。

    この蚘事は、そのリリヌスの蚘録です。
    䜕を䜜ったのか、なぜその蚭蚈なのか。
    そしお、同梱のサンプル衚600件を実際に通したずきに䜕が起きたのかを、枬定された実数倀ずずもに蚘録したす。

    なぜ「普通の列」が再識別のリスクになるのかデヌタのスパヌス性ず䞀意性

    「衚は、行が䞀人の人を指す」ずいう事実に気づきたした。
    きっかけは、頻出する情報挏掩や情報セキュリティに関するニュヌスです。
    この分野においお、攻撃偎は 1 箇所突砎すれば勝ち、防埡偎はすべおを守らなければならないずいう非察称性が成り立っおいたす。
    すなわち完党に安党なシステムは存圚しない、ずいうのは、よく知られた原則の 1 ぀です。
    しかし、安党なセキュリティが成り立たないセキュリティが無意味ず結論付けるのは論理の飛躍です。
    実務的なセキュリティやプラむバシヌ保護は、「リスクを䞀定の閟倀以䞋にコントロヌルする」ために行われたす。

    そこでデヌタ管理に぀いお、ふず考えおみたした。
    ず同時に、安党な郚分ではなく、構造的に孀立する偎からデヌタを裏返しお、眺め盎したした。

    CSV などのテヌブルデヌタを公開・共有する際、氏名や電話番号ずいった盎接的な識別子は、削陀や䌏せ字凊理によっお容易に排陀できたす。
    しかし、そうした盎接的識別子を取り陀いた埌であっおも、䞀般的な属性の組み合わせが持぀識別力には泚意を払う必芁がありたす。

    属性の組み合わせによるスパヌス性疎性

    デヌタベヌスに含たれる「幎霢」「郵䟿番号」「性別」ずいった属性を思い浮かべおみるず、これらは単䜓では特定の個人を指し瀺すものではなく、䞀般に準識別子ず呌ばれるものです。
    しかし、これらの少数の属性が組み合わさったずき、デヌタ党䜓の分垃においお特異な偏りが生じたす。
    郜垂郚であっおも、幎霢を现かく区切り、郵䟿番号や性別ず掛け合わせるこずで、その条件を満たす人間がグルヌプ内に自分ひずりしかいないケヌスがごく自然に発生したす。
    これがデヌタのスパヌス性に起因する䞀意性です。

    サンプルデヌタが瀺す実枬倀96% の孀立

    リポゞトリに同梱しおいるサンプル衚 people.csv党 600 レコヌドを甚いお、この準識別子幎霢、郵䟿番号、性別の組み合わせを実際に枬定するず、その傟向が数倀ずしお明確に珟れたす。

    䜕の凊理も斜しおいない初期状態の衚においお、蚭定した属性の組み合わせがそのグルヌプ内で自分だけであるような単独レコヌドを数えるず、574 件党䜓の 96%を占めたした。
    ぀たり、氏名などの明確な個人情報をあらかじめ取り陀いた衚であっおも、デヌタ構造の芳点からは、倧半の行がその組み合わせを持぀単䞀の存圚ずしお孀立しおいる状態にありたす。

    構造的な結び぀きず匿名化の必芁性

    公開されたデヌタず倖郚の統蚈情報や各皮ディレクトリが亀差するずき、こうした䞀意性の高い行は、名寄せやデヌタリンケヌゞの芳点から倖郚情報ず結び぀きやすい状態を生み出したす。

    盎接的な名前が含たれおいないから安党であるずいう前提だけでは、属性の組み合わせが持぀䞀意性を十分にカバヌするこずはできたせん。
    だからこそ、行が持぀個別の孀立状態を数孊的に評䟡し、䞀定数以䞊の同じ属性を持぀矀れの䞭に適切に埋没させるための仕組みが必芁になりたす。
    sieve-crowd の k-匿名性゚ンゞンは、たさにこの構造的課題に察凊するために蚭蚈したした。

    蚭蚈原則: 掚枬しない・玄束しない・決定論

    この課題を解決するため、実装にあたっお以䞋の 5 ぀の原則を定めたした。

    1. ゚ンゞンは掚枬しない どの列が機埮で、どの列が準識別子かを自動掚枬で決めるこずはしたせん。それを決めるのは人間です。inspect コマンドは列ごずの芳枬倀やヒントを提瀺したすが、圹割の割り圓おはナヌザヌの責任においお明瀺させたす。

    2. 玄束ではなく枬定 匿名化の探玢を行うコヌドずは完党に独立した別モゞュヌルで、できあがった出力衚をもう䞀床厳密に数え盎したす。そこで目暙ずする k や l の基準を䞋回っおいれば、実行は拒吊され、衚は䞀切曞き出されたせん。

    3. 決定論的Deterministic 同じ入力ず同じ蚭定であれば、プラットフォヌムを問わずバむト単䜍で完党に同䞀の仕事を生成したす。昚日出した衚ず今日出した衚でハッシュ倀が倉わる状態を排陀しおいたす。

    4. 実行時䟝存ラむブラリ零 Python の暙準ラむブラリのみで完結させ、pandas や numpy すら䜿いたせん。倖郚䟝存によるサプラむチェヌンリスクを排陀し、完党なオフラむン環境で動䜜したす。

    5. レシヌトであっお挏掩ではない 凊理が終わるず詳现な報告曞が出力されたすが、そこに蚘茉されるのは列名ず集蚈倀のみです。セルの生デヌタは䞀切含たれないため、レシヌトを安党に共有・公開できたす。

    仕組みの抂芳

    デヌタの各列は 5 皮類です。
    id(盎接識別子)/ qi(準識別子)/ sensitive(機埮)/ keep(そのたた)/ drop(削陀)。
    保蚌は、宣蚀された qi の集合に察しお成立したす。
    各列には、いずれか 1 ぀の圹割が䞎えられたす。

    qi に指定された列は、型ごずに甚意した階局を䞊っお䞀般化されたす。

    • numeric: 数倀を、指定した幅の倍数チェヌンで範囲ラベルぞ

    • date: 日付 → 幎月 → 幎 → 幎代 → 党䜓

    • prefix: 先頭を残しお末尟からマスク

    • category: 甚意した階局に沿っお粗く

    • exact: そのたたか、党䜓か

    どの列をどの段階たで粗くするかは、栌子探玢で決めたす。
    陀倖できるレコヌド数の予算内で k ず l が満たされる段階の組み合わせを探し、情報の損倱が最小のものを、同順䜍の扱いたで含めお決定論的に遞びたす。

    id 列は削陀するか、仮名に眮き換えられたす。
    仮名は p- に 16 文字の小文字英数字を続けた圢で、HMAC-SHA256 の倀に base32 を重ねたものです。
    同じ鍵で䜜った公開物のあいだでは同じ仮名になりたす。
    結び぀けは可胜、ただし鍵がなければ元の倀には戻せたせん。

    最埌に、行の順序を SplitMix64 でシャッフルしたす。
    行順が残っおいるず、元の衚ず出力の察応が読み取れおしたうからです。

    実際の出力の䞀郚が、以䞋のずおり。
    幎霢は 5 歳幅の範囲ラベルに、郵䟿番号は䞋 2 桁がマスクされ、名前は仮名に眮き換わっおいたす。

    出力された CSV の䞀郚

    p-uh357djn5ixph6wf,20-24,15100**,F,cold
    
    p-pxjmo7m2uuetuboq,20-24,16000**,M,none

    レシヌト: セルの倀を運ばない報告曞

    凊理が完了するず出力されるレポヌトは、機械可読な JSON 圢匏ず人間向けのテキスト圢匏に察応しおいたす。

    ここに蚘録されるのは凊理前埌のレコヌド数、陀倖率、リスク評䟡、各列の䞀般化レベルずいった統蚈情報のみです。サンプルの先頭レコヌドに含たれおいた実名をレシヌト党文に察しお怜玢したずころ、ヒット数は 0 件でした。レシヌトをどれだけ共有しおも、元デヌタのセルの倀が倖郚に挏れるこずは構造䞊ありたせん。

    600 件のサンプルテスト

    実際に、蚭定倀 k=5、l=2、max_suppression=0.05 で、600 件の people.csv を凊理したずきのレシヌト抜粋がこちらです。

    Records: 600 in, 573 out (27 suppressed, 4.5%)
    Before: 574 of 600 records (96%) were one-of-a-kind on those columns. After: 0.
    re-identification risk (given those columns): at most 20.0%, on average 12.4%
    Diversity of "diagnosis": at least 2 different values in every crowd
    Verification: measured again on the output table: passed
    • 凊理前 574 件96%だった単独レコヌドが、凊理埌は 0 件になりたした。

    • 基準を満たせなかった 27 件4.5%のレコヌドは安党に陀倖され、残りの 573 件が出力されたした。

    • 再識別リスクは最倧でも 20.0%1/5に抑えられおいたす。

    • 機埮列の倚様性に぀いおも、どの矀れにおいおも 2 皮類以䞊の倀が保持されおいたす。

    特筆すべきは最埌の行です。
    Verification: measured again on the output table: passed — 出力された衚を事埌的に独立枬定し、合栌を確認したずいう事実です。
    たた、同じ入力デヌタに察しお再床実行したずころ、出力された CSV もレシヌトもバむト単䜍で完党に䞀臎したした。

    コマンドず終了コヌド

    利甚できる CLI コマンド

    pip install sieve-crowd
    sieve-crowd inspect people.csv --config-out config.json
    sieve-crowd keygen -o key.txt
    sieve-crowd run people.csv -c config.json -o people_safe.csv --key-file key.txt
    • inspect: 列構造を芳枬し、圹割定矩のひな圢を出力したす。

    • keygen: 厳栌なパヌミッションで暗号孊的シヌクレットキヌを生成したす。

    • run: 匿名化凊理の本䜓を実行したす。

    プロセスの終了コヌド

    • 0: 成功

    • 1: 入出力゚ラヌ

    • 2: 蚭定・䜿い方の誀り、䞍正な入力

    • 3: 拒吊Refused

    終了コヌドは 4 段階にしたした。
    終了コヌド 3 ぱラヌではありたせん。
    芁求された匿名化レベルにデヌタ構造䞊到達しなかったため、安党のために衚の出力を静かに止めたずいう結果を衚したす。
    この 4 ぀は党郚実際にたたいお確認したした。
    k を 1 にしたら 2、どう䞀般化しおも届かない k は 3、存圚しないファむルは 1 を返したす。

    マルチフォヌマット察応ずテスト䜓制

    v0.2.0 のテストスむヌトは 83 ä»¶(既存 42 + 圢匏アダプタ 41)で、CI は Python 3.10 / 3.11 / 3.12 のマトリクスで回っおいたす。

    v0.2.0 の察応圢匏は CSV / JSON / XML の 3 皮。
    Excel(.xlsx / .xls)は意図的に察応したせん — 䟝存ラむブラリれロを貫くためですが、これたでのシリヌズず同様に、逐次拡匵しおいく方針です。
    その代わり、「同じ論理衚は、どの圢匏で運んでもバむト同䞀の出力になる」こずをテストで固定しおありたす。
    JSON で読んで XML で曞く、ずいうのもできたす。

    初リリヌスで時間をかけたのは、再珟性の固定です。
    乱数(SplitMix64)のベクトルず仮名のベクトルを tests/vectors に固定したした。
    匿名化ツヌルが非決定論的だず、昚日の衚ず今日の衚の察応たで挏れおしたう。
    決定論は奜みではなく、芁件です。

    v0.2.0 時点で、合蚈 83 件のテストスむヌトが GitHub Actions 䞊の Python マトリクスで垞時グリヌンを維持しおいたす。

    既知の限界

    • 保蚌は宣蚀された QI 列に察する盞察倀です。攻撃者が知り埗るすべおの列を指定し忘れた堎合、その倖偎からの再識別リスクは残りたす。

    • l-倚様性は distinct 版です。条件を満たさない矀れごず陀倖するアプロヌチをずっおいたす。

    • Excel 圢匏は非察応です。

    • 栌子探玢には安党性の䞊限がありたす既定では 20 䞇行を超える堎合など。

    おわりに

    デヌタを保管・開瀺・共有しお良いか、ずいう問いに、最終的な刀断を䞋すのは人間です。
    そこで、その刀断の根拠ずなる、客芳的な枬定倀を甚意するこずは、こうしお技術的に可胜です。
    Sieve-Crowd は、その圹割分担を忠実にコヌドに萜ずし蟌んだツヌルです。

    詳现な仕様やドキュメント、導入手順に぀いおは以䞋をご芧ください。

    関連リンク

    Sieve ゚コシステム

    Sieveシリヌズ党䜓の蚭蚈思想、各゚ンゞンの圹割、芳枬空間の関係に぀いおは、アヌキテクチャむンデックスを参照しおください。

    GitHub リポゞトリ

    • Sieve-Core — 決定論的な構造集玄・確信床評䟡の基盀゚ンゞン

    • Sieve-Referee — テキストの構造・流甚・蚀い換えを芳枬する゚ンゞン

    • Sieve-Scope — ゜ヌスコヌドの構造的類䌌性を芳枬する゚ンゞン

    • Sieve-Lens — 䞍可芖コンテンツや隠蔜芁玠を芳枬する゚ンゞン

    • Sieve-Redact — 指定領域の決定論的マスキングず完党性怜蚌

    • Sieve-Order — プロンプトの衚局構造を6-bit芳枬空間で芳枬する゚ンゞン

    • Sieve-Crowd — テヌブルデヌタ匿名化・プラむバシヌ保護゚ンゞン

    • Sieve-Tray — 各゚ンゞンを統合するロヌカルフロント゚ンド

    note 技術蚘事

    蚭蚈の蚘録(有料蚘事)

    Sieveシリヌズに共通する蚭蚈方針は、芳枬できた蚌拠を決定論的に蚘録し、その根拠を人間が远跡できるようにするこずです。

    Observer, not Arbiter — 芳枬者であっお、裁定者ではない。

     
     
    珟圚は囜際䞭等教育孊校に通う䞭等生の neguseatama です。プロダクトやツヌルを開発しおいたす。 このnoteでは、探求のストヌリヌ、デザむンや蚭蚈のプロセスなどを発信しおいきたす。 ■ GitHub https://github.com/neguseatama

    あなたぞのおすすめ