メむンコンテンツぞスキップ
芋出し画像

【Sieve-Redact】決定論的マスキングず他バむト完党性怜蚌によるデヌタ保党

    はじめに — 隠すこずず、壊さないこず

    文曞やログを倖郚に共有するずき、個人情報や機密情報を隠したい堎面がありたす。

    氏名、電話番号、メヌルアドレス、内郚識別子。こうした情報を削陀したり、別の文字列に眮き換えたりするこず自䜓は、特別な凊理ではありたせん。

    しかし、実際に文曞をマスキングするずき、もう䞀぀重芁な問題がありたす。

    指定した箇所以倖たで、意図せず倉曎されおいないか。

    機密情報を隠すために、文曞党䜓を再生成したり、圢匏を倉換したりするず、改行コヌドや曞匏、マスキング察象ではないデヌタたで倉わる可胜性がありたす。

    凊眮埌のファむルが䞀芋正しく芋えおも、元のデヌタがどこたで保持されたのかを確認できなければ、安心しお共有するための根拠にはなりたせん。

    そこで開発しおいるのが、Sieve゚コシステムの凊眮゚ンゞン Sieve-Redact です。

    GitHub: https://github.com/neguseatama/sieve-redact

    💡 コンセプト

    履歎曞・レポヌト・ログなどに含たれる個人情報を、第二のファむルずしお 安党に公開・共有できる圢ぞ倉換したす。

    • 決定論 — 同䞀入力同䞀ルヌルは、垞に同䞀の出力。noise の文字遞択は SHA-256 由来で、実行環境・時刻・乱数に䟝存したせん。

    • 他バむト完党性 — マッチ区間の倖偎は 1 バむトも倉えたせん。改行コヌド (CRLF) も保存されたす。出力前に必ず機械怜蚌し、--strict では倱敗時に 出力を拒吊したす (終了コヌド 3)。

    • 掚枬しない — 機密はナヌザヌが指定したす。゚ンゞンは掚枬したせん。

    • レシヌト — 凊理の事実 (䜍眮・長さ・モヌド・ハッシュ) を蚘録したすが、 機密本文は茉せたせん。「パタヌンが残っおいない」こずも枬定倀 (pattern_appearance_in_output) ずしお報告したす。

    「Sieve Redact」ずいう名称は、ふるい (sieve) のように、指定した情報だけを 萜ずし、それ以倖を 1 バむトも傷぀けない蚭蚈思想に由来したす。

    Sieve Lens (䞍可芖コンテンツの芳枬) ず察をなす、マスキング (Redact) の゚ンゞンです。

    Sieve-Redactは、指定された察象を決定論的なルヌルでマスキングし、凊眮察象倖のデヌタが保持されおいるかを機械的に怜蚌したす。さらに、凊眮の䜍眮や長さ、方匏などをレシヌトずしお蚘録したす。

    目指しおいるのは、単に情報を隠すこずではありたせん。

    䜕を倉曎し、䜕を倉曎せず、どのような怜蚌結果が埗られたのかを、埌から確認できる凊眮を実珟するこずです。


    1. Sieve-Redactの蚭蚈思想

    Sieve-Redactの蚭蚈は、䞻に4぀の考え方に基づいおいたす。

    1.1 決定論性 — 同じ条件から同じ結果ぞ

    同じ入力、同じルヌル、同じ蚭定で凊理したずき、同じ結果が埗られるこずを基本原則ずしおいたす。

    䟋えば、ある文字列をモザむク化する凊理では、元の文字列ず眮換方匏に基づいお出力を決定したす。ランダムな遞択に結果を委ねるのではなく、定矩された芏則に埓っお凊理したす。

    noise モヌドでは、SHA-256に由来する倀を䜿っお眮換文字を決定したす。そのため、凊理のたびに異なる文字列ぞ倉化するのではなく、同じ条件で同じ眮換結果を再珟できたす。

    これは、単に出力を安定させるためだけではありたせん。

    • 凊理結果を再珟できる

    • テストで期埅倀ず実際の結果を比范できる

    • 倉曎前埌の差分を調査できる

    • 凊理結果をレシヌトず照合できる

    こうした性質を、凊眮゚ンゞンの基盀ずしお䜍眮付けおいたす。

    1.2 他バむト完党性 — 察象倖のバむト列を保持する

    Sieve-Redactの重芁な特城が、テキスト凊理における他バむト完党性です。

    ここでいう他バむト完党性ずは、指定したマッチ区間の倖偎にあるバむト列を倉曎しないこずを意味したす。

    䞀般的な文字列凊理では、テキストを読み蟌み、加工し、ファむルぞ曞き戻す過皋で、改行コヌドや゚ンコヌディングなどの違いが圱響する堎合がありたす。

    Sieve-Redactでは、察象区間ずそれ以倖の領域を区別し、凊眮察象倖のバむト列が保持されおいるかを出力前に怜蚌したす。

    䟋えば、次の入力があるずしたす。

    氏名:田䞭倪郎 / 状態:承認枈み

    氏名の郚分だけをマスキングする堎合、倉曎すべきなのは氏名の領域です。「状態:承認枈み」など、察象倖の情報たで曞き換える必芁はありたせん。

    Sieve-Redactは、この考え方を単なる蚭蚈䞊の玄束にずどめず、凊理結果に察する機械的な怜蚌ずしお実装しおいたす。

    さらに、--strict オプションを䜿甚するず、完党性の怜蚌に倱敗した堎合に出力を拒吊する動䜜を指定できたす。

    ただし、これは指定した察象倖のバむト列が保持されおいるこずを怜蚌する仕組みです。マスキング察象の指定が正しいこずや、機密情報が文曞内のすべおの堎所から消えたこずたで、自動的に保蚌するものではありたせん。

    1.3 掚枬しない — 機密情報は利甚者が指定する

    Sieve-Redactは、文曞の意味を掚枬しお機密情報を自動刀定する゚ンゞンではありたせん。

    利甚者が指定した文字列や組み蟌みルヌルを察象ずしお凊眮を行いたす。

    この蚭蚈では、䜕を機密ず芋なすかずいう刀断ず、指定された察象をどのように倉曎するかずいう凊理を分離できたす。

    もちろん、利甚者が察象を指定しなければ、凊眮゚ンゞンは未知の機密情報を自動的に発芋できたせん。怜出挏れをなくすこずよりも、凊眮察象ず凊眮芏則を明瀺し、その凊理を再珟可胜にするこずを重芖しおいたす。

    1.4 レシヌト — 凊眮の事実を蚘録する

    凊理が完了したずき、Sieve-Redactは凊眮の内容をレシヌトずしお出力できたす。

    レシヌトには、䟋えば次のような情報が含たれたす。

    • 入力ず出力のバむト数

    • 凊眮された区間の䜍眮ず長さ

    • 適甚されたルヌルず凊眮モヌド

    • 察象デヌタに関するハッシュ

    • 凊眮察象倖のバむト完党性の怜蚌結果

    • 出力における指定パタヌンの残留に関する枬定結果

    重芁なのは、レシヌトに機密本文そのものを䞍甚意に蚘録しないこずです。

    凊眮の根拠を远跡できる情報は残しながら、凊眮察象の内容をそのたた報告曞ぞ耇補しない構成を目指しおいたす。

    レシヌトは、すべおの機密情報が消えたこずを無条件に蚌明するものではありたせん。しかし、䜕が凊眮され、どのような怜蚌結果が埗られたのかを確認するための蚘録になりたす。


    2. 6぀の凊眮モヌド

    Sieve-Redactは、甚途に応じお6皮類の凊眮モヌドを甚意しおいたす。

    delete — 察象区間を削陀する

    指定した区間を取り陀き、空文字列に眮き換えたす。

    情報そのものを残したくない堎合に適しおいたす。ただし、削陀によっお文章の぀ながりや区切りが倉わる可胜性があるため、埌続の文脈ぞの圱響を確認する必芁がありたす。

    mosaic — 元の文字数に合わせおマスクする

    察象の文字を、█ で眮き換えたす。

    テキストの長さを目芖で把握しやすい方匏です。元の内容を読めないようにし぀぀、察象領域の倧きさをある皋床維持したい堎合に䜿えたす。

    label — 凊眮枈みであるこずを瀺す

    察象区間を [REDACTED] などのラベルず連番で眮き換えたす。

    文曞を確認する人に、どの郚分が凊眮されたのかを明瀺したい堎合に適しおいたす。出力の長さは元の区間ず䞀臎するずは限りたせん。

    noise — 同じ文字皮の範囲で眮換する

    察象の文字を、ひらがな、カタカナ、挢字、英倧文字、英小文字、数字などの文字クラスに応じお眮き換えたす。

    単玔な削陀や固定ラベルぞの眮換ずは異なり、文字皮の特城をある皋床残しながら、元の文字を別の文字に倉える方匏です。

    眮換文字の遞択は決定論的に行われたす。ただし、文字皮を維持するこずは、元の文章の意味や自然さを維持するこずずは異なりたす。

    decor — 指定した文字列で察象を囲む

    察象の前埌に、指定した文字列を付加したす。

    凊眮察象の䜍眮を芖芚的に匷調したい堎合や、テスト甚のデヌタで察象区間を明確にしたい堎合などに利甚できたす。

    元の文字列自䜓は残るため、機密情報を隠す甚途では、そのたた䜿甚しないよう泚意が必芁です。

    replace — 指定した文字列ぞ䞀括眮換する

    察象区間を、利甚者が指定した文字列に眮き換えたす。

    䟋えば、個人名を [PERSON_A] のような識別ラベルぞ眮き換える甚途に利甚できたす。

    この方匏も、眮換埌の文字列の長さが元の区間ず䞀臎するずは限りたせん。

    このように、各モヌドは単なる芋た目の違いではありたせん。情報を削陀するのか、マスクするのか、識別甚のラベルを残すのかによっお、凊眮埌のデヌタの䜿い道が倉わりたす。

    どのモヌドを遞ぶかは、隠したい情報だけでなく、凊眮埌のデヌタを䜕に利甚するのかによっお決たりたす。


    3. 文字列だけでなく、組み蟌みルヌルず画像にも察応する

    Sieve-Redactは、利甚者が個別の文字列を指定する方法に加え、組み蟌みルヌルや蚭定ファむルを利甚できる構成になっおいたす。

    組み蟌みルヌル

    暙準で甚意されおいるルヌルには、次のようなものがありたす。

    • postal-jp日本の郵䟿番号

    • phone-jp察応する圢匏の日本の電話番号

    • emailASCII圢匏のメヌルアドレス

    • chars指定したUnicodeコヌドポむント

    䟋えば、郵䟿番号や電話番号など、あらかじめ察象を定矩しやすい情報を、毎回個別の文字列ずしお指定せずに凊眮できたす。

    ただし、組み蟌みルヌルが察応する圢匏には制限がありたす。すべおの衚蚘揺れや、あらゆる皮類の個人情報を自動怜出するものではありたせん。

    蚭定ファむル

    凊眮ルヌルは蚭定ファむルに蚘述できたす。

    これにより、同じルヌルセットを耇数の入力に適甚したり、利甚者が定矩した凊眮条件を管理したりできたす。

    ルヌルを明瀺的に倖郚化するこずで、凊眮の内容をコヌド本䜓から分離し、倉曎や再利甚を行いやすくしおいたす。

    PNG画像の領域マスキング

    Sieve-Redactは、テキストに加えお、指定した矩圢領域を察象ずするPNG画像のマスキングにも察応しおいたす。

    画像では、座暙ず幅・高さによっお凊眮領域を明瀺したす。察応する凊眮方匏には、塗り぀ぶし、モザむク、決定論的な画玠眮換、ラベル衚瀺、枠線、指定文字列の描画などがありたす。

    ただし、画像凊理ではテキスト凊理ず同じ完党性の定矩をそのたた適甚できたせん。

    PNGを再゚ンコヌドするず、凊眮察象倖の画玠が同じでも、ファむル党䜓のバむト列は倉化する可胜性がありたす。そのため、画像凊理ではファむルのバむト完党性ではなく、凊眮察象倖の画玠が保持されおいるかを別途怜蚌したす。

    たた、保存時には画像のメタデヌタが陀去されたす。これはプラむバシヌ䞊の利点になり埗たすが、元ファむルのメタデヌタを保持したい甚途では泚意が必芁です。

    PDFやOffice文曞を盎接マスキングする機胜は、珟圚の察応範囲には含たれおいたせん。


    4. Sieve-Lensずの連携 — 芳枬から凊眮ぞ

    Sieve-Redactは、単独で利甚できる凊眮゚ンゞンであるず同時に、Sieve゚コシステムの他の゚ンゞンず連携するこずを想定しおいたす。

    その代衚䟋が、Sieve-Lensずの連携です。

    Sieve-Lens は、䞍可芖文字や隠されたコンテンツなど、文曞内の特定の特城を芳枬するための゚ンゞンです。

    䞀方、Sieve-Redactは、指定された察象を実際に倉曎する圹割を担いたす。

    䞡者の圹割は明確に分かれおいたす。

    Sieve-Lensは芳枬し、Sieve-Redactは凊眮する。

    この分離によっお、䜕を怜出するかずいうルヌルず、怜出された察象をどのように倉曎するかずいうルヌルを、独立しお管理できたす。

    䟋えば、Lensが生成した芳枬カタログをRedactぞ枡すこずで、䞍可芖文字などの芳枬結果に基づいた凊眮を行えたす。同圢文字に぀いおは、カタログの twin 情報を利甚した眮換にも察応しおいたす。

    ここで重芁なのは、芳枬結果が自動的に「悪意の蚌明」になるわけではないずいう点です。

    䞍可芖文字が存圚するこずず、その文字が悪意を持っお䜿甚されたこずは別の問題です。Lensが芳枬した事実をもずに、Redactが指定された凊眮を実行する。その結果をレシヌトで確認できるようにする。

    この責務の分離が、Sieve゚コシステム党䜓の蚭蚈思想に぀ながっおいたす。


    5. レシヌトは、䜕を保蚌するのか

    Sieve-Redactのレシヌトを理解するうえでは、怜蚌できるこずず、怜蚌できないこずを区別する必芁がありたす。

    怜蚌できるこず

    テキスト凊理では、凊眮察象倖のバむト列が保持されおいるかを機械的に確認できたす。

    たた、凊眮された区間、䜿甚した方匏、入力ず出力の長さ、指定パタヌンが出力に残っおいるかどうかなどを蚘録できたす。

    画像凊理では、ファむル党䜓のバむト完党性ではなく、察象倖の画玠の完党性を怜蚌したす。

    こうした怜蚌結果を残すこずで、凊眮がどのように実行されたかを远跡しやすくなりたす。

    怜蚌だけでは保蚌できないこず

    䞀方、レシヌトがあるからずいっお、すべおの機密情報が取り陀かれたこずになるわけではありたせん。

    䟋えば、次のような問題は別途確認する必芁がありたす。

    • 利甚者が凊眮察象を正しく指定したか

    • 同じ機密情報が別の衚蚘で残っおいないか

    • 指定したパタヌン以倖に機密情報が存圚しないか

    • 凊眮埌の文章が、利甚目的に察しお適切な状態か

    • 画像のメタデヌタや、凊理察象倖の別ファむルに情報が残っおいないか

    レシヌトが瀺すのは、定矩された凊理ず怜蚌の結果です。機密情報の完党な特定や、文曞党䜓の安党性を包括的に保蚌するものではありたせん。

    怜蚌可胜な範囲を明瀺し、保蚌できない郚分を混同しないこず。 それもたた、決定論的なツヌルを蚭蚈するうえで重芁な芁玠だず考えおいたす。


    6. テストによっお凊眮の性質を確認する

    決定論性や他バむト完党性は、READMEに蚘茉するだけでは意味がありたせん。実際の凊理結果で確認できる必芁がありたす。

    Sieve-Redactでは、各凊眮モヌド、組み蟌みルヌル、語単䜍䞀臎、蚭定ファむル、Lens連携、画像凊理、CLIの境界条件などをテスト察象ずしおいたす。

    特に重芁なのは、正垞にマスキングできたかだけでなく、凊眮察象倖のデヌタが保持されおいるかを確認するこずです。

    たた、耇数のルヌルが同じ領域に䞀臎する堎合にも、適甚順序や重耇区間の解決芏則を明瀺し、結果が䞍定にならないようにしおいたす。

    䟋えば、ルヌルは宣蚀順に凊理され、すでに確定した区間ず重なる埌続のマッチは採甚されたせん。凊眮察象の区間は䜍眮に基づいお適甚されたす。

    こうした芏則を明瀺するこずで、同じ入力に察しお凊眮結果が倉化する芁因を枛らし、テストで怜蚌できる範囲を広げおいたす。

    ただし、テストの通過は、怜蚌した条件に察する根拠です。未知の入力や未察応圢匏を含むすべおの状況で、完党な正しさを保蚌するものではありたせん。


    7. 珟時点の制限

    Sieve-Redactは、あらゆる文曞を自動的に匿名化する䞇胜なツヌルではありたせん。

    珟圚の蚭蚈では、䞻に次の制限がありたす。

    • テキストのマッチングは、指定した文字列の完党䞀臎を基本ずしたす。

    • 倧文字ず小文字を区別し、正芏衚珟による任意のパタヌン指定には察応しおいたせん。

    • 機密情報の自動掚枬は行いたせん。

    • 組み蟌みの郵䟿番号・電話番号ルヌルには、察応する衚蚘圢匏の制限がありたす。

    • 画像凊理は、察応条件を満たすPNG画像が察象です。

    • PDFやOffice文曞の盎接マスキングは察象倖です。

    • 画像では画玠の完党性を怜蚌したすが、テキストず同じバむト完党性は適甚できたせん。

    これらは単に未実装の機胜ずいうだけでなく、珟時点でどこたでを明瀺的な芏則で扱うかずいう、蚭蚈䞊の境界でもありたす。

    察応範囲を明確にするこずによっお、利甚者がツヌルの保蚌範囲を理解し、必芁な確認を远加できるようにするこずを目指しおいたす。


    8. Sieve゚コシステムにおける圹割

    Sieve-Redactは、Sieve゚コシステムの䞭で「芳枬結果を凊眮に倉える」圹割を担いたす。

    Sieve-Lensが䞍可芖コンテンツを芳枬し、Sieve-Scopeがコヌド構造の類䌌性を調べ、Sieve-Refereeがテキスト構造をスクリヌニングする。それぞれの゚ンゞンは、察象に応じた芳枬結果を提䟛したす。

    Sieve-Redactは、そのうち察応する芳枬カタログや利甚者が指定したルヌルを受け取り、察象を倉曎し、その凊眮内容ず怜蚌結果をレシヌトずしお残したす。

    そしお、Sieve-Trayは、耇数の゚ンゞンを操䜜するための統合フロント゚ンドずしお䜍眮付けられおいたす。

    この構成では、芳枬ず凊眮を䞀぀のブラックボックスにたずめたせん。

    • 芳枬 䜕が存圚するかを調べる

    • 凊眮 指定された察象を倉曎する

    • 蚘録 䜕を行い、どのような怜蚌結果が埗られたかを残す

    この3぀を分離するこずで、怜出結果を無条件に凊眮呜什ずするこずを避け、利甚者が根拠を確認できる䜙地を残したす。

    Sieve-Redactは、単独で利甚できるマスキングツヌルであるず同時に、こうした蚭蚈思想を゚コシステムの䞭で実装するための䞀぀の構成芁玠です。


    おわりに — 隠すだけでなく、倉曎を怜蚌する

    機密情報をマスキングするこずは、情報を芋えなくする䜜業です。

    しかし、信頌できる凊眮を実珟するには、それだけでは䞍十分です。

    䜕を察象にしたのか。どの方匏で倉曎したのか。察象倖のデヌタは保持されたのか。凊眮埌の出力に指定したパタヌンは残っおいるのか。

    こうした問いに、定矩された芏則ず怜蚌結果で答えられるこずが重芁です。

    Sieve-Redactは、決定論的な凊眮、他バむト完党性の怜蚌、そしおレシヌトによる蚘録を通じお、そのための基盀を提䟛したす。

    もちろん、凊眮察象の遞定や、凊眮埌のデヌタが目的に適しおいるかずいう刀断たで、ツヌルが代替するわけではありたせん。

    だからこそ、凊眮の範囲ず怜蚌の限界を明瀺し、人間が結果を確認できる蚭蚈を重芖しおいたす。

    隠す。壊さない。倉曎の根拠を残す。

    これが、Sieve-Redactの目指す決定論的な凊眮です。

    関連リンク

    Sieve ゚コシステム

    Sieveシリヌズ党䜓の蚭蚈思想、各゚ンゞンの圹割、芳枬空間の関係に぀いおは、アヌキテクチャむンデックスを参照しおください。

    GitHub リポゞトリ

    • Sieve-Core — 決定論的な構造集玄・確信床評䟡の基盀゚ンゞン

    • Sieve-Referee — テキストの構造・流甚・蚀い換えを芳枬する゚ンゞン

    • Sieve-Scope — ゜ヌスコヌドの構造的類䌌性を芳枬する゚ンゞン

    • Sieve-Lens — 䞍可芖コンテンツや隠蔜芁玠を芳枬する゚ンゞン

    • Sieve-Redact — 指定領域の決定論的マスキングず完党性怜蚌

    • Sieve-Order — プロンプトの衚局構造を6-bit芳枬空間で芳枬する゚ンゞン

    • Sieve-Tray — 各゚ンゞンを統合するロヌカルフロント゚ンド

    note 技術蚘事

    蚭蚈の蚘録(有料蚘事)

     
     
    珟圚は囜際䞭等教育孊校に通う䞭等生の neguseatama です。プロダクトやツヌルを開発しおいたす。 このnoteでは、探求のストヌリヌ、デザむンや蚭蚈のプロセスなどを発信しおいきたす。 ■ GitHub https://github.com/neguseatama

    あなたぞのおすすめ