
Sieve シリーズの数理モデル — 導出法と安定性
安定式は壊れ方から導く — 類似度と確信度の設計記録
はじめに — 0.75 という数字から
Sieve シリーズの数理モデルを語るとき、式そのものの前に、ある数字の話から始めたい。
次の 2 つの Python コードを、文字単位の差分で比較すると、類似度はおよそ 0.75 になる。
def add(a, b): return a + b
def multiply(a, b): return a * b加算と乗算 — アルゴリズムとしては異なる処理だ。しかし def、括弧、return といった定型部分を大量に共有するため、文字差分の比率は 0.75 まで上がる。当時の既定の閾値(0.65)では、この 2 つは「同一の事実」として誤って統合される。
この実測が教えたのは、類似度関数の選び方を間違えると、式は丁寧に計算された誤りを生む、ということだ。式の導出は、数式の美しさから始めるものではない。壊れ方を実測し、その壊れ方を構造的に起こさない形を導く作業だ。
この記事では、Sieve シリーズの主要な数理モデル — 類似度関数、確信度スコア、クラスタ統合、候補抽出、決定論的な文字選択 — を取り上げ、それぞれがどんな問題から導かれ、なぜその形が「安定」なのかを整理する。
この先の有料部分は、Sieve シリーズの数理モデル — 類似度関数、確信度スコア、クラスタ統合、候補抽出、決定論的な文字選択 — について、「なぜその式なのか」を導出過程ごと解説する完全版です。
式が導かれる前の壊れ方から、制約の言語化、式の選択、そして検証までを、数値例の追走を含めて扱います。
読み終わるころには、各式を紙とペンで再現できるまでになっているはずです。
対象読者
決定論的なスコアリング設計に興味がある方・ブラックボックス判定に代替を用意したい方・テスト期待値の設計に興味がある方。前提知識は高校数学(指数関数・集合の基礎)のみ。コードは出てくるが読めなくても数式の追走は可能にしてあります。