メインコンテンツへスキップ
見出し画像

G検定受験note(10/21)【人工知能分野で議論される問題⑪知識獲得のボトルネック⑫ルールベース機械翻訳⑬統計的機械翻訳】

    G検定の受験のためにつけた、文字通りのノートです。
    Hermes Agent(Grok 4.7)に噛み砕いて解説してもらっています!(^^)v
    AIは間違うので、活用は自己責任でお願いします!(^^;


    知識獲得のボトルネック

    芯

    専門家の頭の中を、ルールとして機械に入れる作業が、追いつかない。知識が足りないのではなく、取り出す方が遅い。

    日常の言い方で

    ベテランの調理人は、火加減を見て塩を足す。聞かれても、「いい感じになったら」としか言えないことがある。その「いい感じ」を、もしも全部、条件と動作のカードに書け、と言ったら、カードは終わらない。例外も、季節も、材料のばらつきもある。書いているあいだに、店のやり方も変わる。

    第2次AIブームのエキスパートシステムは、このカードを人手で作った。専門家に聞いて、ナレッジエンジニアが if-then のルールにする。医療や故障診断のように、領域を限れば、しばらく動いた。でも、専門家は自分の判断を全部は言葉にできない。ルールが増えると、矛盾や抜けも増える。新しい知識を足すたびに、また聞き取りが要る。この詰まりを、知識獲得のボトルネックと呼ぶ。

    さっきの話と、どこが違うか

    トイ・プロブレムは、世界の方を小さく閉じて、解けたように見せた話だった。こちらは、世界を閉じても、中の知識をルールに落とす作業が終わらない、という話だよ。迷路の壁は最初から書いてある。専門家の勘は、書いていない。

    フレーム問題とも混ぜない。あっちは、関係ないことを、どこで考えるのをやめるかだ。こちらは、関係ある知識ですら、人から取り出してルールにするのが遅い。

    計算が遅い、でもない。機械の速度ではなく、知識を入れる人手の方だ。

    Exam Points

    - 知識獲得のボトルネックは、専門家の知識をルールとしてコンピュータに入れるのが難しい、という問題。
    - 第2次AIブーム、エキスパートシステムの限界として出る。
    - 専門家は判断できても、その理由を全部は説明できない。暗黙の知識がある。
    - 聞く側は、ナレッジエンジニア。if-then に落とす。
    - トイ・プロブレム、フレーム問題、計算機の速度不足と、同じ答えにしない。

    補足

    この壁のあと、人手でルールを書くのをやめて、データから学ぶ方へ寄っていく。機械翻訳では、その対比が次に出る。試験の芯は、今夜は「取り出す方が遅い」で足りる。

    芯は一つで足りる。知っている人はいる。カードに書き切れない。


    ルールベース機械翻訳

    芯

    人が、文法と辞書のルールを書いて、その規則どおりに訳す方式だ。データから訳し方を学ぶ方式ではない。

    日常の言い方で

    旅行の会話集は、「この英語が出たら、この日本語」とカードが並んでいる。I am a student は、カードどおりに訳せる。主語、動詞、補語、と分解して、対応する日本語を組み立てる。機械も、同じことをした。原文を解析して、中間の形に変換して、訳文を生成する。この三段が、ルールベースの典型だよ。

    カードに無い言い回しは、そこで止まる。慣用句、省略、その場の文脈は、誰かがルールとして先に書いていないと出ない。書く人は、言語の専門家と、さっきのナレッジエンジニアだ。言語のペアごとに、文法と辞書を足していく。英語と日本語で書いたルールは、フランス語にはそのまま使えない。

    だから、知識獲得のボトルネックが、ここにそのまま出る。訳せないのは、計算機が遅いからではない。例外と文脈を、人手のカードに書き切れないからだよ。

    さっきの話と、どこが違うか

    知識獲得のボトルネックは、取り出す方が遅い、という問題そのものだった。ルールベース機械翻訳は、その問題が翻訳で起きた方式だ。問題と、方式を、同じ答えにしない。

    トイ・プロブレムとも違う。あっちは、世界を小さく閉じて成功した話だ。翻訳のルールは、閉じた迷路ではない。言葉の例外が、外からいくらでも来る。

    Exam Points

    - ルールベース機械翻訳は、人手で書いた文法と辞書の規則で訳す。
    - 典型の流れは、解析、変換、生成。
    - 専門家がルールを書く。言語のペアごとに必要になる。
    - 限界は、知識獲得のボトルネック。例外、慣用句、文脈を書き切れない。
    - データから訳し方を学ぶ方式ではない。統計的機械翻訳や、ニューラル機械翻訳と混ぜない。

    補足

    cats and dogs のような慣用句は、カードに無ければ直訳になる、という例だ。芯は、規則が書いてある範囲しか安定しない、のままでいい。

    芯は一つで足りる。人が規則を書く。書いていない訳は、出ない。


    統計的機械翻訳

    芯

    大量の対訳から、どの訳がよく出るかを数えて訳す。人が文法のルールを書かない。

    日常の言い方で

    旅行の会話集を、人が一枚ずつ書くのではない。すでに訳された文のペアを、山のように集める。これを対訳コーパスと呼ぶ。機械は、「こちらの言葉がこう出たとき、あちらの訳はこうなりやすい」を数える。過去の訳の山から、出やすさを借りてくる。

    ルールベースへの返しだ。あっちは、文法と辞書のカードを人が書いた。知識獲得のボトルネックは、そのカードが書き切れない、だった。統計的機械翻訳は、カードを書かずに、すでにある訳から学ぶ。だから、対訳が無い言語のペアでは弱い。一つの誤りだけを、辞書の一行を直すように直せない。日本語と英語のように、語順も言葉も遠い組は、近い言語の組より難しい。

    ニューラル機械翻訳は、その後に主流になった別方式だ。今の翻訳アプリを、統計的機械翻訳と呼んではいけない。節2のキーワードとしては、これで最後だよ。同じ言葉は、自然言語処理の節にもう一度出ることがある。今夜の芯は、節2の対比だ。

    Exam Points

    - 統計的機械翻訳は、大量の対訳データから、訳の出やすさを統計で学ぶ。
    - 人手の文法ルールが本体ではない。
    - ルールベースのあとに来た。知識獲得のボトルネックを、ルールを書かないことで避けた。
    - 対訳が足りない言語ペアは弱い。一つの誤りだけ直しにくい。
    - ニューラル機械翻訳とは別。ニューラルは、その後に主流になった。

    補足

    盛んだった時期は、1990年代から2000年代、と書かれることが多い。ニューラルが前に出たのは2010年代、という言い方もある。年は試験の芯にしない。

    芯は一つで足りる。対訳の山を数える。カードは、書かない。


    あなたへのおすすめ