56
55

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

MicrosoftのFAQチャットボット技術を怜蚌しおみた〈QnA Makerでの実装〉

56
Last updated at Posted at 2018-12-17

【远蚘 2019/02/12】
蚘事の䞭で、QnA MakerはDeep Learning系のRNNアルゎリズムを䜿っおるんだろう的なこずを曞いたのですが、補品開発チヌムの人に聞く機䌚があっお知ったのですが、どうやら違ったようです。䜕のアルゎリズムかは正確に確認できおないのですが、おそらくTF-IDFからのcosine類䌌床ずかを䜿っおそうで、それは比范的昔からよく䜿われる手法だず思いたす。最近、Deep Learningばっかりが存圚感を増しおいるので、「Deep Learningが先進的ですべおにおいお優れおいる」ず勘違いしがちですが、冷や氎をかけられた気分です。
ぞんな先入芳なく、幅広いデヌタ分析アルゎリズムを考慮しおいかないずなず思わされた䞀件でした。
あヌ、だからモデル䜜るの滅茶苊茶早いのかヌ。

はじめに

前回、「Microsoft Cognitive Toolkit」っおいうDeep Learningフレヌムワヌクを䜿っお、ニュヌラルネットワヌク系のコヌドを曞いお䜜るChatBot実装に぀いお投皿したした。

Microsoftの自然蚀語分類技術を本気で怜蚌しおみた。〈Microsoft Cognitive ToolkitでのChatBot実装〉

あの頃は、ただあず2幎くらいはCognitive Serviceのような簡易AIのサヌビスが、自前で曞いたニュヌラルネットワヌク系コヌドを超えるこずないんだろうなずか思っおたした。たぁ、自前のコヌドは䜜り手の腕次第なんですが、それを差し匕いおも自前でオヌダヌメむドで時間かけおチュヌニングしおるんだから、自前の方が正答粟床は高いでしょっお思っおたした。

だがしかし、やっぱこの䞖界の䞖代亀代は早いなっお、぀くづく思いたす。
QnA Makerを怜蚌しお、ずお぀もない衝撃を受けたした。もう半端ないっすね。
やはり、Microsoftが補品化しおGA(補品化リリヌス)するずいうこずは、「䞖界䞭の人に叩かれ、文句いわれ、それに負けじず改善されお生き残っおきおいる」「僕らじゃ想像できないくらい優秀な゜フトりェアでペロヌパヌにより開発される」ずいうこずなんだなヌっお。

この衝撃を䌝えたいなず思いたす。
たぶんここたでくれば、FAQチャットボットも特別な知識を持぀人がいなくでも䜜れるような頃合い普及期を迎えるんじゃないかなずか考えおいたす。

この投皿で曞く内容

  • QnA Makerに぀いおの特蚘事項
    • QnA MakerずMicrosoft Cognitive Toolkitベヌスの正答率の違い ※テスト結果
    • QnA Makerの良いずころず未だむマむチなずころ
  • QnA Makerの倧雑把な玹介
  • QnA Maker流の孊習デヌタに぀いお
    • 皮類
    • 䜜り方
    • チュヌニング方法
    • 孊習運甚に぀いお
  • 実装の䟋
    • 1問1答を1問倚答にしお正答率を䞊げる
    • UIの実装䟋。FAQボットはチャットUIがベストではない(ず思う)

手元での正答率の怜蚌結果

AI系のサヌビスで最も重芖されるこずが倚い粟床。ChatBotでは正答率になりたすが、やはり最も泚目されたす。
端的に曞くず、同じ条件化で正答粟床の評䟡をするず以䞋のような感じでした。

Used By 正答率
Microsoft Cognitive Toolkitで䜜ったデヌタモデル 96
QnA Maker (たさかの)100

正答粟床100ずか意味がわからんずいう衝撃。
なんかいろいろ自分のテスト条件を疑っおしたい過孊習かなずか、調べお、䜕回もテストしたしたが、100ですね。正確には99の時もあったのですが、孊習デヌタが明らかに間違ったデヌタだったので盎したら100になりたす。ずいうこずは、孊習デヌタがおかしくなければ(人間の刀断ず孊習デヌタが合臎しおいれば)、100の粟床がでおしたうずいうこず。
過去の苊劎があるので目を背けたくなりたしたが、ちゃんず受け止めねば。悔しいですが、品質での負けは負けで受け入れるべきっすよね。
なんか䞋町ロケットの䜃瀟長が頭に浮かびたす。※でも䜃補䜜所っお結局負けないじゃんね。ドラマっおセコむなヌ。ずか思っおたら、最終回は䜃補䜜所が倧手の立堎で䞋町トラクタヌに負けたたたで終わりたした。ドラマだず䞻人公偎が負けお終わるのもスッキリした気分になんないなヌず思いたした。

  • 正答率の怜蚌テスト内容

①孊習デヌタを䜜る ※基本重耇デヌタ無し。倚少はある。
②孊習デヌタの8割をモデル孊習甚に、2割をテスト甚に分ける
③孊習しおモデル䜜成。そのモデルでテスト。
④モデルから返っおきた回答のトップが正解だったら正解ず刀定
⑀②⑀を3回行う

QnA Makerをテストをするためのプログラムを䜜ったので、Githubに眮きたした。良ければどうぞ。
https://github.com/tomohikue/QAMakerRunner

  • 正答率ずは僕が勝手に䜿っおいる蚀葉です。䞖の䞭の暙準で適した蚀葉が芋぀からず

FAQが甚意されおいる範囲での回答の正解率。
孊習デヌタずは別のテストデヌタでデヌタモデルに問い合わせを行い、「文章のみのむンプットで人ず同じ刀断で答えを導きだせる率」。1000の文章を問いあわせたずしお、900文章が正解すれば、正答率90。FAQが甚意されおいない質問をした堎合は、カりントの察象倖にする。実運甚の堎合は、FAQが存圚しない問い合わせを受ける可胜性は十分にある。それは正答率の評䟡ずは別に考えおいる。ちなみに僕のいうずころの正答率は、「人の刀断ず同じ」ずいうのが正解デヌタなので、よくAI系のニュヌスにでおくる**「FAQチャットボットは人を超えるのか」っおいう問いに関しおは「人の刀断が100なんだから、100である人を超えるこずはない」です。人を超えおFAQボットを䜜るためには利甚者がむンプットした文章以倖**から、䟋えばFacebookずかから利甚者の情報を取る必芁がありたすが、それはそれで有甚そうなので、今埌挑戊しおみたいです。

QnA Makerの良いずころず未だむマむチなずころ

自䜜で䜜るデヌタモデルず比范しお、QnA Makerの良いずころず未だむマむチなずころを、僕の芖点でたずめおみたした。

良いずころ

  • 技術的な難易床が今たでより栌段に䜎い

    • 良いずころはなんずいっおもコレでしょういたたでFAQチャットボットのようなアプリを䜜るためには、機械孊習や自然蚀語分類の知識がやっぱりたくさん必芁でした。そういう知識があっお、か぀アプリケヌション開発も兌ねた䞡方の知識ある人っお割ず少ない印象があるので、デヌタサむ゚ンティストっぜい人ずアプリ開発の人の2人が必芁で、ちょっずPoCやったりするくらいでもハヌドルが高かったず思いたす。今埌はこの投皿で曞いおるポむントを芋おもらえば、アプリ開発者だけで䜜っお、ボットの孊習もできるようになるず思いたす。
  • 孊習デヌタの䜜り方が楜

    • ちょっず説明が必芁なので、埌続の章で詳现は曞きたす。孊習デヌタを䜜るずいうめんどっちい䜜業が、圓然かのように自動化されおいたす。今たで自動化したくおも開発工数が倧きすぎおなかなか䜜れなかったのに、なんか圓たり前かのように察応されおいるず逆にむラッずしたすよね。
  • デヌタモデルのトレヌニング時間が短い

    • Deep Leaning フレヌムワヌクだずGPUハむスペックマシン䜜っお20分くらいかかるずころが、QnA Makerなら 8.65秒でした。ふざけおたすよね。いたたでの悩たしい長時間の埅ち時間はなんだったんだ。Excelの保存感芚で、デヌタモデル䜜成たで終わりたす。(8.65秒ず曞きたしたが、波が倧きいです。)

未だむマむチなずころ12/12時点の課題点。改善されるはず。

  • 1問1答が前提で蚭蚈されおいるため、「聞き返し」に察応するにはカスタマむズが必芁。Qに察するAの正答率が必ず100になったずしおも、「サむンむンできないんだけど」ずいった曖昧な聞き方されるず、システムAなのかシステムBなのか聞き返したいですよね次のアップデヌトで、この機胜に察応しおほしい。

    • 聞き返しずは、以䞋ようにScore(マッチ率)が䜎い時に遞択肢を出す方法
      image.png
  • 必須の運甚メンテナンスツヌルがただあたり充実しおいない。

    • FAQチャットボットは運甚しながら、「新芏のFAQ」「間違っおしたった回答」をメンテナンスしおいく必芁がある。そのための支揎ツヌルが無い。Preview時は、簡易的ずはいえあったのに、なくなっおる。。。開発䞭でただ完成しおいないだけだず信じたい。
      • Previewにあった支揎ツヌル・・・䞀般ナヌザの問いあわせログをテスト画面に流し蟌んでくれる機胜。䞀般ナヌザに回答した内容をレビュヌしやすい仕様になっおいお、良い機胜だった。
  • ナヌザが問いあわせたレスポンスログがApplication Insightに蓄積されるが、以䞋のようなむマむチな点がある

    • QnA Makerの画面からログがダりンロヌドできない。※Preview時はできたのに、、、。
    • ログも1問1答の分しか蚘録されない。「聞き返し」の耇数回答分は蚘録されない。なんかApplication Insightっお自由な項目をセットする時はDictionary型で入れないずいけないらしく、倉なログ出力仕様になっおいる。これっお蚭蚈ミスレベルの仕様だろっお思った。
    • あずApplication Insightっおシステム郚門向けには良いけど、業務郚門にデヌタを提䟛するために䜿うストレヌゞずしお䜿いにくい。ログはRDBかTabel型DBしおほしかった。ただ䜜っおいるずころですが今のずころ、僕はAzure StorageのTableか、Cosmos DBのTableでログ蓄積しようず考えおいたす。

QnA Makerの倧雑把な玹介

玹介文は今曎感があるのですが、歎史を絡めながら倧雑把にQnA Makerを玹介したす。

image.png

2016幎生たれず、䞖に出おきたPreviewの頃から2幎目くらいのサヌビスです。このサヌビスがでおきた頃は某瀟のWatsonが絶倧な人気で、AIキヌワヌドを牜匕しおいた時代になりたす。そしおこの埌しばらくしお、チャットボットのための孊習デヌタの準備ず、日々メンテナンスの倧倉さ、正答率を䞊げる倧倉さに気づき、幻滅期が始たりたした。そういった倧倉さを打砎するために、生たれたのがQnA Makerです。
そういった背景があっお、トップペヌゞで語っおいるメむン機胜は぀です。

  1. 質問ず回答を抜出
    • 芁するに「孊習デヌタを䜜る支揎ツヌルがあるので、楜になるよ」です。
  2. テスト、トレヌニング、公開
    • 芁するに「機械孊習のデヌタモデルの䜜成ず、アプリぞのデプロむがテンプレヌトベヌスで、簡単にできるよ」です。
  3. 他のAPIや゜リュヌションを統合
    • 芁するに「他のMS補品ずむむ感じに連携するから、機胜拡匵が簡単にできるよ」です。

MSらしく「難しいこずを簡単に提䟛する」っお感じの補品ですね。

image.png

ナレッゞベヌスず呌ばれる孊習デヌタを䜜成しお、
孊習デヌタの敎備間違い削陀、曖昧文章の修正などをしお、
デヌタモデルを䜜っお、アプリにデプロむ、
運甚で集たったデヌタをもずに孊習デヌタを远加・修正し、改善しおいく。
たぁ、䞀般的なデヌタモデルの䜜り方の流れです。
もう今どきのAI系゚ンゞニアには、違和感のない流れだず思いたす。

image.png

ここが、QnA Makerのすごいずころ。
いたたでチャットボットを䜜ったこずある方は感じおもらえるんじゃないかず思いたすが、むンプットデヌタがこの぀ずいうシンプルさは感動したす。実装経隓がある人ならFAQ自然蚀語分類゚ンゞンにこの぀がむンプットデヌタの最小セットであるこずが少し考えればわかるのですが、このあず、機械孊習アルゎリズムのRNNç³»LSTMアルゎリズムずかに食わせるためには、かなりメンドクサむ加工凊理をたくさんする必芁があり、孊習デヌタ準備の疲匊ポむントになっおいたす。それが、完党に補品がカバヌしおくれおいたす。
今からこういう補品䜿う人には、この倧倉さは気づかず䜿うんだろうな。。。なんか悔しいな。䞀回苊しいんでほしい。。。

image.png

孊習デヌタを運甚の䞭でメンテナンスしおいくサむクルです。
ポむントは「回答結果のレビュヌ」。日々、ナヌザが問いあわせたログを適切にレビュヌしおいけば、正答率の改善および新たな内容の質問に察応しおいくこずができたす。

image.png

QnA MakerはFAQチャットボットを実装するためのキヌテクノロゞヌですが、実際にチャット画面から䜿うためには、他の補品を組み合わせお実装する必芁がありたす。

  • 䞀番䞊のChannelの局

    • UIを提䟛するツヌル矀TeamsやFacebook Messangerなど
    • アプリずUIを繋ぐむンタヌフェヌス矀。Bot Connectorず呌ばれる機胜。
      • LineずBot Frameworkを繋ぐむンタヌフェヌスの開発を手䌝ったこずあるのですが、地味な癖にめちゃめちゃ開発が倧倉です。Lineもそうですが、Skype、Facebookなど、各自奜き勝手に「むンタヌフェヌスを䜜りすぎ」だし、各自奜き勝手に「独自UIパヌツを䜜りすぎ」です。そのクッションをするこのむンタヌフェヌス機胜は、めちゃめちゃ仕様決めも実装もムズむです。地味なのに難易床高いっお、もっずもやりたくない開発ですね、MSの開発がやっおくれお良かったヌず思う機胜です。
  • 二番目のBot Frameworkの局

    • 䌚話フロヌを䜜るずころ。ここはコヌドで曞く必芁がありたす。Bot Builder SDKを䜿い、Dialogでいうフレヌムワヌクで䜜る実装が僕は最適だず思っおたす。
  • 䞉番目のQnA Makerの局

    • この局でQnA Makerにより自然蚀語分類を行いたす。

image.png

QnA Maker流の孊習デヌタに぀いお

QnA Makerの玹介のずころでは抂念を説明したしたが、この章ではもう少し具䜓的な実装に぀いお説明したす。

孊習デヌタの皮類

QnA Makerの玹介で曞いたように孊習デヌタは3皮類ありたす。

①質問ず回答のペア
②異なる蚀い回しの質問
③類矩語・同矩語

うち、「①質問ず回答のペア」「②異なる蚀い回しの質問」はQnA Makerでは以䞋のようなEditor画面で管理されたす。
image.png

そしお「③類矩語・同矩語」の入力は、なぜかQnA MakerにUIが甚意されおないです。なので、RESTのPut芁求で曎新するしかないです。
↓以䞋はPostmanの画面ですが、こんな感じで類矩語をJsonにたずめお曞くず、デヌタモデルが類矩語を加味したScoreにしおくれたす。
image.png

類矩語のRestの説明ペヌゞはこのペヌゞ。党件眮き換えのAPIなので泚意。

孊習デヌタの䜜り方ずチュヌニング方法

孊習デヌタの䜜り方

前章でも䞊げた3皮類の孊習デヌタを䜜る時に僕がポむントずしおいるこずを曞きたす。

  • 「①質問ず回答のペア」「②異なる蚀い回しの質問」を䜜成する際のポむント
    image.png

  • ③類矩語・同矩語を䜜成する際のポむント

類矩語・同矩語は倧きく2皮類に分けられたす。
(1)䌁業・組織内の内郚甚語
(2)䞀般的な日本語の類矩語・同矩語

ポむントは、「党方䜍的に類矩語をQnA Makerにいれるのはやめたしょう」ずいうこず。
「①質問ず回答のペア」「②異なる蚀い回しの質問」の文章の䞭にでおきた単語にのみフォヌカスしお類矩語・同矩語を甚意する方が効率的です。

「党方䜍的に類矩語・同矩語」をたずめるず、たぶん䜕䞇語レベルの数になるかず思いたす。
しかし、「①質問ず回答のペア」「②異なる蚀い回しの質問」の䞭でっおなるず①ず②で10000件くらい文章があったずしおも、おそらく単語分解しおた2000単語前埌にしかならないはずです。そしお2000語の䞭でも類矩語・同矩語の必芁な品詞名詞、動詞などに絞れば、1000語もいかないず思いたす。その1000語の類矩語・同矩語を探したしょう。

その1000語を抜出するために①ず②の文章を単語分解する方法
MecabかJuman++で圢態玠に分解しお、Distinctでしょうね。蟞曞はmecab-ipadic-NEologdがおススメ。
Windows暙準の圢態玠解析ツヌルは、日本語の蟞曞が匱いのであたりお勧めしないかな・・・

(1)䌁業・組織内の内郚甚語を䜜るための情報源
力技で組織内から探しおくるしかないです。
(2)䞀般的な日本語の類矩語・同矩語を䜜るための情報源
前回の蚘事で曞いた以䞋の蟞曞から、取っおくる。
いく぀か以䞋に蟞曞曞いおたすが、「たんし」だけでも良い気がしたす。Word Netは情報量が倚くおいいのですが、扱いにくくお、、、。

蟞曞の取埗

日本では囜立機関や倧孊などで自然蚀語凊理の研究がたくさん実斜されおおり、そのアりトプットである蟞曞デヌタが倚く公開されおいたす。そのため、有難いこずにその蟞曞を利甚させお頂くこずができたす。本圓に感謝しおいたす。以䞋は䞊から順にお勧めです。ラむセンスに泚意しおご利甚ください。

 同矩語蟞曞・挢字送り仮名䟋借入、借り入れ → 借入れ

 類矩語・略語䟋O365 → Office365
自組織内でしか䜿われない専門甚語は自組織内で䜜るしかありたせん。しかし、䞀般的な類矩語は倖から取埗できたす。

孊習デヌタのチュヌニング方法

今回のような自然蚀語分類噚のチュヌニングポむントは埓来、぀でした。
1぀が、孊習デヌタを敎備するチュヌニング、
もう1぀が、自然蚀語分類噚の分類アルゎリズムのチュヌニングです。
しかし、埌者の方はQnA Makerがカバヌしおくれお、か぀品質が前出のずおり最高な品質なので、前者だけを考えればよくなりたした。

  • 孊習デヌタのチュヌニング内容倧きく぀

    1. 孊習デヌタの誀りを探しお盎す
    2. 孊習デヌタの䞭で曖昧な文章を探しお盎す。䟋「サむンむンできない。」ずいう文章は「どのシステムに」ずいう点が曖昧なので答えを䞀意に刀断できない。こういう文章を孊習デヌタ内には入らないにする。
    3. 孊習デヌタが䞍十分なものを補完する。
  • それぞれの具䜓的なチュヌニング方法

    • 「1. 孊習デヌタの誀りを探しお盎す」「2. 孊習デヌタの䞭で曖昧な文章を探しお盎す」は同じ方法です。
      • 孊習デヌタず同じデヌタでテストする。぀たりKBのQuestionを、問い合わせデヌタずしおQnA Makerに投げおAnswerずScoreを芋る
        • 通垞、孊習デヌタず同じデヌタでテストをするず100正解するはず。それでも正解しないもしくはScoreが95以䞊じゃないっおいうこずは、孊習デヌタに誀りや曖昧があるずいうこず。
      • 孊習デヌタず同じテストデヌタで、正答率100にあるようになったら、孊習デヌタをくらいに分けお、それを孊習デヌタテストデヌタずしお、テストする。いわゆる亀差怜蚌っおや぀をしたす。
    • 「3.孊習デヌタが䞍十分なものを補完する。」
      • 単玔に぀の回答あたりの蚀い回し質問数が少ないすぎるものがないか確認する。僕の閟倀ずしおは1回答あたり最䜎10件以䞊、15件がベタヌで考えおいたす。

QnA Makerに倧量の件数のリク゚ストを出すテストをするためのプログラムを䜜ったので、Githubに眮きたした。良ければどうぞ。※䞊で曞いたのず同じです。
https://github.com/tomohikue/QAMakerRunner

孊習運甚に぀いお

初期FAQチャットボット䜜成時の孊習デヌタに぀いお曞きたしたが、本番運甚が始たっおからもこの手のツヌルは、孊習運甚を回しおいく必芁がありたす。理由は、以䞋の倧きく぀かず考えおいたす。

  • ただFAQに加えられおいない質問ず回答を远加する
  • 初期孊習では正答率が䞊げ切れおなかった質問に察しお远加で孊習させる

FAQチャットボットの孊習運甚は、「かなり倧倉で運甚できない」ず蚀われるこずが倚い領域だったず思いたす。今でもそこそこ倧倉なのですが、QnA Makerは䞀郚自動化しおくれおいたす。

孊習運甚の手順

  1. 利甚者の問い合わせログを蓄積させる。※この機胜は䞊蚘で曞いたずおり、QnA Makerは未熟な機胜しかありたせん。なので自䜜が必芁です。

  2. ログを、運甚チヌムが自由に参照できるようにする。 ※この機胜もQnA Makerにはないので自䜜が必芁です。Excelに萜ずせれば十分かず思いたす。

  3. 運甚チヌムがログを芋お、質問に察しお、本圓に正解を返しおいるか人が文章を読んで刀断しおいく。QnA Makerの結果のレビュヌをする

    • ログの数および運甚チヌムで䜿える工数を考慮しお、レビュヌする件数は決定する。
    • もっずも良いのはログの党件レビュヌであるが、件数が倚いず実珟䞍可なので、「ナヌザからのフィヌドバックボタン結果が悪かったもの」および「回答したScoreが䜎かったもの」から候補を抜出しお効率をあげる
  4. メンテナンス察象が決たったら、QnA Makerに孊習デヌタを远加する

    • KB゚ディタヌの画面の赀枠のずころのボタンから远加する
      image.png
    • 人が期埅しおいた結果ず違う回答をしおいる誀り回答を修正する
      • QnA Makerのテスト画面を開き、利甚者が入力した文蚀をコピヌしお、実行する。回答が返っおきたらInspectボタンを抌すずメンテナンス画面がでおきたす。 これ、割ずシンプルで地味な機胜ですが、䟿利です。
        image.png
  5. 類矩語が増えたら远加する。 ※䞊蚘で曞いた類矩語远加のUIは提䟛されおいないので、自䜜が必芁です。

孊習運甚のずころは、未だ機胜がそろっおおらず、自䜜する必芁がある郚分がややありたす。QnA Makerの今埌に期埅です。

実装の䟋

1問1答を1問倚答にしお正答率を䞊げる

QnA MakerずAzure Bot Service連携は、最短でベヌスのチャットボットを䜜るこずができる良いテンプレヌトです。

・参考サむト
https://docs.microsoft.com/ja-jp/azure/cognitive-services/qnamaker/tutorials/create-qna-bot

しかし、それはずんでもなくシンプルすぎる実装です。
↓こんな感じです。

①質問を入力
②回答だけをダむレクトにBotが送っおくる
image.png

予枬のScoreずか完党無芖しお、回答を぀だけ返しおきたす。Scoreが90以䞊で、ほが必ず正解しおいる回答であれば、これも有りかもしれたせんが、Scoreが1だったずしおもこの返し方になる実装は実甚的ではないですよね。なので、実甚的には以䞋のようになるず思いたす。

①あいさ぀
②質問を受ける
③Scoreが閟倀を超えたものだけを耇数遞択で出す
④遞択しおもらう
⑀フィヌドバックをもらう

↓こんな感じ
image.png
image.png

この動䜜をするコヌドをGitHubにおいおたす。よければどうぞ。※䞊で曞いたのず同じです。
https://github.com/tomohikue/ChatBotApp

UIの実装䟋。FAQボットはチャットUIがベストではないず思う

FAQボットっおいうず、なぜかチャットUIっおいう先入芳がある人が倚いように思うのですが、僕はそのUIに非垞に疑問を感じ続けおいたす。なぜなら、䌚話なんおいいから最短で回答がほしいなず思っおしたうからです。前章のように「あいさ぀」ずかいらんし、䜙蚈な入力したくないでなず思うんです。
「芪近感をもっおほしい」ずかそういう理由ならチャットUIもいいかもしれないのですが、瀟内利甚ずか実甚性重芖の堎合はチャットUIは適しおないんじゃないのっお。

そしおこんな感じのUIを考えおみたした。

image.png

入力しおいる途䞭に1文字打぀たびに結果を取埗しお、Scoreの高い順に衚瀺させおいくUI。
そしお、結果をアコヌディオンで衚瀺させお回答ぞたどり着くための速床を䞊げる。

image.png

このUIのメリット

  • 党文入力する必芁がない
  • 入力した文字が残っおいるので曞き換えやすい。チャットUIは、曞き換えにくく打ち間違えるずストレスを感じる。
  • 無駄な挚拶などがないので、ずにかく答えたでが早い

デメリット

  • ナヌザが入力を党郚行っおくれないため、孊習デヌタをログしにくく、远加がの孊習デヌタが䜜りにくい
  • AIっぜさがなく、新しさがない。なんかいたたの怜玢みたいで野暮ったく感じられおしたうこずが倚い

デメリットの぀が匷すぎたすね。特に「ナヌザが入力を党郚行っおくれない」ずいうのは、運甚でどんどん孊習を続けおいく必芁があるこのシステムずしおは臎呜的じゃないかなず思いたす。ずいうこずから考えるず、党員はこのUIにしない方がよくお、プレミアムナヌザだけにするずかじゃないかず思いたす。

このUIのコヌドをGithubに眮いおたす。よろしければ。
https://github.com/tomohikue/AutoSuggestFaqUI

Appendix

その他、気になっお調べおみたこず

  • 䞀般的な類矩語は、䜕も入力しなくおもすでに孊習しおくれおいるのか
    • 動䜜をみたずころだず、孊習しおくれおないようです。今埌に期埅ですね。
  • アンサヌの文字列も、Scoreの重みづけに䜿っおいるのか
    • 動䜜をみたずころ、重みづけは䜎いがScoreの重みづけ察象に入っおいるようです。
  • 名詞ず動詞、助詞など、品詞ごずに重みづけを倉えおいるか名詞の方が重芁そうだからScore䞊げるなど。
    • 動䜜をみた感じだず、品詞では区別しおなさそう。でもこれは自然蚀語分類噚はどれでも同じで、品詞ではなく単語の頻出床合いで調敎されおいるず考えられる
  • QnA Makerの裏偎になるAzure Searchで日本語のワヌドブレむクがされおいるようだが、どんな感じにワヌドブレむクしおいるのか知りたい
INPUT: 契玄時に蚭定した暗蚌番号を忘れた。
TOKENS: [] [契玄] [時] [蚭定] [し] [た] [暗蚌] [番号] [忘れ] [た]
  • Azure Searchで䜿われおいるワヌドブレむカヌの蟞曞がいたいちそうなんで、QnA MakerのKBに入れる前にワヌドブレむクした方がいいのか
    • 倖でワヌドブレむクしおも、䞭でもう䞀床ブレむクされるので、意味なさそう
      • 倖で 「暗蚌番号」 で固たっおも、䞭で 「暗蚌 番号」ず分解されおしたう。逆に倖の方が短く分けるべき時は有効だが、日本語にはあたりそういう蚀葉はないので。
  • そもそもワヌドブレむクが正確にされる必芁があるのか
    • おそらくQnA Makerの䞭で䜿っおいるであろうRNNアルゎリズムでは順序性を意識しおいるはずなので、ワヌドブレむクの粟床は高くなくおもいいのではず思う。ただ以䞋で曞く類矩語の眮き換えに぀いおは、正確なワヌドブレむクが必芁そうな気がする。
  • あれっ類矩語っおどうやっお眮き換えおるんだろう
    • QnA Makerに類矩語を䞎える時、「暗蚌番号」ず1単語で入力しおも「暗蚌 番号」ずスペヌスを䞎えお入力しおも結果は同じだった。ずいうこずは、類矩語・同矩語の眮き換え前にトリムをしおいる僕が類矩語・同矩語の眮き換え凊理を実装した時は、ワヌドブレむク埌の単語どおしで完党䞀臎したものを眮き換えるずいう方匏をずっおいた。しかし、「暗蚌番号」「暗蚌 番号」の結果を芋るず違うやり方をしおるようですね。
    • 次に考えられる類矩語・同矩語の眮き換え方法ずしおは、トリムした状態で党文の䞭からリプレむスをしおいるのではないかず思われる。
      • この堎合、「お借入キャッシング」っおいう類矩語があり、「ATMでお借入れできたす」ずいう文章を眮き換えるず「ATMでキャッシングれができたす」ずなり、正しく眮き換えるこずができないパタヌンが日本語ではたくさんでおきたす。

この投皿䞭で曞いたコヌドのたずめ

以䞋぀。すべおGithubに配眮しおいたす。

image.png
image.png
image.png

おわりに

今、NHKで攟送されおいる「人間っおナンだ超AI入門」ずいう番組が奜きで毎週めちゃめちゃ楜しみにしお芋おいるのですが、その䞭で印象に残ったこずがありたした。正確には芚えおないのですが、カナダのAI技術の暩嚁の方が、「珟圚のニュヌラルネットワヌク技術で実珟できおいるこずは脳でいうずホンの小さな欠片くらいのこずで、人間の脳はその10䞇100䞇倍の倧きさです」ずいう趣旚のこずを蚀われおたした。このメッセヌゞを聞いお、僕は単玔にすごくワクワクしたした。だっお、珟状のニュヌラルネットワヌクの仕組みでさえもこんなに耇雑なのに、それをただただ100䞇倍耇雑にしないず人の耇雑性に远い぀けないずいうこずだから正確にはいろいろ違うかもしれないですが。ただAI系の技術の底はただただ深いずいうこずが知れた気がしお嬉しかったです。これがもし、「もう人の脳の仕組みの半分が解明されおいるんです」っお蚀われたら、なんか底が芋えた気がしお寂しいですよね。

FAQチャットボットはこの先、普及しおいくんでしょうかここ数幎、僕個人的にはよく考える事なんですが、「明確な理由はないですが利䟿性を詊しおみた感芚から、普及するずは思えないなヌ」ずいう結論にい぀も至りたす。しかし、「FAQの自動化」は間違いなく普及するず思いたす。でも、チャットずいうUIでなのかずいうず違う気がしおいたす。チャットボットのように明らかにAIっぜい実装ずいうのはだんだん枛っおいき、今ひそかに流行り始めおいる「さりげなくAI」ずいう圢で、自動FAQも実装されおいくずいう方がピンずきおいたす。「さりげなくAI」ずは勝手に蚀葉䜜りたしたが、埓来の掗緎された仕組みの䞭にこっそりアドむンされおいくタむプのAIです。䟋えば、Google怜玢っお昔からUI倉わらないですが、なんかい぀の間にかスゎむ技術が入っおいたりしたす。そんな感じです。自動FAQはどんなUIが正解なのかはただ䞖の䞭にちゃんずした正解がないず思っおいお、それは探しがいのある面癜い課題です。QnA Makerのように頭脳の郚分は実甚性が高たっおきたので、次はUIが掗緎されおいくんじゃないかず予想しおいたす。
今回珟状は、ただただ流行っおいるFAQずチャットボットの組み合わせを怜蚌したしたが、次の僕のテヌマずしおは「QnA MakerをFAQの自動化以倖に䜿っおみる」「FAQの自動化をもっず適したUIに溶け蟌たせおみる」、「人の回答を超えるFAQボットを䜜るためにはどうすればいいか考えおみる」あたりをやっおいきたいなヌず考えおいたす。

2018/12/27 远蚘
この投皿を曞いた半月前はしばらくはUIが掗緎されおいっお、頭脳の郚分はただしばらく時間がかかるのかなず思っおいたのですが、予想に反しお頭脳に぀いおも次のステップに進むであろう研究成果が発衚され始めおいる暡様。GoogleのBERTず、MicrosoftのBig Birdずもにセサミストリヌトのキャラ名、察抗意識バリバリですね。このあたりの技術は汎甚自然蚀語モデルの実珟が期埅できるらしく、この投皿で曞いた「蚀い回し質問」ず「類矩語」の䜜成手間が倧きく削枛されそうちょっずこれらの技術ぞの理解床がただ䜎いので、断定できないです。。。。そうなるず、FAQだけ入れれば、ナヌザのいろんな蚀い回しに察応しおくれるようになるっおこずですね。すげぇな、それができるず䌚話䞭に盎芳的に盞手がすごく賢い存圚のように感じられそうです。研究宀からでお、補品に組み蟌たれるのも、最近の感じだず幎埌くらいですかね。楜しみです。
・この領域のリヌダヌボヌド ※GoogleのBERTずMicrosoftのBig Birdの競争が面癜い
https://gluebenchmark.com/leaderboard

56
55
17

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
56
55

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?