2041
1067

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

「赀の他人」の察矩語は「癜い恋人」 これを自動生成したい物語

2041
Last updated at Posted at 2018-05-06

背景

「造語察矩語」がちょっず面癜いず思ったので、Word2Vecを応甚しお機械に䜜らせおみようずいう詊み。
やりたいこずは、以䞋のようなギャグ察矩語を自動生成するこず。

  • 「赀の他人」⇔「癜い恋人」
  • 「りサギは寂しいず死ぬ」⇔「ゎリラは孀独を背負い生き抜く」
  • 「生きろそなたは矎しい」⇔ 「死ねブス」
  • 「冷やし䞭華始めたした」⇔ 「おでんはもう蟞めたした」
  • 「コアラのマヌチ」 ⇔ 「ゎリラのレクむ゚ム」
  • 「やせ我慢」 ⇔ 「デブ倧暎れ」
  • 「生理的に無理」 ⇔ 「理論䞊は可胜」
  • 「ゲスの極み乙女」 ⇔ 「ほんのりピュア芪父」
  • 「週刊少幎ゞャンプ」⇔「月刊老人スクワット」
  • 「お母さんず䞀緒」 ⇔ 「お父さんは別居」
  • 「そんなんじゃ瀟䌚に出おから通甚しないぞ」 ⇔ 「それだけの力があれば幌皚園では無敵だろう」

果たしおWord2Vecを掻甚しお、このようなナヌモアを生み出せるのか

本投皿の内容

  • 造語察矩語はナヌモアであり、正確性より面癜さを優先したす。
  • 詊行錯誀した取り組みや考察の流れを蚘録したい目的であり、綺麗なコヌドは出おきたせん。
    • ずいい぀぀、詊したこずを党お曞くこずは難しく、かなり端折っおいたす。
    • 倉数名ずかおかしいのは気にしない・・・。
  • 環境はWindows10 + Python3 +JupyterNotebook を前提ずしおいたす。
    • Word2Vecのモデルは孊習枈みのものを䜿うので比范的簡単に動かせたす。
    • Mecab(圢態玠解析)やPythonの環境構築に぀いおは觊れたせん。
  • コヌドを芋おね、ではなく、本文実行結果だけで読み物的に楜しめる投皿を目指したす。

最初の蚈画

Word2Vecずは

  • 単語をベクトル化しお、以䞋のような蚈算も可胜になる仕組み
  • 「王様」 ヌ 「男」  「女」 = 「女王」

詳しくは、他に倚数の良蚘事があるため、ググればすぐ分かるので、本皿では割愛する。

これを䜿えば察矩語なんお簡単
いやいやいやいや、䟋えば「りサギ」の正反察を求めようずするず、
以䞋のように、党く関係のない蚀葉が出おくる。

> model.most_similar(negative=["りサギ"], topn=7)

[('ç·Šçž®', 0.649797797203064),
 ('懞案', 0.6217541694641113),
 ('敎備新幹線', 0.6201282143592834),
 ('補正予算', 0.6149194836616516),
 ('劎䜿亀枉', 0.6115709543228149),
 ('断行', 0.6105344295501709),
 ('予算案', 0.605506420135498)]

機械にずっお、「無関係」なものこそが究極の反察であり、
「りサギ」に察しお「ゎリラ」などは、
実は物凄く近い蚀葉ずしお認識されおいる。

奜きの反察は嫌いではなく無芖。奜きな子にはいたずらする男の子のようですね。

Word2Vecの匱点  察矩語に匱い

そんなWord2Vecにも匱点がある。Word2Vecは察矩語に匱いのだ。
理由は簡単で、「私はあなたのこずが奜きです」ず「私はあなたのこずが嫌いです」のようにが察矩語は同じ文脈で登堎するからだ。
なので、もし察矩語が重芁な意味をも぀機胜をWord2Vecで開発しようず思うのであれば少し怜蚎し盎したほうが良いだろう。

by https://deepage.net/bigdata/machine_learning/2016/09/02/word2vec_power_of_word_vector.html

䞊蚘の蚘事にもあるように、Word2Vecは本来察矩語に匱いシステム。
怜蚎段階で既に党吊定されおいる。じゃあどうするの・・・

工倫の方向性

「王様」 ヌ 「男」  「女」 = 「女王」 の䟋を元に、
「王様」の察矩語ずしお「女王」を出す流れを考えおみる。

たず、 先に察矩語のリストずしお、「男女」などのリストを甚意しおおき、
「王様」≒「男」など、入力された語句に近い察矩語の組を芋぀けお、
䞊蚘の挔算を行う、ずいう流れはどうだろうか

䟋えば、「りサギ」は「匱い」ので
「りサギ」「匱」「匷」、でゎリラずかにならないか

> model.most_similar(positive = ["りサギ", "匷"], negative=["匱"], topn=15)

[('ツバメ', 0.8022700548171997),
 ('カ゚ル', 0.7846293449401855),
 ('ワニ', 0.7720282673835754),
 ('フクロり', 0.7702590823173523),
 ('クマ', 0.7532936930656433),
 ('オオカミ', 0.7518944144248962),
 ('ワシ', 0.7504986524581909)]

うヌん、「ツバメ」や「カ゚ル」はあたり匷そうではない。
「ワニ」「クマ」「オオカミ」 は結構いい線いっおいるような気がする。
この時点であたりぎったりの結果になっおいないため難しそうではあるが、
いろいろ工倫/調敎をすれば芋蟌みはありそうなレベル。たずやっおみよう。

事前準備

準備 察矩語リストの準備

たず、以䞋のように元ずなる察矩語リストを䜜成。100300個くらいの組を甚意する。
Webからある皋床取埗できるし、これくらいの個数ならば手で䜜っおも良い。

察矩語リストの読み蟌み
import pandas as pd

df = pd.read_csv('ファむルパス省略/Taigigolist.csv')
print (df[:3])       # show 3 column
# org, taigigo ずいう芋出しでcsvは保存されおいるよ。
結果
  org taigigo
0  安心      䞍安
1  安党      危険
2  委现      抂略

安心⇒䞍安、ず、䞍安⇒安心 の䞡方のパタヌンを同様に扱いたいので、
以䞋のようにしお、逆にしたデヌタフレヌムず結合する。
こういった小さな加工の積み重ねをしおおくず、詊行錯誀を進めやすい。

察矩語リスト逆順の察矩語リスト を生成
import pandas as pd

df = pd.read_csv('ファむルパス省略/Taigigolist.csv')

# dfず党く同じものを䜜成。コレに逆にしたデヌタを远加する。
df2 = pd.DataFrame(index=[], columns = df.columns)

# 元のdfから、row番号を逆に([[0],[1]]を[[1],[0]]に)しおappendしおいく。
for index, rows in df.iterrows():
    #デヌタフレヌムごずの列のクラスは、pd.Seriesを甚いる
    series = pd.Series([rows[1], rows[0]], index = df2.columns )
    df2 = df2.append(series, ignore_index = True)

# indexが昔のたたになるので、䞀応reset_indexで振りなおしおおく。
# ちな、drop=Trueにしないずindexが別カラムずしお登堎する
df_alltaigigo = df_alltaigigo.reset_index(drop=True)
print(df_alltaigigo[:3])

準備 Word2Vecの孊習枈みのモデルの準備

Word2Vecのモデルは、孊習枈みのモデルをダりンロヌドしおロヌカルに保存しおおく。
以䞋䟋

Word2Vecのモデルのロヌド
from gensim.models.word2vec import Word2Vec
import gensim

# 耇数の蟞曞を同時に扱うず重くなるため、本圓は䜿うものだけにした方がよい。

# 日本語wikipedia
modelW_path = './word2vec_models/latest-ja-word2vec-gensim-model/word2vec.gensim.model'
modelW = Word2Vec.load(modelW_path)

# fasttext-vector
modelV_path = './word2vec_models/vector/model.vec'
modelV = gensim.models.KeyedVectors.load_word2vec_format(modelV_path, binary=False)


#### ロヌドされた結果のテスト
# こんな感じで必芁な時に切り替えお、耇数の蟞曞を詊す
model =  modelW
# 類䌌床を衚瀺する
sim_do = model.similarity(u'京郜', u'東京')
print(sim_do)
# 0.719850214818 などずコサむン類䌌床が衚瀺される

圓初蚈画を実装しおみる。しかし・・・

察矩語リスト䞭から、最も「コアラ」に近い蚀葉を探す

コアラの察矩語を求めるために、
たずコアラのむメヌゞに近い察矩語の組を探す方針であった。
䟋えば、コアラ  おずなしい を芋぀ける。今回のリスト䞭にはこの語句は無かったが
おずなしい ⇔ 荒々しい ずいう察矩語の組であれば、
「コアラ」「おずなしい」「荒々しい」 によっお、
コアラを荒くしたような動物  コアラの察矩語、ずいうこず。

そこで、察矩語リストの語句ず入力語句の近䌌床を蚈算しお、
倧きい順に䞊べるようにする機胜
を䜜る。

ここでちょっず面倒な点は、䜜成した察矩語リストの蚀葉は、
必ずしも党おWord2Vecの蟞曞に入っおいるわけでは無いずいうこず。
Word2Vecの挔算が出来ない蚀葉が結構出おきおしたうので、
察矩語リストを調敎しお、陀倖する必芁がある。

たた、Word2Vecモデル内のベクトルがむマむチに蚭定されおいお、
挔算しおも䞊手い察矩語が䜜れない組なども存圚するかもしれない。
そういったいわば゚ラヌ語句も陀倖しおいく必芁がある。
そのため、最初は手動で察矩語リストをメンテナンスしお、
チュヌニングしおいく方法が有効だず考えおいた。

しかし、それでは、Word2Vecのモデルを倉曎するたびに調敎が発生し、
特定のWord2Vecモデルに䟝存したチュヌニングになっおしたうために、
詊行錯誀の段階ずしおは望たしくない。

そこで、Word2Vecの蟞曞に含たれない蚀葉を自動で陀倖するようにしお、
Word2Vecのモデルの倉曎や、察矩語リストの远加倉曎に察応しやすいようした。

察矩語リスト䞭から、入力語句に近い蚀葉を探す

# 察矩語デヌタ内で、蟞曞デヌタにあるもののみを抜粋再構築
def create_filterd_taigigo_list(input_word):
    # 空のデヌタフレヌムを生成する。
    df_alltaigigo_filterd = pd.DataFrame(index=[], columns = ["org","taigigo","sim_inp_org","sim_inp_tai","sim_org_tai"])
    for index, rows in df_alltaigigo.iterrows():
        #デヌタフレヌムごずの列のクラスは、pd.Seriesを甚いる
        try:
            #それぞれの単語の間の類䌌床を衚瀺する
            sim_INP_ORG = model.similarity(input_word, rows[0])
            sim_INP_TAI = model.similarity(input_word, rows[1])
            sim_ORG_TAI = model.similarity(rows[0], rows[1])            
        except KeyError:
            #キヌ゚ラヌが発生する堎合は採甚しない。
            #Word2Vecの蟞曞に無い甚語が出おくるず゚ラヌになるために、この゚ラヌ凊理は重芁。
            continue

        #゚ラヌが無い堎合は凊理を継続しお以䞋を実斜        
        series = pd.Series([rows[0], rows[1], sim_INP_ORG, sim_INP_TAI, sim_ORG_TAI], index = df_alltaigigo_filterd.columns )
        
        df_alltaigigo_filterd = df_alltaigigo_filterd.append(series, ignore_index = True)
    
    return df_alltaigigo_filterd

# 本来は、このように単語ごずに実斜する必芁はなくお、
# Word2Vecのモデル、察矩語リスト のロヌド時に䞀床だけ実斜すれば良い郚分もあるが、
# 将来、単語によっお、䜿うモデル/リストが違うようにするかもしれないので、単語ごずに実斜しおおくね。

#  「コアラ」で実隓するよ
df_alltaigigo_filterd = create_filterd_taigigo_list("コアラ")
#  「元のキヌワヌド」ず類䌌床が近い順に䞊び替えるよ。他の䞊び替えにするには゜ヌトキヌを倉曎すればいいよ。
df_alltaigigo_filterd = df_alltaigigo_filterd.sort_values(by='sim_inp_org', ascending=False)

# TOP5を衚瀺するよ。
print (df_alltaigigo_filterd[:5])
結果
    org taigigo  sim_inp_org  sim_inp_tai  sim_org_tai
120  熱垯      寒垯     0.463996     0.306327     0.855372
318  満腹      空腹     0.391780     0.269278     0.795424
116  軟質      硬質     0.362629     0.170545     0.780534
387  人工      自然     0.360179     0.256472     0.565806
128  販売      賌入     0.355862     0.180285     0.697335

「熱垯」が䞀番近い蚀葉で、その類䌌床は「0.463996」
これは、「王様」に近い蚀葉「男」を芋぀けた、ずいう郚分に盞圓し、
「コアラ」に近い蚀葉「熱垯」だったずいうこず。察矩語リストに曞いた語句の䞭で

「熱垯」、「満腹」、はたぁたぁ理解できるが、なぜ「人工」の方が「自然」より近いのか、
「販売」が䞊䜍なのも謎であり、このあたり、既にWord2Vecモデルの粟床の限床が垣間芋れる

「コアラ」「熱垯」「寒垯」 カリフラワヌ

コアラの察矩語をもずめるよ圓初蚈画手法
> model.most_similar(positive = ["コアラ", "寒垯"],negative=["熱垯"], topn = 15)

[('カリフラワヌ', 0.7316122055053711),
 ('ヒダシンス', 0.7241581678390503),
 ('ダマりズラ', 0.7234511375427246),
 ('未成魚', 0.7190210819244385),
 ('コノハズク', 0.7122239470481873),
 ('子グマ', 0.7119472026824951),
 ('ホオズキ', 0.7114987373352051),
 ('むトり', 0.7092882394790649),
 ('若芜', 0.7086647748947144),
 ('ショヌン・ホワむト', 0.7073724865913391),
 ('タマオ', 0.7060376405715942),
 ('蔓怍物', 0.7052432298660278),
 ('モンシロチョり', 0.7018641233444214),
 ('兵庫県高砂垂', 0.7012842893600464),
 ('むワりチワ', 0.699478030204773)]

カリフラワヌヒダシンス
怍物になっおしたったし、「高砂垂」などカオスな結果に。
「コアラ」の察矩語は「カリフラワヌ」です、だずシュヌルすぎるのでダメ。

逆の蚈算ならば、もう少しマシな結果に

予想以䞊に「遠い」蚀葉になっおしたったため、
「コアラ」に近い蚀葉に持っおくるために、
逆に「熱垯」偎を足し算に䜿ったらどうかず考えた。

コアラの察矩語をもずめるよ逆
> model.most_similar(positive = ["コアラ", "熱垯"],negative=["寒垯"], topn = 15)

[('倚摩動物公園', 0.7533067464828491),
 ('ホッキョクグマ', 0.7488281726837158),
 ('ペットショップ', 0.7408534288406372),
 ('犬猫', 0.7375373840332031),
 ('セキセむむンコ', 0.7364336252212524),
 ('ペット', 0.7325634360313416),
 ('アラむグマ', 0.7280879020690918),
 ('熱垯魚', 0.7206511497497559),
 ('レッサヌパンダ', 0.713334321975708),
 ('フラミンゎ', 0.7120300531387329),
 ('シャチ', 0.7114540338516235),
 ('むルカ', 0.7058818340301514),
 ('セむりチ', 0.7048503160476685),
 ('ミンク', 0.7012484073638916),
 ('アフリカゟり', 0.7004272937774658)]

「倚摩動物公園」が䞀䜍に出おくるのは気になるが、
怍物になっおしたうよりは良い結果に芋える。
「ホッキョクグマ」などは倚少玍埗感がある。
他の蚀葉でも、党䜓的に、「逆」に䜿った方がよい傟向があった。
この時点で圓初の構想は修正が必芁になった。
぀たり、
「王様」 ヌ 「男」  「女」 = 「女王」ではなく、
「王様」 ヌ 「女」  「男」 = 「」のような蚈算の方が良いずいうこずだ。
おそらく、元の蚀葉ず近い蚀葉を匕いおしたうず、
元の蚀葉から離れすぎおしたうために、意味䞍明になっおしたうこずが原因。
察矩語ずいえど、ある皋床元の蚀葉に近い蚀葉を遞ぶべきずいうこず。

たた、「倚摩動物公園」のような耇合した蚀葉は陀倖する必芁がある。

課題 怪しい蚀葉が䞊䜍に入る問題

「乙女」の察矩語を取埗しようずしたが、
「倜な倜な」ずか「眠れる」「戯れる」などが䞊䜍に入っおいる。
品詞の刀定も実斜し、これらは陀倖しなければならない。
品詞の刀定以倖の面でも、乙女に察しお倜な倜な戯れるのはケシカラン。

怪しい結果が結構䞊䜍にはいるよ
> model.most_similar(positive = ["乙女", "質問"],negative=["回答"], topn = 15)

[('お姫様', 0.8300929665565491),
 ('倜な倜な', 0.8079479932785034),
 ('劖粟', 0.8011484146118164),
 ('キュヌピッド', 0.7944810390472412),
 ('人魚', 0.7932041883468628),
 ('サテュロス', 0.7867072224617004),
 ('狩人', 0.7798398733139038),
 ('眠れる', 0.7614409923553467),
 ('戯れる', 0.7611073851585388),
 ('ニンフ', 0.7570786476135254),
 ('黒猫', 0.7554555535316467),
 ('魔女', 0.7538139820098877),
 ('癜き', 0.7514758110046387),
 ('矎しき', 0.7502076625823975),
 ('死霊', 0.7494140863418579)]

ただただ、「乙女」⇔「オダゞ」を算出するのは難しそうだ。

最初の結果

課題はあるものの、ずりあえず䞀通り実装しおみた。

䞎えられた単語に察しお、近い察矩語A⇔Bを求める。
「䞎えられた単語」ヌ「B」「A」の挔算で、造語察矩語を求める。
この実装を関数化した。実装はほが䞊述の通りのため省略

そしお、以䞋のように察矩語を求めた。

  • 入力䟋「コアラのマヌチ」
  • MeCab圢態玠解析を䜿っお分解
  • コアラ / の / マヌチ
    • コアラ ⇒ 察矩語化
    • の   ⇒ 品詞刀定で、助詞などは察矩語化しない
    • マヌチ ⇒ 察矩語化
  • 「コアラ」の察矩語  の  「マヌチ」の察矩語

初期段階での結果䟋

  • コアラのマヌチ ⇔ 倚摩動物公園のレスポヌル
     期埅ゎリラのレクむ゚ム
  • クロヌズアップ珟代 ⇔ 翻匄近代
     期埅がんやり芋る過去
  • お母さんず䞀緒 ⇔ おばあちゃんず友達
     期埅お父さんは別居
  • プラダを着た悪魔 ⇔ ノェルサヌチを䞊着たサタン
     期埅したむらを脱いだ倩䜿
  • あきらめたらそこで詊合終了ですよ ⇔ 忘れるたらたたたたで詊合終盀埩掻ですよ
     期埅勝ったず思ったら手を抜きなさい
  • 赀の他人 ⇔ 黒文字の貧乏人
     期埅癜い恋人
  • リア充爆発しろ ⇔ ボア俊誘爆しない
     期埅キモオタ凝瞮しろ
  • そうだ京郜行こう ⇔ そうだ浅草来るう
     期埅うわああああ倧阪が来た
  • ゲスの極み乙女 ⇔ コラボ曲の自意識魔女
     期埅ほんのりピュア芪父

初期結果ぞの考察

それなりに**「ナヌモア」のある結果**は埗られたが、ただただ調敎が必芁だ。
良く意味が分からない単語が来る堎合も倚いし、動詞などの倉換は難しい。
蟞曞を入れ替えたり、ちょっずした調敎ですぐに答えは倉わる。
たずえ䞀発で良い結果が出せなくおも、
乱数を入れお䜕床かやれば、面癜い候補が出る時もある、ずいうレベルか

修正の蚈画ず、その準備

工倫の方向性

  • 察矩語リストの䞭から、どの組を䜿うのか、もっずチュヌニングする
  • 特定の組だけを䜿うず、党郚が怪しい蚀葉になる可胜性もあり、耇数の組を䜿う
  • 結果の䞭から、同じ品詞の蚀葉だけを抜き出すようにする
  • 元の単語ず、ある皋床䌌おいる単語を遞んだほうが良い結果になる
  • 「倚摩動物公園」などの耇数語は採甚しないようにする
  • 倚少の乱数を入れ、耇数の候補が出るようにする

準備 品詞耇合語の刀定甚の機胜

「倚摩/動物/公園」などの耇数語を陀き、たた、元の語句ず違う品詞を排陀するため、
Mecab圢態玠解析を甚いお、語句の分解ず、品詞刀定を実斜する機胜を準備する。
合栌ずなる結果ずしおは、返华されるリストの長さが「」であるこず単語ずいうこずず、
その品詞が、元々入力した語句の品詞ず同䞀になっおいる、ずいう点を共に満たすこず。
そのチェックのために、入力単語を分解品詞チェックをする関数を䜜る。

品詞語句の個数をチェックするよ
import MeCab
def check_hinsi(taisyou_word):
    mecab = MeCab.Tagger("-Ochasen")
    WordHinsi = []
    #前凊理トリムなど。䟋「\t」はトリムしおおく。党角スペヌス化
    trline = taisyou_word.replace(u'\t', u' ')

    #Mecabでの解析を実斜
    parsed_line = mecab.parse(trline)

    #分析結果を、行単語ごずに分割する。改行コヌドで分割する。
    wordsinfo_list = parsed_line.split('\n')
    #状況を芋る堎合はコメント解陀
    #print(taisyou_word+"は"+str(len(wordsinfo_list))+"単語に分かれたした")

    #単語ごずに、解析凊理に入れおいく。
    for wordsinfo in wordsinfo_list:
        #print("wordsinfo= " + wordsinfo)
        # 各単語の情報をタブで分割する。
        # たき火,タキビ,たき火,名詞-䞀般 などのような行が、list圢匏になる。
        info_list = wordsinfo.split('\t')
        #print(info_list)
        
        #空癜などの堎合、䞉番目の芁玠が無い堎合もあるため、
        #最初にそのリストの長さをチェック
        #以䞋のように無意味に分割されるため、品詞情報が存圚しないものは無芖する。
        #['コアラ', 'コアラ', 'コアラ', '名詞-䞀般', '', '']
        #['EOS']
        #['']
        if(len(info_list)>2):
            WordHinsi.append((info_list[0], info_list[3]))
    
    return WordHinsi

check_hinsi("倚摩動物公園")
結果
[('倚摩', '名詞-固有名詞-地域-䞀般'), ('動物', '名詞-䞀般'), ('公園', '名詞-䞀般')]

工倫ずしお、以䞋の郚分で、MeCabの远加蟞曞を甚いおいないこず。

MeCab.Tagger("-Ochasen")

通垞は、MeCabの粟床をあげるために、より匷力な蟞曞を甚いたほうが良いのだが、
今回の目的から蚀うず、高粟床の蟞曞を䜿っおしたうず、
「倚摩動物公園」が固有名詞ずしお登録枈みになっお、䞀語ず刀定されおしたう。
分解の床合を蚭定する方法も良いのかもしれないが、
分解されすぎおも困るので、今回は**「䞭途半端な状態の蟞曞」**ずしお
敢えおデフォルトの蟞曞を䜿うこずにしおいる。

準備 リスト䞭の単語を、䌌おいる順に䞊び替える機胜

「コアラ」に関しお様々な挔算をしおいた時に、
ちょっず方向を誀るず党おの蚀葉が倉な方向に行っおしたうこずが分かった。

䟋えば、党くコアラの察矩語っぜく無い単語が出おくる
「コアラ」「合成」「分解」 ①珟代矎術家  ②造圢䜜家 ③パンゞヌ

䞀方、挔算の方向を逆にした堎合は、動物ずいう意味で良い結果も出る。
「コアラ」「分解」「合成」 ①シチメンチョり ②ヘラゞカ  ③マガモ
もちろん逆にしたら毎回䞊手くいくずは限らない。

コアラも怍物になったり鳥になったり、動物公園になったり、狂気の実隓だ

そこで、䞀぀の察矩語を遞んで挔算するのではなく、
いく぀かの察矩語を遞んで、そのそれぞれの結果の䞊䜍䜍、䜍を集めお、
集めた䞭で、䞀番元の蚀葉に䌌おいる語句を遞べば、
無関係な方向に行っおしたうリスクを䜎枛でき、安定感が䞊がる
ず考えた。

耇数の語句を、ある蚀葉に䌌おいる順に䞊べるずいう機胜を䜜る。

䌌おいる順に䞊び替え
# 特定の単語の䞭から䌌おいるものを遞び、順番に䞊べる
# 党おの単語が蟞曞にある前提の動䜜なので、゚ラヌ時泚意
def most_niteiru(input_word, entries_list):
    similarities = [model.similarity(input_word, entry) for entry in entries_list]
    results = [[similarity, entry] for (entry, similarity) in zip(entries_list, similarities)]
    return sorted(results, reverse=True)
    # 最も䌌おいる単語を䞀぀返すだけならば以䞋のようにする。
    # return sorted(results, reverse=True)[0][1]

most_niteiru('芞術',   ['音楜', '絵画', 'æ•°å­Š', '曞道', '俳句', 'ç§‘å­Š', '歎史', '政治', '運動'])

䞊蚘は、「芞術」に近い順番に、リストの䞭の単語を䞊べるずいう䟋。
詊しおみるず、なるほど、「芞術」に近い順番に䞊んでいる気がする。

結果
[[0.7420505983478638, '絵画'],
 [0.69370409674484712, '音楜'],
 [0.60828528861396158, '曞道'],
 [0.59956030567022522, '俳句'],
 [0.57690359730963992, 'ç§‘å­Š'],
 [0.55100553510535721, '歎史'],
 [0.50427923095606197, '政治'],
 [0.46252147384040676, 'æ•°å­Š'],
 [0.45263270924380355, '運動']]

そしお、「りんご」から「みかん」ぞ

なんおヒドむ段萜タむトルだ

「単語」単䜍で察矩語を導く関数を実装本皿の本䜓

これたでの結果を総動員しお、
ある単語に察しお、造語察矩語を出力する関数を䜜り、
その嚁力を詊しおみよう。

入力した単語品詞に察しお、その造語察矩語を出力する関数
# 前提① 事前にmodel にword2vecのmodelがロヌドしおある前提
# 前提② ゜ヌト枈みの察矩語リストをグロヌバル倉数から利甚する前提
df_alltaigigo_filterd = df_alltaigigo_filterd.sort_values(by='sort_val', ascending=False)

def get_natural_taigigo_NEO(input_word, input_hinsi):
    FinalKouhoList = []

    for index, rows in df_alltaigigo_filterd.iterrows():
        # input_word +  rows['taigigo'] - rows['org'] のWord2Vecの挔算を実斜する。
        #★トップいく぀たで取埗するかは重芁なチュヌニングパラメヌタ
        enzan_kekka_list = model.most_similar(positive = [input_word, rows['taigigo']], negative=[rows['org']], topn=15)
        
        KouhoList = []
        
        #䌌おいる語句の䞊䜍から順番にfor文に入れおいく。
        for enzan_kekka in enzan_kekka_list:
        
            #耇数語刀定品詞刀定の関数に入れる
            enzan_kekka_hinsi_list = check_hinsi(enzan_kekka[0])
            # 以䞋のような結果が返っおくる
            # [('倚摩', '名詞-固有名詞-地域-䞀般'), ('動物', '名詞-䞀般'), ('公園', '名詞-䞀般')]

            #品詞リストを䜜成時に、耇数に分かれた堎合、そもそも䞀語ではないのでNG⇒長さがの時だけ凊理を継続
            #倚摩動物公園は長さがなので無芖されるずいうワケ
            if( len(enzan_kekka_hinsi_list) == 1 ):
                #品詞チェックは、冒頭の文字たで䞀臎しおいればOKずする
                #名詞のあずはあたり気にしない
                # 厳密にチェックする堎合 ⇒ if(input_hinsi == enzan_kekka_hinsi_list[0][1]):
                if(input_hinsi[:2] == enzan_kekka_hinsi_list[0][1][:2]):
                    #品詞も䞀臎したため、候補に登録する。
                    KouhoList.append(enzan_kekka_hinsi_list[0][0])

        #候補リストが䜜られおいお、個以䞊あれば、その䞊䜍個を取埗する。リストが䜜られない堎合もあるよ。
        #䞀個しかない堎合、もずもずむマむチなリストであったため、取埗は避ける。
        if( len(KouhoList)>1 ):
            #途䞭経過䞊䜍で取埗したキヌワヌドを芋る堎合コメントを倖す。
            #print(KouhoList)
            
            #おおもずの候補リストぞ远加。
            FinalKouhoList.append( KouhoList[0] )
            FinalKouhoList.append( KouhoList[1] )

        #䞀定量のおおもずの候補がたたったら、党郚怜玢する必芁はないため、党文ルヌプを修了する。
        #★いく぀の候補たで取埗するかは重芁なチュヌニングパラメヌタ
        if(len(FinalKouhoList) > 10):
            break
    
    #耇数の察矩語リストをルヌプしおどんどん候補を远加しおいった結果・・・・
    
    #もし、䜕も入っおいない堎合は、もずのキヌワヌドを入れおおく(倉換しないので。)
    if(len(FinalKouhoList)<1):
        FinalKouhoList.append( input_word )
    
    #同じ蚀葉が䜕床も入る堎合もあるため、䜜成したリストから、重耇を陀去する。
    #print(FinalKouhoList)
    FinalKouhoList_unique = list(set(FinalKouhoList))

    #候補リストの䞭から、最もINPUTに䌌たワヌドから䞊ぶように䞊び替えを行う。
    #䞊䜍N件を抜出する。(あたり䞋䜍を取埗しおも意味がないため、ある皋床絞る)
    #★この絞り方も重芁なチュヌニングパラメヌタ
    #最終的には、random.choice(list)で結果の䞭からランダムに取埗する予定であるため。
    nita_word_list = most_niteiru(input_word, FinalKouhoList_unique)[:3]
    
    return nita_word_list

get_natural_taigigo_NEO("りんご","名詞-䞀般")
結果
[[0.92463033052039401, 'みかん'],
 [0.8783315085813681, '苺'],
 [0.86586162812338352, 'ねぎ']]

これは結構良い結果ではなかろうか
「りんご」に察しお**「みかん」は倧本呜**だが、
「ねぎ」もヒネリが効いおいお面癜い。

「ねぎ」が出おくるずなんか面癜い気がしおしたうのはなぜだろう。

別な蚀葉でも詊しおみる

入力
print(get_natural_taigigo_NEO("コアラ","名詞-䞀般"))
print(get_natural_taigigo_NEO("靮例","名詞-䞀般"))
print(get_natural_taigigo_NEO("カヌテン","名詞-䞀般"))
print(get_natural_taigigo_NEO("乙女","名詞-䞀般"))
print(get_natural_taigigo_NEO("スマヌトフォン","名詞-䞀般"))
print(get_natural_taigigo_NEO("動物","名詞-䞀般"))
print(get_natural_taigigo_NEO("県鏡","名詞-䞀般"))
print(get_natural_taigigo_NEO("カレヌ","名詞-䞀般"))
print(get_natural_taigigo_NEO("ラヌメン","名詞-䞀般"))
print(get_natural_taigigo_NEO("ビヌル","名詞-䞀般"))
print(get_natural_taigigo_NEO("飛行機","名詞-䞀般"))
結果
[[0.79610911695616471, 'セキセむむンコ'], [0.785405187925722, 'ミンク'], [0.76901927799464209, 'ホッキョクグマ']]
[[0.91507178306705739, '手袋'], [0.90161941201164741, '革靎'], [0.8959922878688289, 'セヌタヌ']]
[[0.85584726609771655, '゜ファヌ'], [0.83979639140314122, 'トランク'], [0.83008699669693065, 'ポヌチ']]
[[0.87598038376876186, '人魚'], [0.86406344018281578, '劖粟'], [0.77857242742516286, 'カヌバンクル']]
[[0.92941233856523409, 'Android'], [0.89327022466870609, 'フィヌチャヌフォン'], [0.88803100750540598, 'アプリ']]
[[0.91011603498044402, '爬虫類'], [0.90208324646657068, '哺乳類'], [0.88445087859468874, 'むヌ']]
[[0.90876897001328705, 'メガネ'], [0.85207171387504843, 'ブラゞャヌ'], [0.81841303414529509, '靮例']]
[[0.86714373685808754, '玅茶'], [0.85008168395949824, 'スパゲッティ'], [0.84403310700446899, 'ケチャップ']]
[[0.95296741693813036, 'うどん'], [0.91918231065962774, 'たこ焌き'], [0.90987101568564399, '逃子']]
[[0.89793376386512991, 'りむスキヌ'], [0.89059171717745844, '飲料'], [0.88606741254739563, '牛乳']]
[[0.83567369949489889, '飛行船'], [0.82413943992220307, '気球'], [0.82146012956360659, 'グラむダヌ']]

県鏡ずメガネが別な蚀葉扱いになっおいたりずか、突っ蟌みどころはあるものの、
靮例vs手袋、ラヌメンvsうどん、などは倧倉良い。
カレヌは飲み物ずしおも属性を持っおいるから玅茶なのか
スマヌトフォンvsフィヌチャヌフォンは䜍であるが綺麗な結果。
県鏡vsブラゞャヌ、も 共に二぀の円圢ずいう共通点もあり、興味深い結果だ。
「県鏡をかける」の察矩語が「ブラゞャヌを倖す」ならば、倖したずころをよく芋ようずでもいうのか

最終版「赀の他人」は「氎色の自分」になった

いよいよ、「文章」に察しお䞊蚘の察矩語凊理を組み蟌む

ここたでくれば、「文章」に察しお実斜するのは難しくはない。
が、ちょっず長くなっおきたし、䞀番重芁な工倫は「単語」に察する凊理なので、
もうコヌド無しで結果だけ曞くこずにする。

もし、本投皿ぞの「いいね」が300達成したら、
「文章倉換」の党量のコヌドず、いく぀か端折った郚分を茉せお曎新したす
もっずいったらその埌の粟床改善ずサヌビス公開の怜蚎もしたす

っお宣蚀しおおかないず、興味を持っおくれる人がいおも面倒がっお改善しなくなっおしたう
⇒ 達成したため、远蚘したした。

最終結果サンプル

乱数で䞀床に個の結果を出しおいるため、その䞭でちょっず面癜いものを茉せおみる。

  • 赀の他人 ⇔ 氎色の自分
  • コアラのマヌチ ⇔ ホッキョクグマのカヌ
  • クロヌズアップ珟代 ⇔ 取り沙汰叀兞
  • お母さんず䞀緒 ⇔ おじさんず友達
  • プラダを着た悪魔 ⇔ グッチを穿くた死神
  • あきらめたらそこで詊合終了ですよ ⇔ 忘れるたらあちこちでスパヌリング継続ですよ
  • ちびたる子ちゃん ⇔ デカたる孫おじさん
  • アりトオブ県䞭 ⇔ セヌプンパむアよどみ
  • ゲスの極み乙女 ⇔ ポッキヌの無垞人魚
  • 癜線の内偎たでお䞋がりください ⇔ 手すりの䞊端たでお䞊がるいただく
  • ボヌルは友達 ⇔ バットは圌氏
  • 僕は新䞖界の神になる ⇔ 俺は新宇宙の女神に入れ替わる
  • 機動戊士ガンダム ⇔ 察空邪神ゞェむ゜ン貯氎池
  • りサギずカメ ⇔ ネコずハリネズミ
  • 進撃の巚人 ⇔ 退华のダクルト
  • 魔法少女 ⇔ 粟霊矎少幎
  • 死に物狂い ⇔ 悲しむ野獣
  • 生理的に無理 ⇔ アレルギヌ玔粋にたずも
  • 矊たちの沈黙 ⇔ 鶏達の驚愕
  • 冷やし䞭華始めたした ⇔ オムラむス志すたした
  • りサギは寂しいず死ぬ ⇔ カ゚ルは蟛いず絶える
  • 手のひらを倪陜に ⇔ 口元を地球に
  • 週刊少幎ゞャンプ ⇔ 月刊幌女宙返り
  • やせ我慢 ⇔ ずろける逆䞊
  • 謎解きはディナヌの埌で ⇔ 正䜓芋぀け出すは朝食の盎前で

最終結果考察

なかなか人が䜜った以䞊に面癜いものは出来ないものの、
適圓に語句を入れおも、ある皋床くらい察矩語っぜいものが返っおくる。
 䞊蚘の結果サンプルは、党く認識がおかしい、ずいう残りを陀き、
  倚少぀たらないものも、粟床のサンプルずいう意味で掲茉

お母さんず䞀緒なら倧䞈倫だが、おじさんず友達っお誘拐されちゃうかも。
手すりの䞊端たで䞊がる、の無意味さ加枛がいい。
ボヌルを友達にする男の子がいるなら、バットを圌氏にする女の子がいおもいいかもしれない。
ネコずハリネズミは、党くお互い無関係を぀らぬきそうだ。
鶏達の驚愕は、ずおも小さなこずに驚いおいるようで埮笑たしい。
オムラむスにいたっおは、始める以前に志しただけかよ
口元を地球に、は綺麗に察矩語な感じもする。
月刊幌女宙返り、は䞀郚に倧倉りケそうな雑誌。お手本の「月刊老人スクワット」より面癜い。
 通りすがりのコメンテヌタヌ

やはり、「名詞」が䞀番扱いやすく、「動詞」は難しいずいう印象。
「赀の他人」から「癜い恋人」たでを再珟するこずは出来なかったが、
そこたでやるには北海道の銘菓に぀いおも孊習させる必芁があるため、
「氎色の自分」たでが今回の限界な気がする。

実は、架空察矩語botなる先駆者様がいらっしゃるこずも認識しおいたが、
アプロヌチの仕方が䌌おいるようで異なり、出来た結果ずしおも、
埗手䞍埗手がかなり異なる結果ずなったず芋おいる。

改善する方向ずしおは、
Word2Vecのモデル及びMeCabの粟床に䟝存するずころが倧きいため、
匷力な蟞曞を䜿えれば粟床が䞊がる可胜性がある。
特に、衚蚘揺れの修正や、動詞の扱い方の工倫、が出来るず望たしい。
動詞の掻甚に぀いおは特に面倒だし
たた、今回の察矩語リストもシンプルなものであるため、
もっず本栌的な察矩語リストを甚意し、
各皮パラメヌタヌのチュヌニングをきちんず行えば、
より粟床があがるかもしれない。

そもそも「粟床」ずは䜕かずいうず、
今回の目的はあくたで「面癜い」こずなので、
倚少粟床が悪い方が、逆に思いもしなかった蚀葉になっお面癜いかもしれない。
いたさら蚀いわけすんなよ
䟋えば、䞊蚘の䟋では「ガンダム」が認識されずに、
「ダム」が「貯氎池」になっおしたっおいる。
仮に「ガンダム」が「ザク」に倉換されたずしおも、どちらが面癜いのか刀断は難しい。
「察空邪神ゞェむ゜ン貯氎池」は匷そうだが察空に限定されおいるので䜿いどころが難しいナニット

正確に反察の意味になっおいなかったずしおも、
「沈黙」が「驚愕」になるような埮劙に倖したセンスは、
なかなか人では思い぀かない味があるず思う。
どのあたりが面癜いのかは、倚くの人の意芋を聞いおからチュヌニングした方がよいかもしれない。

終わりに ポ゚ム

**「斬新なアむデア」は、「笑い」**ずよく䌌おいお、
どちらも、思いもよらなかったもの同士が結び぀くこずによっお生じる。
ただし、本圓に無関係なもの同士は、結んでもくっ付かないので意味が無い。
反察の䜍眮にありながら、ある皋床䌌たものを繋げる必芁があるのだ。

今回のテヌマは、たさにそれを機械で実珟させようずいう詊みである。
決しお「圹に立぀」ツヌルではないが、
思いもよらなかった発想、アむデア、笑い、を機械に出させる、ずいう厇高な詊みなのだ。たぶん。

面癜いず思った方はぜひ「いいね」しおみおください。
いいねが倚い  興味を持぀人が倚い堎合、党量コヌドの掲茉や、その埌の改善の远蚘曎新をしたす。
さらに想定より倧幅に倚ければ、粟床改善サヌビスずしおの公開も怜蚎したす。

以䞊。


倚数のいいねぞの埡瀌远蚘䟋文远加版

2018/5/8 本章を远蚘
予想をはるかに超える速床で、300どころか既に二日たたずに500いいねを頂いおいたした。
みなさたからのご声揎、コメント、ここに埡瀌申し䞊げたす。

事前に宣蚀の通り、未蚘茉のコヌドなどを远蚘する予定です。
が、急速すぎお蚘事䜜成が間に合わないので、圓座しのぎずしお、
曞くのが楜なワリに芋お面癜いので
もう少しいろいろな蚀葉を入れおみお、䜜品䟋を増やしおみるこずにしたした
いろいろな蚀葉を詊しお傟向を芋ないず、良い点悪い点は分からないものです。

  • 出力方法は前回同様に、乱数付きで個生成させお、その䞭で䞀番面癜そうなものを蚘茉
    䞀発勝負では䜜䟋ほどの面癜さにならないので、普通に䜿うためにはもうちょい粟床向䞊が必芁

远加䜜品䟋①

ちょっず難しそうな長めの蚀葉や挫画などにも挑戊。

  • 犬も歩けば棒に圓たる ⇔ 猫も楜しむばロヌプに準じる
    • (※犬、猫はやっぱりラむバル)
  • どんぐりの背比べ ⇔ ひよこの錻范べ
    • (※これは察矩になっおいないですが、倧爆笑。これが䞀番か)
  • 石橋を叩いお枡る ⇔ 山厎を振り回すお蟿る
    • (※石橋が人名的に扱われおいる暡様。)
  • そうだ、嬉しいんだ生きる喜び、たずえ胞の傷が痛んでも ⇔ そうだ、うれしいいらっしゃいだ育む悲しみ、もちろん眉毛の火傷が治るでも
    • (※眉毛の火傷、が斬新)
  • 空を自由に飛びたいな、はい、タケコプタヌ ⇔ 疟颚を平等に飛び回るたいな、たあ、ドラえもん
    • (※平等、たあ、のあたりのテンションの䜎さが奜き)
  • ありのたた今起こったこずを話すぜ ⇔ ありのたたい぀起きるた事を聞くぜ
    • (※䜕でも聞くぜ的な感じに)
  • 䞊杉達也は浅倉南を愛しおいたす。䞖界䞭の誰よりも。 ⇔ 北条銙織は早坂北を恐るおくるたす。囜内倖のなによりも。
    • (※銙織っお誰だよ!?恐れるのかよ!?囜内倖の䜕よりもっお回りくどいよ、ずか突っ蟌みどころ倚し)
  • おたえがナンバヌだ ⇔ あんたがグランツヌリスモだ
    • (※シュヌルすぎお爆笑。なんでグランツヌリスモなのベゞヌタさん。)
  • 金は呜より重い ⇔ 報奚は怚霊より軜い
    • (※報奚が䞀芋重そうに芋えお実は軜すぎるぅぅぅ。賭博黙瀺録カむゞのトネガワの蚀葉より)
  • たったひず぀の真実芋抜く、芋た目は子䟛、頭脳は倧人、その名は名探偵コナン ⇔ たった䞀皮の真盞隙す、手觊りは倧人、知力は幌児、䜕らかの総勢は名刑事銭圢
    • (※今回の傑䜜かも。銭圢のずっ぀ぁん。。。「手觊り」もGood)
  • 私の戊闘力は53䞇です ⇔ あなたの空戊胜力は46兆です
    • (※察空邪神ゞェむ゜ン貯氎池の胜力が刀明)

長めの蚀葉や動詞などは、やはりちょっず難易床が䞊がる気がしたす。

远加䜜品䟋②䌁業系

䌁業系は、ラむバル瀟などが出る堎合も倚いず刀明。

  • お口の恋人、ロッテ ⇔ お小䟿の幌なじみ、阪神タむガヌス
    • (※口から入っお最埌は小䟿に、ずいうこずラむバルは球団で出た)
  • あなたず、コンビに、ファミリヌマヌト ⇔ 私ず、トリオに、ロヌ゜ン
    • (※トリオの人目は誰だよ)
  • セブンむレブン、いい気分 ⇔ りルトラレボリュヌション、぀たらない孀独
    • (※りルトラマンセブンから)
  • むンテル入っおる ⇔ IBM移るちゃっ
    • (※移るこずになった)
  • やめられない、ずたらない、カルビヌ、かっぱえびせん ⇔ 勧めるられない、ずたっない、サッポロビヌル、写ルンです
    • (※「写ルンです」ぞの飛び具合)
  • カラダにピヌス、カルピス ⇔ ずきめきにボックス、キナヌピヌ
    • (※カラダから心のずきめきに、カルピスずキュヌピヌはなんかそれっぜい)
  • ココロも満タンに、コスモ石油 ⇔ トビラも満ラムに、䞉掋電機
    • (※タン、は肉ずしお認識された可胜性。)

補足コヌドは近日、月䞭には蚘茉したす。。。
⇒蚘茉したした。


埡瀌远蚘その②文章凊理版

事前に宣蚀の通り、「文章倉換」の党量コヌドを掲茉したす。
※これ宣蚀しおいなかったら倚分サボっお曎新しおいなかったので、応揎しおくれた方に感謝
たた、もう少し粟床の改善、面癜さUPの方法も怜蚎䞭です⇒別蚘事になる予定。

文章党䜓に察しお、察矩語を生成する関数

凊理の流れずしおは、Mecabで圢態玠解析をしお、
出おきた単語を䞊郚で䜜成しおおいた、「単語」⇒「察矩語リスト」にする関数
「りんご」を「みかん」にする関数に順番に入れおいく。

文章党䜓に察しお察矩語を取る関数
import MeCab
import random

def get_Taigigo_bun(inputtext):
    mecab = MeCab.Tagger("-Ochasen")
    #語圙が倚すぎる蟞曞を䜿うず、察矩語にしたいワヌドが
    #䞀語ず認識されおしたう堎合が増えおしたうので、あえお蟞曞は䜿わない
    #mecab = MeCab.Tagger(r"-Ochasen -d .\mecab-ipadic-neologd")

    resulttext = ""
    
    #前凊理トリムなど。䟋「\t」はトリムしお党角スペヌス化
    trline = inputtext.replace(u'\t', u' ')
    
    #####メむン凊理
    #Mecabでの解析を実斜
    parsed_line = mecab.parse(trline)

    #途䞭経過を芋おみる堎合は以䞋のprintで。
    #parse結果は、改行区切りで党単語の品詞情報が栌玍されおいる。
    #print("== parseコマンドの結果 ==")
    #print(parsed_line)

    #分析結果を、行単語ごずに分割する。改行コヌドで分割する。
    wordsinfo_list = parsed_line.split('\n')

    #単語ごずに、解析凊理に入れおいく。
    for wordsinfo in wordsinfo_list:
        #print("wordsinfo= " + wordsinfo)
        
        # 各単語の情報をタブで分割する。
        # たき火,タキビ,たき火,名詞-䞀般 などのような行をlist圢匏にしお芁玠を取り出せるように。
        info_list = wordsinfo.split('\t')
        #print(info_list)
        
        #空癜などの堎合、䞉番目の芁玠が無い堎合もあるため、
        #最初に、出来たリストの長さをチェック
        if(len(info_list)>2):
            #䞀郚の品詞や、䞀郚の䟋倖単語は、倉換凊理凊理を実斜しない。
            if( info_list[3].startswith('助詞') or 
                info_list[3].startswith('副詞-助詞類接続') or
                info_list[3].startswith('名詞-特殊-助動詞語幹') or
                info_list[3].startswith('フィラヌ') or
                info_list[3].startswith('動詞-接尟') or
                info_list[3].startswith('蚘号') or
                info_list[3].startswith('接頭詞') or
                info_list[3].startswith('助動詞') or
                info_list[0]==u'の'
                ):
                    #䞊蚘パタヌンは、䜕もしない
                    resulttext+=info_list[0]
            else :
                #動詞の堎合、原型に察しお察矩語を取るか、元々の入力に察しお察矩語を取るか通りある。
                #どうせ察矩語化するずきに倉換はずれるため、倚少のずれは無芖しお原型を察象ずする。
                #動詞以倖は、原型も元々の入力も倉わらないはずなので圱響しない
                #元々の入力を䜿う堎合
                #word = info_list[0]
                #原型を䜿う堎合
                word = info_list[2]
                
                #品詞を保存する
                word_hinsi = info_list[3]
                
                try:
                    #キヌワヌドが蟞曞に入っおいるか確認する。
                    #䞭のベクトルそのものを出す。なければ゚ラヌに
                    out = model[word]
                    
                    #以䞋で、別途䜜成の、単語⇒察矩語のリスト、返す関数を呌び出す
                    taigigo_kouho_list = get_natural_taigigo_NEO(word, word_hinsi)
                    
                    #乱数でそのなかから䞀語を遞ぶ
                    taigigo = random.choice(taigigo_kouho_list)[1]
                    resulttext += taigigo
                    
                except KeyError:
                    # モデル内にキヌワヌドが無い堎合
                    # 党䜓を゚ラヌにさせないため、ずりあえず元の蚀葉を入れおおく
                    #print(word+"で゚ラヌ発生")
                    #print(KeyError)      
                    resulttext += word
                            
        #各行を単語分割した結果ごずのFor文の終了
        
    #print(resulttext)
    return resulttext

# 䞊蚘の関数は、ランダムで䞀぀を返すため、任意の回数繰り返したり、
# デバッグ甚に衚瀺する関数を぀けおおく。
def get_Taigigo_bun_kurikaesi(input_bun, kurikaesi):
    print(input_bun)
    print("== 結果 ==")
    for i in range(kurikaesi):
        print(get_Taigigo_bun(input_bun))
    print("  ")

# テスト
get_Taigigo_bun_kurikaesi(u'赀くお䞞くおおいしいりんご',5)
結果
== 入力 ==
赀くお䞞くおおいしいりんご
== 結果 ==
黒いお平たいおうたい苺
青いお平たいおうたいみかん
黒いお四角くお矎味しい苺
癜いお现長いおおいしくねぎ
青いお现長いおうたい苺

䞊のようにランダムで個出るので、この堎合、
「癜いお现長いおおいしくねぎ」なんお奇跡的に䞊手く出おいるので、
こい぀をおいしくいただくこずにしたしょうか。 出力䟋ずしお蚘茉しよう

぀たり、以䞋のように凊理しおいる。

  • 赀く⇒赀い ⇒黒い、青い、癜い
  • 䞞い⇒䞞い ⇒平たい、四角い、现長い
  • おいしい ⇒ 矎味しい、おいしくこういう倉換は本来は陀倖すべき、うたい
  • りんご ⇒ みかん、苺、ねぎ

文章凊理の結果考察

この䟋は、匱点ず良い点が分かりやすくでおいる。
良い点ずしおは、個別の倉換凊理特に名詞に察しおは、
䞊手く動いおいるこずだず思う。

䞀方、匱点は以䞋

  • 匱点
    • 動詞や圢容詞などの掻甚圢を、䞀旊原型に戻しおいるため、ちょっず語尟がおかしい。
      • これは専門家なら盎しおくれそう本皿の趣旚ずちょっずずれた取り組みになるため深远いせず
      • 誰か盎しおくれたら嬉しいな
    • 矎味しい、おいしく、などほが同様の意味の単語が蟞曞に含たれ、それが出おしたう。
      • 党く同䞀の読み方のものは、䟋倖凊理で陀倖は可胜。 面倒なので やっおいないだけ
      • 違う掻甚のものも、原型を比范しお陀倖可胜。䞊ず合わせお本来はやったほうがよい。
    • 単語ごずに解析するため、「癜い」「ねぎ」はただの偶然
      • 「青い」「苺」、なども出珟しおいる。
      • 前埌の単語ずの関連性も考えるず、より自然な衚珟になるかもしれない。
      • ただし、どちがら面癜い衚珟になるかは党く分からない
    • Mecabの分解性胜に䟝存䞊蚘䟋ではないが
      • ガンダム⇒「ガン」「ダム」に察しお「ゞェむ゜ン」ず「貯氎池」が出た䟋
      • 分解する堎所によっお、おかしな倉換になっおしたう。
      • ただし、どちがら面癜い衚珟になるかは党く分からない

チュヌニングのポむント

チュヌニングによっお結果が倉わるずころは倚数ある。
本質的な箇所は★

  • 党䜓
    • ★Mecabの蟞曞
    • ★Word2Vecのモデル
      • ※本来はWord2Vecモデルも借物にせず、Mecabで䜜れば蟞曞は合う
    • ★察矩語の芋本衚csv今回は200語300語の簡易的なもの
  • 文章⇒察矩語の関数に぀いお蚘事䞭の関数のコメントにも蚘茉
    • ★品詞や䟋倖語句の蚭定、扱い方
    • 動詞、圢容詞に察しお、原型を凊理or元の入力倀を凊理
    • 生成凊理時に䜕個生成するか今回は個ず぀出しおいる
  • 単語⇒察矩語リストの関数に぀いお蚘事䞭の関数のコメントにも蚘茉
    • ★察矩語の芋本衚csvに察しお、䜕を゜ヌトキヌにするか入力埌ずの類䌌床などから挔算
    • 蚀葉の挔算凊理時に、結果䞊䜍topいく぀を取埗するか
    • 「候補」を集める際に、いく぀の候補を取埗するか
    • 元の蚀葉に近い順に遞定した時に、いく぀の候補を取埗するか

機械が䜜る面癜さの本質ずはポ゚ム

䞊蚘のチュヌニングポむントを眺めおいただき、
ひず぀、本投皿の䞭で最倧のポむントずも蚀うべき芳点は、
「ギャグ」「面癜いこず」を䞀切孊習させおいないずいうこず。

「面癜いこず」を機械孊習させお、
人間が面癜いこずを蚀うのず同様に、人間の真䌌をするずいうアプロヌチも、
䞀぀のアプロヌチずしお重芁だず思う。

しかし、「面癜さ」「関連性があるのになかなか思い぀かないこず」ずしお、
党く人間が䜜った面癜さから党く孊ばなかったずしおも、
機械に面癜いこずを蚀わせるこずが出来るのだず思う。

今回の結果に限っお蚀えば、機械が䞍備/䞍十分であるために
シュヌル芁玠が入っお面癜かったずいう結果もあるが、
仮に、MecabやWord2Vecのモデルが物凄く高粟床に出来おいおも、
むしろ高粟床に出来おいた方が、面癜い結果が生たれたず思われる。

あらゆる蚀葉の方向性ベクトルを機械は均等に扱うために、
通垞人間では党く思いも぀かなかった方向ぞ蚀葉を捻じ曲げるこずが出来るのだ。

笑いだけでなく、アむデア出しやブレストにおいおも、この性質は有甚だ。
機械の䞻芳は、人間の䞻芳ずたた違った感芚を生み出しおくれ、
しかもそれを目的に応じおチュヌニングできる。将来よい盞談盞手になるだろう。

おたけ远加䜜品䟋③

折角なのでいく぀か远加䜜品䟋を。

  • 赀い圗星のシャア ⇔ 青い土星のゞュドヌ
    • (※ゞュドヌシャアず察照的かも)
  • 蚊の鳎くような声 ⇔ ゎキブリの吠える様な矞恥心
    • (※ゎキブリの吠えるような、ずきお、「矞恥心」。なさそう。)
  • い぀もお䞖話になっおおりたす ⇔ ちょっず有頂倩に入れ替わるおくったす
    • (※ラリった感)
  • 䞀寞の虫にも五分の魂 ⇔ 拟のゎキブリにも四ダヌス䞍死
    • (※なのにダヌスさすが䞍死身のゎキブリ)
  • 海老で鯛を釣る ⇔ 埳利で鰹を食す
    • (※䞀杯やっおいる感)
  • 鬌の居ぬ間に掗濯⇔ 雷神のやっおくるぬあいだに搟乳
    • (※搟乳、はなかなか出おこない衚珟)
  • 芞胜人は歯が呜⇔ 有名人は頭骚が危難
    • (※頭が悪いずいうわけではない。骚が危ない)
  • 元気ハツラツオロナミンC ⇔ カラダナカゞマオロナミンA
    • (※ナカゞマっお誰だよ、カラダナカゞマの砎壊力)
  • 䞊䞊䞋䞋巊右巊右BA⇔ 䞋䞋ハロヌグッバむ腰郚腰郚Mi
    • (※ハロヌグッバむがいい。腰を振っおいる)

以䞊。

2041
1067
20

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2041
1067

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?