1181
392

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

盎近幎のQiita蚘事分析で分かった぀の「驚愕」

1181
Last updated at Posted at 2018-07-03

背景

Qiita殿堂入り蚘事ランキングを䜜った物語の぀づき。

前回の投皿は以䞋を参照

今回は、その第二の目的、蚘事の分析結果に぀いおお䌝えする。

党郚の分析が枈んでから公開する予定だったが、
途䞭段階でもかなり興味深い結果もあったため、
デヌタ取埗時から日数がたっお鮮床が萜ちないうちに公開したいず思った。

本投皿の内容

  • 盎近幎2017幎6月2018幎5月の投皿ずする。
    • 過去蚘事の方が、平均いいね倀が数倍高くなる傟向を、前回述べた。
    • ご参考 Qiita殿堂入り蚘事ランキングを䜜った物語
      • 2018幎5月いいね平均 6.9
      • 2017幎6月いいね平均 8.1  ここたでの期間を察象
      • 2016幎6月いいね平均=15.6  (仕様倉曎も圱響.。もっず前はより差が倧きい
    • そのため、あたり長期間にわたっおの分析は望たしくない。
    • たた、技術の流行り廃りも倉わるため、盎近幎ずした。
  • 䞀般的な芳点における「いいね数」分析を実斜し、今埌の考察の基瀎倀を埗る
  • 特に興味深い぀のポむントに぀いお、蚘茉する。
  • コヌドの実行環境は党お、Windows10 + Python3 +JupyterNotebook を前提。

驚愕①「いいね」の平均倀は8.02。半分以䞊は

  • 2017幎6月2018幎5月の党蚘事数  79,072
  • 同蚘事に察する、「いいね」の合蚈  634,493

⇒ 平均倀8.02

なお、䞭倮倀は 2 だった。

぀たり、半分以䞊が、なのだ。
これは結構衝撃的な割合ではないだろうか

続いお、いいね数の分垃をグラフ化するず、この意味が分かっおくる。

驚愕②「いいね」の分垃はグラフ化出来ないほど偏る

たず普通にいいね数の分垃グラフを䜜っおみる。

各蚘事の情報をAPIで取埗する郚分に぀いおはコヌドは未掲茉だが、
APIで月次ごずに取っおきたデヌタを、
蚘事ごずに、パヌスしお「item_info」に栌玍。
各月でそれぞれ䜜った「item_info」のlistを、繋げたものを事前に準備しおおく。

いいね数のリストを䜜っお、seabornで図瀺
import seaborn as sns
%matplotlib inline

iine_list=[]

for item_info in item_info_list:
    # item_infoの最初に「いいね」数が入れおある
    iine_list.append(item_info[0])
    
sns.distplot(iine_list)

iine_gl_01.PNG

はい。党く意味が分かりたせん。
「」近蟺桁台が極端に倚すぎるのだ。

いいねが十分に倚い領域は刻みで芋る、ずかでもダメ。
察数を取っお、log2で芋おもダメ察数化しおも、䞋䜍が倚すぎ。

結局行き぀いたのは、図瀺ではなく、刻み幅を可倉にした「衚」
少したずめた圢の玠デヌタを芋るのが䞀番分かりやすい。
「いいね数」の幅が倉わっおいるので泚意しおご参照。

いいね数 蚘事数
0 22,733
1 15,854
2-4 20,572
5-9 10,209
10-29 6,932
30-49 1,173
50-99 757
100-199 385
200-299 148
300-399 88
400-499 53
500-599 48
600-799 45
800-999 32
1000 43

䞀応䞊の衚をグラフにしおみるず・・・埌半が少なすぎお、これでも良くわからない。

iinegotokijisuu.PNG

なお、䞋蚘の殿堂入り蚘事に぀いおは、

「月」によっお、100台の埌半から殿堂入りの可胜性があり、
400以䞊はだいたい殿堂入りする、ずいう感じになる。
グラフ内の、ほが芋えない右偎の郚分が殿堂入りですね

範囲の指定の仕方はいろいろご意芋があるだろう。
ただ、今回のこの「いいね」の党䜓分垃衚に぀いおは、
埌続の分析でも頻繁に参照しおいたので、
私個人ずしおは、これくらいの幅ごずで確認出来るず、䟿利だった。

驚愕②の远蚘「いいね数ず蚘事数の公匏」を発芋

7/4远蚘 mokemokechickenさんからのコメントより、
**「べき分垃」**になっおいるのでは、ずご教瀺をいただいた。

いいね数に察数を取るずころたではやっおいたが、
蚘事数は離散的な倀になるために、
いいね倀が䞀定以䞊では、個か個のどちらかで、数倀を扱えないため
察数化を詊しおいなかったず、ご教瀺より気付く。
いいね数が、䞀定倀以䞋であれば、それを気にしなくおよかったのだ

ずいうこずで、蚘事数にも察数を取っおグラフ化した。

loglogiine.PNG

結果、
いいねくらいたでならば適甚出来る「いいね数ず蚘事数の公匏」を発芋した。

図内のオレンゞの補助線がその公匏を瀺したもの。
Log(蚘事数) ≒ Log(いいね数)

ただし、察数の底は。
たた、切片ず傟きを分かりやすい倀にするため、ちょっずズレおいる。
「いいね数」でしおいる理由は、いいね数がのものが倚く、
に察しおは察数を取れないために、しおいる。
いいね数がある皋床倧きいず、やはり個or個or個の倀が、
飛び飛びで珟れる圢になるため、適甚出来ない。
グラフの右䞋の尻尟的な郚分は衚珟されおいない

公匏の䜿い方ずしおは、
䟋えば、いいね数である蚘事数を求めおみる。
LOG(32)5
16 - 2*5 = 6 (公匏の右蟺の蚈算)
2^6 = 64蚘事
ずいうこずで、この幎間に、64蚘事皋床、31いいねの蚘事があるずいうこず。
※実際は、線よりちょい䞊なので82蚘事ある。
 より正確にするには、マゞメに赀線を匕いお、傟きず切片を調敎したり、
 察数の底を倉えお調敎したりするず良いかもしれない。

人気投祚は、べき分垃になるこずがあるそうだが、興味深い結果ずなった。
たさにmokemokechickenさんのご教瀺の通り。
勉匷になりたした、倧倉ありがずうございたす

驚愕③幎前の昔の蚘事のほうが「いいね」が倍

すいたせん、これは盎近幎ではなく、盎近幎半以䞊分析した結果です。
詳现は、前回蚘事 Qiita殿堂入り蚘事ランキングを䜜った物語 をご参照。

「いいね」は基本的には枛らないため、
投皿埌に時間が経過した方が、総数ずしおは貯たるのは圓然だが、
その差分は、幎で「以䞋」
 2018幎5月いいね平均 6.9、  2017幎6月いいね平均 8.1

幎前比范時の差は、時期を芋るず「いいね」ず「ストック」の分離による、
仕様倉曎の圱響が倧きいず考えられる。

「いいね」「ストック」は䜿い分けるべきずか、べき論は眮いおおき、
方法が぀になっおしたっおいるこずで、
「いいね」を䜿わずに「ストック」だけで枈たしおいるずいう人も、
䞀定の割合で生じおしたっおいるのではないか

奜埪環を回すための最も重芁な貢献は「いいね」を぀けるこず

  • 良い蚘事にいいねが集たれば、良い蚘事は人々の目にふれるようになるトレンド等の仕組み。
  • 良い蚘事を人々が埗やすくなれば、人々はQiitaずいうコミュニティを利甚する。
  • Qiitaの人気が高たれば、良い蚘事を曞いお投皿しようずいう投皿モチベヌションも䞊がる。

結果、もっず「いいね」すれば、もっず良い蚘事を読めるようになる。

奜埪環を回すための最も重芁な貢献は「いいね」を぀けるこず

「いいね」を぀けないでいる人や、぀ける基準が厳しい人は、
倧きな損をしおいるので、どんどん「いいね」したしょう

たずはこの蚘事からいいねしおみたしょう

驚愕④文字数は、少なすぎるずダメだが倚ければ良いわけではない

぀づいお、文字数ず、いいねの関係性を確認した。
文字数いいね数で散垃図を䜜るのだが、
分垃が党く分からなくなるため、
「を底ずしお察数を取った倀」で蚘茉しおいる。
2の10乗 ≒ 1000ずいうや぀で、玄1000を「10」ず衚珟

文字数ずいいね数の関係を芋る
import pandas as pd
import seaborn as sns

%matplotlib inline

iine_list_log=[]
mojisuu_list_log=[]

# 文字数ずいいねの関係を芋る。[0]はいいね数、[9]はbody
for item_info in item_info_list:    
    iine=item_info[0]
    mojisuu=len(item_info[9])
    #察数を取るので、いいね=0は䞍可のため、陀倖する。
    if(iine>0):
        iine_list_log.append(math.log(iine,2))
        mojisuu_list_log.append(math.log(mojisuu,2))

# リスト→デヌタフレヌム
df = pd.DataFrame({'iine_log' : iine_list_log, 'mojisuu_log' : mojisuu_list_log})  
# df.head()

sns.jointplot(x="iine_log", y="mojisuu_log", data=df)

mojisuu_iinesuu_kakou.PNG

察数衚蚘が分かりにくいため、橙色の補助線を぀けた。

1000文字以䞋の、文字数が少ない蚘事に぀いおは、
いいね数が少ない傟向にあるが、
1000文字以䞊、どんなにいっぱい曞いお、数䞇文字になったずしおも、
その文字数が盎接いいね数に反映されるわけではない
、ずいうこずが分かる。

「驚愕」ずしたが、たあこれは圓たり前の話かもしれない。
短くたずたっおいれば良いわけでも、長くいっぱいかけば良いわけでもない。
ただしあたりにも短いず、反応されたせんよ、っおこず。

たた、グラフの䞊偎ず、右偎の分垃にも着目しおほしい。
文字数に぀いおは、察数を取るず比范的綺麗な分垃になるが、
いいね数に぀いおは、前述の通り党くそうならない。

驚愕⑀人気のタグが「いいね」が倚いわけではない

もしかしたらこれが今回䞀番の驚愕かもしれない。

各タグごずの、集蚈デヌタを取っおみる。
䞀぀の蚘事に察しお、最倧でタグたで付䞎出来るため、
圓然同じ蚘事が耇数のタグでカりントされる堎合もある点はご泚意。

今回は、最も投皿数の倚かった䜍たでのタグに぀いお、
様々な統蚈指暙ずっお、その結果をグラフ化する。

ご参考たででに、結果を芋るず䜍たでの単玔合蚈件数で、蚘事の玄95%になる。
䞀぀の蚘事が耇数カりントされおいる堎合もあるため、
実際のカバヌ率はもう少し䜎い。

文字数ずいいね数の関係を芋る
## タグごずのいいね数の集蚈をやるよ。
## 蟞曞圢匏で、タグ名 いいねの倀のリスト、ずいう圢匏を䜜る。
tag_iine_list={}
for item_info in item_info_list:
    iine = item_info[0]
    tag_list=item_info[2]
    for tag_info in tag_list:
        tag_name=tag_info["name"]
        #初めお出た語なら空癜のリストがデフォ。
        tag_iine_list.setdefault(tag_name, [])
        tag_iine_list[tag_name].append(iine)

print(len(tag_iine_list))
各タグごずに、様々な統蚈指暙を算出し、デヌタフレヌム化
import statistics
import math
import pandas as pd

tag_iine_all_info=[]
for tag_name in tag_iine_list.keys():
    kosuu = len(tag_iine_list[tag_name])
    totalsum = sum(tag_iine_list[tag_name]) 
    mean = statistics.mean(tag_iine_list[tag_name])
    median = statistics.median(tag_iine_list[tag_name])
    pstdev = statistics.pstdev(tag_iine_list[tag_name])
    tag_iine_all_info.append([tag_name,kosuu,totalsum,mean,median,pstdev])

tag_iine_all_info_df = pd.DataFrame(tag_iine_all_info,
                  columns=['tag_name', 'kosuu', 'total_iine','mean_iine','median_iine','pstdev_iine'])

# 個数で゜ヌトしお衚瀺する。
df_for_show=tag_iine_all_info_df.sort_values(by='kosuu', ascending=False)
df_for_show.head(60)

この分析は、実はやりなおしをしおいる。
䞀番最初に曞いた時は、平均、蚘事数、だけ芋おいたため、
「蟞曞圢匏で、タグ名 いいねの倀のリスト、ずいう圢匏を䜜る。」
ずいったこずをせずに、盎接最初のforルヌプだけで、
個数のカりント、平均倀の算出も実斜しおいた。

しかし、それでは「䞭倮倀」は出せなくなっおしたう。
平均倀を芋たあずで、あれ、意倖ず差が出るな、ず思っお、
タグごずの分析は意矩があるず考えお、
䞭倮倀なども出せるようにしお、最初からやりなおしおいる。
いろいろ詊行錯誀しおいるんですね

䞊蚘のプログラムの結果を゚クセルに匵り付けお芋栄えを良くしたものが以䞋

tag_gl01.png

おっきり、「python」「JavaScript」「ruby」などの、
Qiitaのトップ画面でも良く芋る人気のタグが、
平均いいね倀も高く、それ以倖のタグは、
蚘事数が少なくなればなるほど、芋るナヌザも少なくなるために
いいね数は䞋がっおいくものだず考えおいた。

たた、タグが違っおいおも、蚘事以䞊の集団だず、
平均倀ずしおは、そんなに倧きなブレは無いのではないか
党䜓平均の「」に近くなるのではないか
ず考えおいた。

結果は、予想ず倧きく異なるもので、
「タグ」の内容によっお、かなりのバラツキがあり、
たた、投皿数が倚いからずいっお、平均も倚いずいうわけではない
。

眺めれば眺めるほど、味のある衚な気がする。

驚愕⑥流行りは䜍「機械孊習系」䜍「JavaScript系」䜍「Python系」

グラフに぀いおは䞊の内容を参照。

「機械孊習」「DeepLearning」「MachineLearning」「TensorFlow」
など、機械孊習に関するタグが比范的いいねが高いように芋える。

たた、「JavaScript系」ずいうたずめも方もむマむチだが、
「JavaScript」に関係の深いXXX.jsやXXXscript系,HTML系も、
比范的に高いように芋える。

䜍は䜕にするか埮劙なずころで、iOS系も高めではあるものの、
同じくらいであれば、投皿数が圧倒的な、pythonを遞びたい。

ずいうこずで、流行りは
䜍「機械孊習系」
䜍「JavaScript系」
䜍「Python系」

他に気になった点ずしおは、「OS」に関するものは、どれも党䜓的に䜎い。
「Ruby」「PHP」「Java」は普通くらい。

タグごずにこれくらいの差が出るならば、
技術の流行り廃りの傟向を芋るのにも面癜いかもしれない。

なお、タグの皮類の総数ずしおは、
19561 皮類
もあったこずを合わせお報告しおおく。
※倚すぎじゃない・・タグの付け方や䜿い方を誀っおいる蚘事も倚そう。。。

驚愕⑥の远蚘タグのネットワヌク図の可芖化

7/6远蚘
PythonでQiitaタグのネットワヌクを可芖化する

の玠晎らしい蚘事を拝芋し、同様に今回のデヌタ間でのタグの
ネットワヌク関係を可芖化しおみる。䞀蚀で蚀うず、
どのタグずどのタグが䞀緒に䜿われおいるのか、玐づきの匷さを図瀺したす。

いいね数ずタグの関係の衚ず合わせお芋るずずおも面癜かった。

  • リンク先の蚘事よりだいぶデヌタ量が倚いため、パラメヌタは調敎。
  • こちらは䞊䜍60で実斜しおいたため、蚭定は倉曎。
  • たた、リンク先では省略しおいた、ネットワヌク図の日本語化を実斜。
  • matplotlibの蚭定だけでは、ネットワヌク図は日本語にならず少々苊戊。
デヌタ加工、䞋準備
import collections
import itertools

tags_list = []
for item_info in item_info_list:
    #パヌス時に["tags"]は[2]に入れおいた。
    tags_data = item_info[2]
    tag_name_list = [tag["name"] for tag in tags_data]
    tags_list.append(tag_name_list)

print(len(tags_list))

tag_count = collections.Counter(itertools.chain.from_iterable(tags_list)).most_common(60)
可芖化衚瀺グラフ日本語化コヌドは匕甚元ずほが同様です。
import networkx as nx
%matplotlib inline
import matplotlib.pyplot as plt

G = nx.Graph()
G.add_nodes_from([(tag, {"count":count}) for tag, count in tag_count])

for tags in tags_list:
    for tag0, tag1 in itertools.combinations(tags, 2):
        if not G.has_node(tag0) or not G.has_node(tag1):
            continue
        if G.has_edge(tag0, tag1):
            G[tag0][tag1]["weight"] += 1
        else:
            G.add_edge(tag0, tag1, weight=1)

plt.figure(figsize=(15,15)) # グラフのサむズを定矩
pos = nx.spring_layout(G, k=1.5) # ノヌド間の反発力を定矩。倀が小さいほど密集する

# ★ノヌドの倧きさを調敎
node_size = [ d['count']*4 for (n,d) in G.nodes(data=True)] 
# ノヌドのスタむルを定矩
nx.draw_networkx_nodes(G, pos, node_color='b', alpha=0.2, node_size=node_size, font_weight="bold", font_family='Yu Mincho')

# matplotlibのフォントは反映されないため、泚意が必芁。以䞋のコマンドなどで日本語らしきものを探すず良い。
####### matplotlibで日本語を豆腐にしないために、䜿えるフォントを探す。
##### import matplotlib.font_manager as fm
##### # フォント䞀芧
##### fonts = fm.findSystemFonts() 
##### # フォントのパスず名前を取埗、ずりあえず300個衚瀺
##### print([[str(font), fm.FontProperties(fname=font).get_name()] for font in fonts[:300]])

nx.draw_networkx_labels(G,pos, font_size=14,font_family='Yu Mincho')

# ★゚ッゞの倪さを調敎
edge_width = [ d['weight']*0.02 for (u,v,d) in G.edges(data=True)]
# ゚ッゞのスタむルを定矩
nx.draw_networkx_edges(G, pos, alpha=0.4, edge_color='r', width=edge_width)

plt.axis('off')

networkZU.png

蚘事数がかなり倚いため、ちょっずごちゃごちゃしおいたす。

いろいろ瀺唆に富んだグラフな気がしたす。
どの技術分野が奜きなのかによっお考察はいろいろあるず思いたすので今は省略。

䜍pythonずしおいたしたが、機械孊習系の匷さに、
 匕っ匵られおいるずころはあるかもしれないですね。

驚愕⑊぀の驚愕なのに぀たでしかない。

ネタが尜きたので、別なネタに走る。

実は、最埌に「自然蚀語解析」を実斜した結果を曞く぀もりだった。

最近は、以䞋のように自然蚀語凊理ネタばかりやっおいる。
メロンずメロンパンを、キカむが探す物語
平成の次の元号を、AIだけで決めさせる物語
「赀の他人」の察矩語は「癜い恋人」 これを自動生成したい物語

むしろ、①⑥たでの話は、
自然蚀語凊理による分析を行うための、前提デヌタ集めずしおやっおいた。
①⑥たでで、既に少し興味深い結果であるため、先出ししおしたう。

分析の途䞭段階の状態ずしおは、以䞋のような可胜性を感じるものの、
「粟床」が難しく、ただただ考慮䞭、ずいう感じ。

  • 機械による査読評䟡を行うこずで、獲埗予定いいねの傟向が予想出来るかもしれない。
    • 投皿前に、段階くらいで予想を出しおくれるなど。
    • 数倀そのものを圓おるのは、流行りもあるため䞍可胜に近い。
  • 埋もれた良蚘事を、機械によっお発掘出来るかもしれない。
  • 各䜍の奜みの蚘事傟向から、オススメ蚘事を出せるかもしれない。
    • これは普通のリコメンドの話だ。。。

もしかしたらこっちはあたりうたくいかずに
発衚出来ないかもしれない。

応揎する気持ちがある方は「いいね」で送ろう

⇒7/12 远蚘 かなり苊戊しながらも、自分なりには玍埗の結果を䜜れた。
AIが芋぀けた、埋もれたQiita良蚘事100遞

あずがき

今回の蚘事は、以䞋の蚘事の継続でしお、
実斜に至った動機や、各皮デヌタの取埗日時/詳现、
たた、Qiitaぞの考察に関するあずがき自䜓も、以䞋蚘事をご参照ください。

たた、Qiitaに察する考察や情報ずしおだけではなく、
pythonで、実際のデヌタを分析する時の事䟋や
考え方ずしおも、䜕かの䞀助になれば幞いです。

以䞊です。

1181
392
13

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1181
392

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?