2014年の各政党のホームページ解析

概要

このページは各政党のホームページから単語を抽出して、tr-idfを取得して、各政党間の距離を取得します.

歴史のある政党に関しては、今回の選挙の特徴が出やすいように、解析対象のホームページの数を絞っています。

tf-idfによる文章の解析

文章ｙにおいて単語ｘのtf-idfの値は以下のようになる。

tf = 文章y中に単語xが登場した数 / 文章中の単語数

idf = 1.0 + log( 文章の総数 / 単語xが登場する文章の数 )

tf-idf = tf × idf

多くのドキュメントに登場する単語は重要度が下がりスコアが低くなり、特定のドキュメントにしか登場しない単語は重要度があがりスコアが大きくなる

コサイン類似度による文章の距離の測定

文章1が単語(A,B,C)を持っており、その単語のTF-IDFの値が(0.1,0.2,0.3)とする。

文章2が単語(C,D,E)をもっており、その単語のTF-IDFの値が(0,4,0.5,0.6)とする。

文章に存在しない単語のTF-IDFを０とするとして、全ての単語についてのTF-IDFを作成する。

文章1の(A,B,C,D,E)は(0.1,0.2,0.3,0,0)となる。

文章2の(A,B,C,D,E)は(0,0,0.4,0.5,0.6)となる

この文章1と文章２のベクトルの角度のコサインは両者の類似度を表す。

まったく同じ文章の場合は文章１と文章２の角度は0度になる。

各政党のtf-idfの距離

各政党の情報

公明党

取得期間：2014-12-04 11:10:48.005000 ～ 2014-12-04 11:10:52.339000

取得ページ：19 件

取得開始のURL：https://www.komei.or.jp/campaign/shuin2014/

有効なURLの開始文字列: 「https://www.komei.or.jp/campaign/shuin2014/」

無効なURLの開始文字列: 「https://www.komei.or.jp/local_2011」

社民党

取得期間：2014-12-04 11:12:56.950000 ～ 2014-12-04 11:13:24.155000

取得ページ：68 件

取得開始のURL：http://www5.sdp.or.jp/policy/policy/election/2014/commitment.htm

有効なURLの開始文字列: 「http://www5.sdp.or.jp/policy/policy.htm」 「http://www5.sdp.or.jp/vision/vision.htm」 「http://www5.sdp.or.jp/comment/2014」 「http://www5.sdp.or.jp/comment/comment.htm」

無効なURLの開始文字列:

民主党

取得期間：2014-12-03 03:29:25.495000 ～ 2014-12-04 12:28:22.195000

取得ページ：21 件

取得開始のURL：http://www.democrats.jp/

有効なURLの開始文字列:

無効なURLの開始文字列:

次世代の党

取得期間：2014-12-04 12:28:34.195000 ～ 2014-12-04 12:29:40.537000

取得ページ：67 件

取得開始のURL：http://www.jisedai.jp/

有効なURLの開始文字列:

無効なURLの開始文字列: 「http://www.jisedai.jp/en/」

生活の党

取得期間：2014-12-03 10:22:02.225000 ～ 2014-12-04 12:31:31.636000

取得ページ：514 件

取得開始のURL：http://www.seikatsu1.jp/

有効なURLの開始文字列:

無効なURLの開始文字列: 「http://www.seikatsu1.jp/english」

日本共産党

取得期間：2014-12-04 12:29:50.143000 ～ 2014-12-04 12:30:49.334000

取得ページ：55 件

取得開始のURL：http://www.jcp.or.jp/web_policy/html/2014-sousenkyo.html

有効なURLの開始文字列: 「http://www.jcp.or.jp/web_policy/2014/」

無効なURLの開始文字列:

維新の党

取得期間：2014-12-04 11:23:44.711000 ～ 2014-12-04 11:25:32.111000

取得ページ：429 件

取得開始のURL：https://ishinnotoh.jp/

有効なURLの開始文字列:

無効なURLの開始文字列:

自民党

取得期間：2014-12-03 01:52:41.268000 ～ 2014-12-03 02:28:57.211000

取得ページ：403 件

取得開始のURL：https://special.jimin.jp/

有効なURLの開始文字列:

無効なURLの開始文字列: