４８．テキストマイニング

# 必要なライブラリをインストール
!pip install janome matplotlib wordcloud
!apt-get -y install fonts-noto-cjk

# 必要なライブラリをインポート
from janome.tokenizer import Tokenizer
import requests
from bs4 import BeautifulSoup
import matplotlib.pyplot as plt
from wordcloud import WordCloud
from collections import Counter
from matplotlib.font_manager import FontProperties
import re

# 日本語フォントを設定
jp_font_path = '/usr/share/fonts/opentype/noto/NotoSansCJK-Regular.ttc'
jp_font = FontProperties(fname=jp_font_path)

# ウェブページを取得
url = 'https://joho-terakoya.com/'
response = requests.get(url)
response.encoding = response.apparent_encoding  # 自動的に適切なエンコーディングを設定
soup = BeautifulSoup(response.text, 'html.parser')

# ページ内のテキストを抽出
text = soup.get_text()

# Janomeを使って形態素解析を行い、単語に分割
tokenizer = Tokenizer()
tokens = tokenizer.tokenize(text)

# 2文字以上で、数字を含まない名詞だけを抽出
words = [token.surface for token in tokens if token.part_of_speech.startswith('名詞') and len(token.surface) > 1 and not re.search(r'\d', token.surface)]

# 単語の出現頻度をカウント
word_counts = Counter(words)

# 最も頻出する単語を上位20件取得
most_common_words = word_counts.most_common(20)

# 出現頻度の高い単語を棒グラフで表示
words, counts = zip(*most_common_words)
plt.figure(figsize=(10, 8))
plt.barh(words, counts)
plt.title('Top 20 Most Common Words in https://joho-terakoya.com/)', fontproperties=jp_font)
plt.xlabel('Frequency', fontproperties=jp_font)
plt.ylabel('Words', fontproperties=jp_font)
plt.xticks(fontproperties=jp_font)
plt.yticks(fontproperties=jp_font)
plt.gca().invert_yaxis()  # 順位が上の単語が上に来るように反転
plt.show()

# ワードクラウドで上位500単語を表示
most_common_words_500 = word_counts.most_common(500)
words_500 = [word for word, count in most_common_words_500]

wordcloud = WordCloud(font_path=jp_font_path,
                      width=1200, height=600, background_color='white',
                      max_words=500).generate(' '.join(words_500))
plt.figure(figsize=(15, 8))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.show()