目的

TF-IDFによる２０１３年参議院選挙のパンフレットの解析で使用した文章の類似度を調べる処理をsklearnとJanomeを使用して実行してみます。

実験コード

from janome.tokenizer import Tokenizer
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def stems(doc):
    result = []
    t = Tokenizer()
    tokens = t.tokenize(doc)
    for token in tokens:
        result.append(token.surface.strip())
    return result

documents = [
    "私は猫と犬と神が好きだ",
    "私は猫と犬と神が好きではない",
    "私は神です",
    "私は戦争が好きだ",
    "ウンコティンティン！ウンコティンティン！",
]
vectorizer = TfidfVectorizer(analyzer=stems)
t = Tokenizer()
tfidf_matrix = vectorizer.fit_transform(documents)
for ix in range(len(documents)):
    print(documents[ix], '------------------------')
    similarities = cosine_similarity(tfidf_matrix[ix], tfidf_matrix)
    for similarity in similarities:
        for ix2 in range(len(similarity)):
            if ix2 == ix:
                continue
            print('  ', documents[ix2], similarity[ix2])

出力結果

私は猫と犬と神が好きだ ------------------------
   私は猫と犬と神が好きではない 0.8161301674485676
   私は神です 0.29355926474682525
   私は戦争が好きだ 0.47854281861265613
   ウンコティンティン！ウンコティンティン！ 0.0
私は猫と犬と神が好きではない ------------------------
   私は猫と犬と神が好きだ 0.8161301674485676
   私は神です 0.32643300489571514
   私は戦争が好きだ 0.3486675556492787
   ウンコティンティン！ウンコティンティン！ 0.0
私は神です ------------------------
   私は猫と犬と神が好きだ 0.29355926474682525
   私は猫と犬と神が好きではない 0.32643300489571514
   私は戦争が好きだ 0.24652369447564157
   ウンコティンティン！ウンコティンティン！ 0.0
私は戦争が好きだ ------------------------
   私は猫と犬と神が好きだ 0.47854281861265613
   私は猫と犬と神が好きではない 0.3486675556492787
   私は神です 0.24652369447564157
   ウンコティンティン！ウンコティンティン！ 0.0
ウンコティンティン！ウンコティンティン！ ------------------------
   私は猫と犬と神が好きだ 0.0
   私は猫と犬と神が好きではない 0.0
   私は神です 0.0
   私は戦争が好きだ 0.0

tf-idfを使用した類似度の算出は単語の頻度によって類似度が決まります。
すなわち意味までは解析しないので「私は猫と犬と神が好きだ」と「私は猫と犬と神が好きではない」は類似度が高い文章として扱われます。

コードの説明

TfidfVectorizerはドキュメントのコレクションをTF-IDF機能のマトリックスに変換するクラスです。
インスタンスを作成する際に、文章を解析するための関数をanalyzerに渡します。
上記の例ではstems関数を渡しており、この処理の中でJanomeを使用して形態素解析を行い単語単位に分割した結果の一覧を返します。

TfidfVectorizer.fit_transformでは解析対象のドキュメントの一覧を与えてドキュメント用語マトリックスを返します。

その用語魔トリックを用いてcosine_similarityは類似度を計算します。

目的

PDFはテキストの情報が含まれている場合がありますが、場合によっては画像として文字を使用している場合があります。

今回はOCR機能を使用して画像からテキストを抽出してみます。
https://github.com/mima3/pdf_udon

PDFからの画像取得方法

PyMuPDFを使用すればPDFから画像を簡単に抽出できます。

import fitz
fitz.open('data/賛成0123.pdf')
doc = fitz.open('data/賛成0123.pdf')
pix = doc[0].getPixmap()
pix.writePNG('test.png')

Page.getPixmapメソッドを利用することで、Pixmapのオブジェクトを取得します。ピクセルの情報を保持しており、画像ファイルとして出力することも可能です。

これらの機能を使用してPDFからPNGを抽出するスクリプトが以下になります。
https://github.com/mima3/pdf_udon/blob/master/convert_image.py

OCRでテキストを取得する

今回はOCRでテキストを取得する方法で２種類ためしました。

• Tesseract-OCR
• Googleドキュメント

Tesseract-OCR

Tesseract-OCRはOpenSourceのOCRプログラムで、コマンドラインまたは、ダイナミックリンクのライブラリとして使用できます。
また、PyOCRを使用することでPythonから使用可能です。

詳しくは、GAMMASOFTの資料がわかりやすいです。

Tesseract OCR をWindowsにインストールする方法
https://gammasoft.jp/blog/tesseract-ocr-install-on-windows/

PythonでOCRを実行する方法
https://gammasoft.jp/blog/ocr-by-python/

単純なサンプル

以下が単純なサンプルになります。
この例ではPillowを使用してPNGファイルを読み取り、その内容をpyocrに渡しています。

import pyocr
import pyocr.builders
from PIL import Image

# tesseractをインストールしたフォルダにパスが通っていること
tools = pyocr.get_available_tools()
text=tools[0].image_to_string(
    Image.open('test.png'),
    lang='jpn',
    builder=pyocr.builders.TextBuilder()
)
print(text)

OpenCVを使用して画像に加工をする場合

もし、OpenCVで何らかの画像の処理をしてからpyocrに渡す場合は以下のようになります。

import pyocr
import pyocr.builders
import numpy as np
import cv2
from PIL import Image

def imread_jp(image_full_path):
    # cv2::imereadは日本語を含むパスを読めない
    # https://github.com/opencv/opencv/issues/4292
    # https://stackoverflow.com/questions/11552926/how-to-read-raw-png-from-an-array-in-python-opencv
    with open(image_full_path, 'rb') as img_stream:
        file_bytes = np.asarray(bytearray(img_stream.read()), dtype=np.uint8)
        img_data_ndarray = cv2.imdecode(file_bytes, cv2.IMREAD_UNCHANGED)
        return img_data_ndarray

# OpenCVを使用した何らかの処理
img = imread_jp('test.png')
img = cv2.fastNlMeansDenoisingColored(img,None,10,10,7,21)

# tesseractをインストールしたフォルダにパスが通っていること
tools = pyocr.get_available_tools()
text=tools[0].image_to_string(
    Image.fromarray(img),
    lang='jpn',
    builder=pyocr.builders.TextBuilder()
)
print(text)

下記の実装ではノイズの除去だけでなく角度の調整も行っています。
https://github.com/mima3/pdf_udon/blob/master/convert_text.py

テキスト座標の取得

TextBuilder()の代わりに、LineBoxBuilder(),WordBoxBuilder()を使用することで、行の位置や単語の位置も取得できます。

import pyocr
import pyocr.builders
from PIL import Image

# tesseractをインストールしたフォルダにパスが通っていること
tools = pyocr.get_available_tools()
line_boxs=tools[0].image_to_string(
    Image.open('test.png'),
    lang='jpn',
    builder=pyocr.builders.LineBoxBuilder()
)

for line_box in line_boxs:
    # 件 名 : バブ リッ クコ メン ト へ の 意見 ((68, 182), (235, 191))
    print(line_box.content, line_box.position)
    for word_box in line_box.word_boxes:
        print('  ', word_box.content, word_box.position)

出力例

件 名 : バブ リッ クコ メン ト へ の 意見 ((68, 182), (235, 191))
   件 ((68, 182), (87, 190))
   名 ((80, 172), (92, 200))
   : ((99, 172), (106, 200))
   バブ ((113, 182), (128, 191))
   リッ ((131, 182), (144, 190))
   クコ ((148, 183), (165, 191))
   メン ((168, 183), (186, 190))
   ト ((190, 182), (195, 190))
   へ ((197, 184), (204, 190))
   の ((207, 183), (215, 190))
   意見 ((217, 182), (235, 191))

GoogleドキュメントをOCRとして使う

Googleドライブにアップロードした画像をGoogleドキュメントとして開くことにより、画像に含まれている文字を認識してテキストに変換してくれます。

以下の実装はGoogleDriveのAPIを使用して画像をアップロードして、Googleドキュメントとして開いた内容のテキストを取得するサンプルになります。

https://github.com/mima3/pdf_udon/blob/master/convert_text_googledoc.py

このサンプルを実行するにはGoogle DriveにCSVをアップロードしてGoogleスプレッドシートとして編集後、ダウンロードするで紹介した前提条件を満す必要があります。

なお、Googleドキュメントに変換する場合、どうしてもローカルでtesseractを使用する場合より、速度的に劣ります。

OCR実行結果

今回紹介した方法で香川県のゲーム依存症対策パブリックコメントの画像からテキストを抽出した結果は以下の通りです。

https://github.com/mima3/pdf_udon/releases

ダウンロードすると各方式で取得したテキストを格納したSQLiteが取得できます。

目的

今回はGoogle DriveniにCSVをアップロードしてGoogleスプレッドシートとして編集してみます。

まず、前提条件として以下のチュートリアルを実行してください。

Google Drive API- Python Quickstart
https://developers.google.com/drive/api/v3/quickstart/python

Google Sheets API- Python Quickstart
https://developers.google.com/sheets/api/quickstart/python

上記のチュートリアルで以下のことが行われると思います。

• Google APIを使用するためのプロジェクトが作成される
• 作成したプロジェクトにてGoogle Drive APIが有効になる。
• 作成したプロジェクトにてGoogle SheetsのAPIが有効になる。
• 認証用の情報を格納したJSONを取得している
• Pythonのライブラリで下記をインストールしている。
  • google-api-python-client
  • google-auth-httplib2
  • google-auth-oauthlib

実験

Google DriveにCSVをアップロードする

コード

from __future__ import print_function
import sys
import pickle
import io
import os.path
from googleapiclient.discovery import build
from google_auth_oauthlib.flow import InstalledAppFlow
from google.auth.transport.requests import Request
from apiclient.http import MediaFileUpload
from googleapiclient.http import MediaIoBaseDownload

# スコープについては下記を参照してください.
# https://developers.google.com/drive/api/v3/about-auth
# 変更した場合は「token.pickle」を削除する必要があります.
SCOPES = [
    'https://www.googleapis.com/auth/drive'
]

def authenticate(client_secret_json_path):
    """QuickStartで行った認証処理と同じ認証処理を行う
    https://developers.google.com/drive/api/v3/quickstart/python
    """
    creds = None
    # ファイルtoken.pickleはユーザーのアクセストークンと更新トークンを格納し、
    # 認証フローが初めて完了すると自動的に作成されます。
    if os.path.exists('token.pickle'):
        with open('token.pickle', 'rb') as token:
            creds = pickle.load(token)
    # 有効な資格情報がない場合は、ユーザーにログインさせます。
    if not creds or not creds.valid:
        if creds and creds.expired and creds.refresh_token:
            creds.refresh(Request())
        else:
            # ユーザーにブラウザーで認証URLを開くように指示し、ユーザーのURLを自動的に開こうとします。
            # ローカルWebサーバーを起動して、認証応答をリッスンします。
            # 認証が完了すると、認証サーバーはユーザーのブラウザーをローカルWebサーバーにリダイレクトします。
            # Webサーバーは、応答とシャットダウンから認証コードを取得します。その後、コードはトークンと交換されます
            flow = InstalledAppFlow.from_client_secrets_file(client_secret_json_path, SCOPES)
            creds = flow.run_local_server(port=0)
        # 次回実行のために「google.oauth2.credentials.Credentials」をシリアライズ化して保存します。
        # https://google-auth.readthedocs.io/en/latest/reference/google.oauth2.credentials.html
        with open('token.pickle', 'wb') as token:
            pickle.dump(creds, token)
    return creds

def main(client_secret_json_path):
    """CSVのアップロードを行う"""
    creds = authenticate(client_secret_json_path)
    service_drive = build('drive', 'v3', credentials=creds)

    # CSVをGoogleスプレッドシートで編集できるようにUploadします.
    # https://developers.google.com/drive/api/v3/manage-uploads#python
    file_metadata = {
        'name': 'Test',
        'mimeType': 'application/vnd.google-apps.spreadsheet'
    }
    media = MediaFileUpload('test.csv',
                            mimetype='text/csv',
                            resumable=True)
    file = service_drive.files().create(body=file_metadata,
                                    media_body=media,
                                    fields='id').execute()
    print('File ID: %s' % file.get('id'))

if __name__ == '__main__':
    # 第1引数にQuickStartで作成したcredentials.jsonのパスを指定してください.
    main(sys.argv[1])

結果

コンソール
以下のように作成したファイルIDが出力されます

>python hello1.py client_secret.json
File ID: 1iJAdUMkXraufM3Wu0bsbzZvXZLxQQPNYaDvwd6nj97w

Google Drive
「Test」という名称のSheetsが追加されます。

スプレッドシートを開くと「Test」というシートにCSVの内容が表示されています。

Google DriveにアップロードしたCSVをGoogle Sheets APIで編集する

B列とC列を全て変更するサンプルです。
C列はGOOGLETRANSLATEを使用してB列の内容を日本語から英語に翻訳しています。

コード

from __future__ import print_function
import sys
import pickle
import io
import os.path
from googleapiclient.discovery import build
from google_auth_oauthlib.flow import InstalledAppFlow
from google.auth.transport.requests import Request

# スコープについては下記を参照してください.
# https://developers.google.com/drive/api/v3/about-auth
# 変更した場合は「token.pickle」を削除する必要があります.
SCOPES = [
    'https://www.googleapis.com/auth/drive'
]

def authenticate(client_secret_json_path):
    """QuickStartで行った認証処理と同じ認証処理を行う
    https://developers.google.com/drive/api/v3/quickstart/python
    """
    creds = None
    # ファイルtoken.pickleはユーザーのアクセストークンと更新トークンを格納し、
    # 認証フローが初めて完了すると自動的に作成されます。
    if os.path.exists('token.pickle'):
        with open('token.pickle', 'rb') as token:
            creds = pickle.load(token)
    # 有効な資格情報がない場合は、ユーザーにログインさせます。
    if not creds or not creds.valid:
        if creds and creds.expired and creds.refresh_token:
            creds.refresh(Request())
        else:
            # ユーザーにブラウザーで認証URLを開くように指示し、ユーザーのURLを自動的に開こうとします。
            # ローカルWebサーバーを起動して、認証応答をリッスンします。
            # 認証が完了すると、認証サーバーはユーザーのブラウザーをローカルWebサーバーにリダイレクトします。
            # Webサーバーは、応答とシャットダウンから認証コードを取得します。その後、コードはトークンと交換されます
            flow = InstalledAppFlow.from_client_secrets_file(client_secret_json_path, SCOPES)
            creds = flow.run_local_server(port=0)
        # 次回実行のために「google.oauth2.credentials.Credentials」をシリアライズ化して保存します。
        # https://google-auth.readthedocs.io/en/latest/reference/google.oauth2.credentials.html
        with open('token.pickle', 'wb') as token:
            pickle.dump(creds, token)
    return creds

def main(client_secret_json_path, file_id):
    """Googleスプレッドシートの更新を行う"""
    creds = authenticate(client_secret_json_path)
    service_sheets = build('sheets', 'v4', credentials=creds)
    result = service_sheets.spreadsheets().values().get(
        spreadsheetId=file_id,
        range="Test!A1:A").execute()
    print("行数", len(result.get('values')))

    # 全ての行のB列とC列を書き換える
    values = []
    for i in range(len(result.get('values'))):
        values.append(
            [
                # A列に文字を追加した内容をB列に埋め込む
                'こんにちわ ' + result.get('values')[i][0],
                # B列を日本語から英語に翻訳する数式をC列に埋め込む
                '=GOOGLETRANSLATE(indirect("RC[-1]", false),"ja","en")'
            ]
        )

    body = {
        'values': values
    }
    result = service_sheets.spreadsheets().values().update(
        spreadsheetId=file_id,
        range="Test!B1:C",
        valueInputOption='USER_ENTERED',
        body=body
    ).execute()
    print('{0} cells updated.'.format(result.get('updatedCells')))

if __name__ == '__main__':
    # 第1引数にQuickStartで作成したcredentials.jsonのパスを指定してください.
    # 第2引数に編集対象のGoogleスプレッドシートのFile IDを指定してください。
    # https://docs.google.com/spreadsheets/d/[ここの値を入力]/edit#gid=XXXXX
    main(sys.argv[1], sys.argv[2])

結果

すべての行のB列とC列が変更されていることが確認できます。
また、C列の数式も機能しています。

編集したCSVのダウンロード方法

指定のGoogle Drive中のファイルをローカルPCにダウンロードします。

コード

from __future__ import print_function
import sys
import pickle
import io
import os.path
from googleapiclient.discovery import build
from google_auth_oauthlib.flow import InstalledAppFlow
from google.auth.transport.requests import Request
from googleapiclient.http import MediaIoBaseDownload

# スコープについては下記を参照してください.
# https://developers.google.com/drive/api/v3/about-auth
# 変更した場合は「token.pickle」を削除する必要があります.
SCOPES = [
    'https://www.googleapis.com/auth/drive'
]

def authenticate(client_secret_json_path):
    """QuickStartで行った認証処理と同じ認証処理を行う
    https://developers.google.com/drive/api/v3/quickstart/python
    """
    creds = None
    # ファイルtoken.pickleはユーザーのアクセストークンと更新トークンを格納し、
    # 認証フローが初めて完了すると自動的に作成されます。
    if os.path.exists('token.pickle'):
        with open('token.pickle', 'rb') as token:
            creds = pickle.load(token)
    # 有効な資格情報がない場合は、ユーザーにログインさせます。
    if not creds or not creds.valid:
        if creds and creds.expired and creds.refresh_token:
            creds.refresh(Request())
        else:
            # ユーザーにブラウザーで認証URLを開くように指示し、ユーザーのURLを自動的に開こうとします。
            # ローカルWebサーバーを起動して、認証応答をリッスンします。
            # 認証が完了すると、認証サーバーはユーザーのブラウザーをローカルWebサーバーにリダイレクトします。
            # Webサーバーは、応答とシャットダウンから認証コードを取得します。その後、コードはトークンと交換されます
            flow = InstalledAppFlow.from_client_secrets_file(client_secret_json_path, SCOPES)
            creds = flow.run_local_server(port=0)
        # 次回実行のために「google.oauth2.credentials.Credentials」をシリアライズ化して保存します。
        # https://google-auth.readthedocs.io/en/latest/reference/google.oauth2.credentials.html
        with open('token.pickle', 'wb') as token:
            pickle.dump(creds, token)
    return creds

def main(client_secret_json_path, file_id):
    """Googleスプレッドシートのダウンロードを行う"""
    creds = authenticate(client_secret_json_path)
    service_drive = build('drive', 'v3', credentials=creds)

    # download
    request = service_drive.files().export_media(fileId=file_id, mimeType='text/csv')
    fh = io.BytesIO()
    downloader = MediaIoBaseDownload(fh, request)
    done = False
    while done is False:
        status, done = downloader.next_chunk()
        print ("Download %d%%." % int(status.progress() * 100))
    with open('download.csv', 'wb') as f:
        f.write(fh.getvalue())

if __name__ == '__main__':
    # 第1引数にQuickStartで作成したcredentials.jsonのパスを指定してください.
    # 第2引数に編集対象のGoogleスプレッドシートのFile IDを指定してください。
    # https://docs.google.com/spreadsheets/d/[ここの値を入力]/edit#gid=XXXXX
    main(sys.argv[1], sys.argv[2])

注意

元ファイルの行数によってはダウンロード時に翻訳が完了していない場合があります。
もし翻訳が完了するまで待つ場合は以下のようにします。

https://github.com/mima3/pdf_translate/blob/master/translate_google_sheets.py#L45

はじめに

下記の記事でPyPDF2とreportlabを用いてPDFの点線を実線に置き換える実験を行いました。

• PDFの点線を実線におきかえる(PyPDF2 + reportlab)

この時、PyPDF2の制限で保存したPDFのサイズが増加しました。

今回は別のライブラリを用いて、同じ処理を行います。

PyMuPDF

PyMuPDFはPythonを使用してMuPDFを操作します。
MuPDFは軽量の軽量のPDF、XPS、および電子書籍ビューアです。
ピュアなPythonで記載されたPyPDF2と異なりパフォーマンスの向上が期待できます。
パフォーマンスの詳細は下記を参照してください。
https://pymupdf.readthedocs.io/en/latest/app1/#

簡単な例

以下のサンプルはPDFの内容をSVGに出力後、左上に四角を描画します。
入力に使用しているPDFは以下のものを使用しています。
https://github.com/atlanhq/camelot/files/3565115/Test.pdf

import fitz

doc = fitz.open('test.pdf')
print(doc.pageCount)
page = doc.loadPage(0)
print('ページの領域:', page.rect)
# SVGとして出力
with open('tmp1.svg', 'w') as fp:
    fp.write(page.getSVGimage())

# 左上に四角を描画
rect = fitz.Rect(0, 10, 300, 40)
page.drawRect(rect, color=(1,0,0), width=1)

#doc.saveIncr()   # update file. Save to new instead by doc.save("new.pdf",...)
doc.save("new.pdf")

出力されたSVGをChromeで表示した結果は以下の通りとなります。

点線が削除されています。
また、残念なことにPyPDF2で行ったようにオペコードを直接取得はできないようなので、正確に座標情報を取得したい場合はPyPDF2を用いる必要があるでしょう。

次に、図形を描画したPDFを見てみます。

PyPDF2+reportlabで使用した場合とPyMuPDFで座標が異なることに注意してください。
前者は（0、0）を左下としていますが、MuPDFはページの左上隅を（0、0）としています。これについては下記のIssueで言及されています。

Question: is PyMuPDF rect compatible with reportlab rect? #348
https://github.com/pymupdf/PyMuPDF/issues/348

点線の実線にする

ではPDFの点線を実線におきかえる(PyPDF2 + reportlab)で行ったのと同じように処理を行います。

線情報の取得方法は同じですが、ファイルの書き込みをPyMuPDFで行います。

対象のPDFは以下になります。
https://github.com/mima3/yakusyopdf/blob/master/20200502/%E5%85%B5%E5%BA%AB%E7%9C%8C.pdf

import fitz
import PyPDF2
from PyPDF2.pdf import ContentStream
from PyPDF2.utils import b_

def get_rectangle(content):
    result = []
    for operands, operator in content.operations:
        if operator == b_('re'):
            result.append(fitz.Rect(operands[0], operands[1], operands[0]+ operands[2], operands[1] + operands[3]))
    return result

def read_pdf(path):
    rects = []
    with open(path, "rb") as input_stream:
        input_pdf = PyPDF2.PdfFileReader(input_stream)
        for page in range(input_pdf.numPages):
            print('read', page + 1, '/', input_pdf.numPages)
            page_obj = input_pdf.getPage(page)
            content = page_obj['/Contents'].getObject()
            if not isinstance(content, ContentStream):
                content = ContentStream(content, input_pdf)
            rects.append(get_rectangle(content))

    return rects

path = "test/兵庫県.pdf"
rects = read_pdf(path)
doc = fitz.open(path)
ix = 0
for page in doc:
    print('write', ix + 1, '/', len(doc))
    for rc in rects[ix]:
        # https://github.com/pymupdf/PyMuPDF/issues/348
        new_rc = rc * page._getTransformation()
        page.drawRect(new_rc, color=(1,0,0), width=1)
    ix += 1
# https://pymupdf.readthedocs.io/en/latest/tutorial/#saving
doc.save("new.pdf",  garbage=4, clean=1, deflate=1)  # or doc.saveIncr() 

PyMuPDFでは保存時に圧縮の指定や余分なオブジェクトの削除が行えるので、ファイルサイズを抑えることが可能になっています。

まとめ

PyMuPDFを用いることでファイルサイズを抑制して図形を描画することが可能であることが確認できました。

今回はPyPDF2で線の座標を取得していますが、完全な線でなくていいなら、SVGから線の座標情報を取得することも可能であると思います。