桃缶食べたい。

#!/usr/bin/env python
# -*- coding: utf-8 -*-

#################################################################
#
#  MeCab 用の辞書の文字コードを、任意の文字コードに変換する
#
#################################################################

import sys 
import shutil
import os

# http://docs.python.jp/2/library/argparse.html
import argparse

class MecabDictionaryEncoder:
	SUPPORTED_CHARSET = [
 'shift_jis', 'utf-8', 'euc_jp', 'cp932', 'euc_jis_2004','euc_jisx0213',
 'iso2022_jp','iso2022_jp_1', 'iso2022_jp_2','iso2022_jp_2004','iso2022_jp_3',
 'iso2022_jp_ext', 'shift_jis_2004','shift_jisx0213','utf_16','utf_16_be',
 'utf_16_le','utf_7','utf_8_sig'
 ]   
	BACKUP_DIR = 'backup'

	def encodeDictFilesIn(self, dictDir, srcCharset, dstCharset):
		# オリジナルのファイルのバックアップ用ディレクトリを作る
		backupDir = os.path.join(dictDir, self.BACKUP_DIR)
		if not os.path.exists(backupDir):
			os.makedirs(backupDir)
		print 'backup original files to %s' % backupDir

		for file in os.listdir(dictDir):
			if file.endswith('.csv') or file.endswith('.def'):
				srcFile = os.path.join(dictDir, file)
				backupFile = os.path.join(backupDir, file)

				# 変換するファイルをバックアップする
				shutil.move(srcFile, backupFile)

				try:
					# 指定の文字コードから変換する
					self.encodeDictFile(backupFile, srcFile, srcCharset, dstCharset)
				except:
					# 失敗した場合、文字コードを自動判定して変換する
					for charset in self.SUPPORTED_CHARSET:
						try:
							self.encodeDictFile(backupFile, srcFile, charset, dstCharset)
							break
						except:
							#raise
							continue
					else:
						# 失敗したファイルは元にもどしておく
						print 'failed to encode %s' % srcFile
						shutil.move(backupFile, srcFile)

	def encodeDictFile(self, srcFile, dstFile, srcCharset, dstCharset):
		print 'encode %s from %s...' % (dstFile, srcCharset)

		try:
			src = open(srcFile, 'r')
			dst = open(dstFile, 'w')

			for line in src.readlines():
				line = line.decode(srcCharset)
				line = line.encode(dstCharset)
				dst.write(line)
		finally:
			if src:
				src.close()
			if dst:
				dst.close()


if __name__ == '__main__':
	parser = argparse.ArgumentParser(description='MeCab の辞書の文字コードを任意の文字コードに変換する。変換対象のファイルは形態素を記載した .csv と、品詞の定義などを記載した .def になる。')
	parser.add_argument('-d', '--dictDir', metavar='dir', type=str, default='.', help='文字コードを変換する辞書が格納されているディレクトリ\nデフォルトではカレントディレクトリ')
	parser.add_argument('-s', '--srcCharset', metavar='charset', type=str, default='euc_jp', help='変換する辞書の現在の文字コード。この文字コードで辞書の読み取りに失敗した場合には自動検出が行われる。\nデフォルトでは EUC JP')
	parser.add_argument('-t', '--dstCharset', metavar='charset', type=str, default='utf-8', help='辞書の変換先文字コード\nデフォルトでは UTF8')
	args = parser.parse_args(sys.argv[1:])

	encoder = MecabDictionaryEncoder()
	encoder.encodeDictFilesIn(args.dictDir, args.srcCharset, args.dstCharset)

encodeDictCharset.py の機能

辞書の変換対象のファイル

変換もと、変換先の文字コード

IPA 辞書の文字コードを UTF8 に変換する

$ tar xvfz mecab-ipadic-2.7.0-20070801.tar.gz

$ python encodeDictCharset.py -d mecab-ipadic-2.7.0-20070801

$ mkdir newDict
$ /usr/local/libexec/mecab/mecab-dict-index -d mecab-ipadic-2.7.0-20070801 -o newDict
$ cp mecab-ipadic-2.7.0-20070801/dicrc newDict/

UTF8 化した IPA 辞書を使ってみる

$ echo "昨日カスピアン王子のつのぶえを読み終えた" | mecab -d newDict
昨日	名詞,副詞可能,*,*,*,*,昨日,キノウ,キノー
カスピアン	名詞,一般,*,*,*,*,*
王子	名詞,固有名詞,地域,一般,*,*,王子,オウジ,オージ
の	助詞,連体化,*,*,*,*,の,ノ,ノ
つ	助動詞,*,*,*,下二・タ行,基本形,つ,ツ,ツ
のぶえ	名詞,固有名詞,人名,名,*,*,のぶえ,ノブエ,ノブエ
を	助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
読み	動詞,自立,*,*,五段・マ行,連用形,読む,ヨミ,ヨミ
終え	動詞,非自立,*,*,一段,連用形,終える,オエ,オエ
た	助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
EOS

$ head mecab-ipadic-2.7.0-20070801/Noun.csv 
仕舞い,1285,1285,5543,名詞,一般,*,*,*,*,仕舞い,シマイ,シマイ
綺,1285,1285,5622,名詞,一般,*,*,*,*,綺,アヤギヌ,アヤギヌ
洋裁,1285,1285,5618,名詞,一般,*,*,*,*,洋裁,ヨウサイ,ヨーサイ
組打ち,1285,1285,5622,名詞,一般,*,*,*,*,組打ち,クミウチ,クミウチ
畿内,1285,1285,5770,名詞,一般,*,*,*,*,畿内,キナイ,キナイ
明き家,1285,1285,5402,名詞,一般,*,*,*,*,明き家,アキヤ,アキヤ
酔,1285,1285,4879,名詞,一般,*,*,*,*,酔,ヨイ,ヨイ
乱臣,1285,1285,5622,名詞,一般,*,*,*,*,乱臣,ランシン,ランシン
シルバー,1285,1285,2925,名詞,一般,*,*,*,*,シルバー,シルバー,シルバー
放課後,1285,1285,5494,名詞,一般,*,*,*,*,放課後,ホウカゴ,ホーカゴ