sumiyaki

このドキュメントについて

• このドキュメントは『sumiyaki』(Sumibi辞書構築ツール)についての解説です。
• sumiyakiは0.5.5以上のソースディストリビューションに含まれています。

sumiyakiとは

• sumiyakiとは、Sumibi辞書構築ツールの名前です。
• Internet上の無数のドキュメント群をコーパスとして辞書構築するためのツールです。

入手方法

sumiyakiツールのダウンロード方法

リリースパッケージを以下のサイトからダウンロードしてください。(0.5.5以上)

セットアップ

sumiyakiのインストール

以下の手順でsumiyakiツールをインストールします。

1. Sumibiのディストリビューションを展開し、make installします

   例)

   tar zxf sumibi-0.5.5.tar.gz
   cd sumibi-0.5.5
   make install
   

sumibi エンジンの設定ファイル .sumibi を用意する

1. Sumibiのディストリビューションに含まれるdot.sumibi.sampleを~/.sumibiという名前で保存します。
2. .sumibiのDB接続の為のパラメータを正しい値に変更します。

   ;; sumiyaki db
   (define sumibi-sumiyakidb-host       "myhostname")
   (define sumibi-sumiyakidb-name       "sumi_bincho_1")
   (define sumibi-sumiyakidb-user       "username")
   (define sumibi-sumiyakidb-password   "password")
   
   ;; sumibi db
   (define sumibi-sumibidb-host         "myhostname")
   (define sumibi-sumibidb-name         "sumi_bincho_1")
   (define sumibi-sumibidb-user         "username")
   (define sumibi-sumibidb-password     "password")
   
   ;; debug flag
   (set! sumibi-debug #f)
   

sumiyakiコマンドの使いかた

• MySQLデータベースの作成

  echo 'create database sumi_bincho_1 DEFAULT CHARACTER SET utf8;' | mysql -u \
      アドミンユーザー
  

• テーブルの初期化

  sumiyaki -c
  

• SKK形式辞書の読み込み

  sumiyaki -i SKK辞書データ
  

• コンテンツの読み込み・辞書学習

  sumiyaki -l プレーンテキストファイル
  

  • 読み込むファイルはプレーンテキストのみです。

    ※ htmlファイルなどは、w3m -dump コマンド等を使って全てプレーンテキストに変換してから読み込ませてください。

  • 文字コードは、sumiyakiコマンドが読みこみ時に自動的にUTF-8に変換するので、SJIS,EUC,UTF-8どれでもOKです。
  • 辞書学習処理の概要は以下の通りです。

    元の文章情報がそのまま辞書に蓄積される訳けではありません。

    読み込んだ文章に出現した隣接する語・1単語離れて隣接する語の共起頻度のカウントを行ないます。

    初めて出現したカタカナ語、ひらがな語、送り仮名のパターンも学習し辞書に登録されていきます。(これも出現頻度を記録します)

• 辞書のサマリー表示

  sumiyaki -s > logファイル
  

炭焼き作業の実際

• テキストファイルの読み込みをする前の準備

  Sumibi辞書用MySQLデータベースの作成〜SKKJISYOの読込までを行った辞書データを炭(Sumibi用辞書)のページで配布していますので、それを使えば準備段階の手間を省けます。

• 複数のテキストファイルをsumiyakiで読み込む方法

  find を使って複数ファイルを順に読み込んでいきます。(以下はコマンド実行例です)

  find データディレクトリ名 -name '*.txt' -exec sumiyaki -l {} ; > log
  

• 実際にWikipedia日本語版のプレーンテキストデータを読み込む方法

  find ./data -name '*.txt' -exec sumiyaki -l {} ; > log
  

Wikipedia日本語版をsumiyaki用プレーンテキストに変換する

プレーンテキストに変換済みのデータ

• プレーンテキスト変換済みWikipedia日本語版 (166M) [md5=5199a7e92fdf2152951f43f94c2a77f0]をダウンロードする
• プレーンテキストに変換するのは面倒なのであらかじめ変換したデータを配布します。
• このデータのライセンスはWikipedia日本語版のオリジナルのライセンスを加工したものなので、GFDLです。

プレーンテキストに変換する手順(上記データをダウンロードする場合は以下の作業は不要です)

• WikiepdiaのXMLアーカイブをダウンロードする
  • XMLフォーマットのWikipedia日本語版 2005年7月13日のスナップショット (176M) [md5=b09538c3a1bf7b3d039d091993ae64ac]をダウンロードする
  • このデータのライセンスはGFDLです。
  • Wikipedia本家のサイトでは最新のスナップショットしか置いていないため、本サイトではコンバート処理の再現性を優先して上記の2005年7月13日のスナップショットを再配布しています。
• xmlからプレーンテキストデータを抽出するツールxml2sql-0.2をダウンロードしてビルドします。

  作者のマシンで実験した限りでは、2005年7月13日版よりも新しいスナップショットでは、xml2sql-0.2というバージョンではxmlフォーマットの読み込みに失敗しました。

  特別な理由がない場合は、本サイトで配布しているアーカイブを使って下さい。

• xml2sqlでmysqlimport形式に変換する

  gunzip -c 20050713_pages_current.xml.gz | xml2sql
  

  ※複数の.txt ファイルが生成されますが、このうちの text.txtだけを使用します。

• 次のperlスクリプトで./dataディレクトリに1行を1ファイルで出力する。(ついでに不要な記号も除去する)

  #!/usr/bin/perl
  
  my( $no ) = 1;
  
  foreach ( <> ) {
      s/[[//g;
      s/]]//g;
      s/</?[^>]+>//g;
      s/\n/ /g;
      $line = $_;
      open( FP, sprintf( ">data/%07d.txt", $no++ ));
      print FP $line;
      close FP;
  }