{ "componentChunkName": "component---src-templates-blog-post-jsx", "path": "/post/goya-yet-another-japanese-morphological-analyzer/", "result": {"data":{"site":{"siteMetadata":{"title":"WEB EGG","author":"Leko - CTO at Yuimedi"}},"markdownRemark":{"id":"074908a1-15cd-506d-bbd5-04996dafc30f","excerpt":"Goyaという形態素解析器を Rust で作りました。本記事は利用者目線で Goya の紹介をします。技術的な詳細については別途記事を書きます。 形態素解析とは？ （このセクションは形態素解析の基礎の話なので知ってる方は読み飛ばしてください） 形態素解析（けいたいそかいせき、Morphological Analysis…","html":"

Goyaという形態素解析器を Rust で作りました。本記事は利用者目線で Goya の紹介をします。技術的な詳細については別途記事を書きます。

\n

形態素解析とは？

\n

（このセクションは形態素解析の基礎の話なので知ってる方は読み飛ばしてください）

\n
\n

形態素解析（けいたいそかいせき、Morphological Analysis）とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する作業である。

\n

— 形態素解析 - Wikipedia

\n
\n

例えば早口言葉の”すもももももももものうち”（スモモも桃も桃のうち）という言葉を形態素解析すると以下のような結果が得られます。スモモや桃が名詞、間にある”も・の”は助詞と解析されました。

\n
すもも\t名詞,一般,*,*,*,*,すもも,スモモ,スモモ\nも\t助詞,係助詞,*,*,*,*,も,モ,モ\nもも\t名詞,一般,*,*,*,*,もも,モモ,モモ\nも\t助詞,係助詞,*,*,*,*,も,モ,モ\nもも\t名詞,一般,*,*,*,*,もも,モモ,モモ\nの\t助詞,連体化,*,*,*,*,の,ノ,ノ\nうち\t名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
\n

この解析結果は日本語として正しいのかについては言語学の専門家に委ねるとして、技術的に重要なことは単語の境界を機械的に判定できることです。文章を形態素に分解することで全文検索用のインデックスを生成したり、品詞解析や構文解析・係受け解析、キーワード抽出や文章要約など様々な自然言語処理が適用可能になります。よく知られた形態素解析ライブラリとしてはMeCabやChaSen、Juman++、kuromoji、kuromoji.jsなどが挙げられます。

\n

Goya とは？

\n

Goya は Rust で実装された形態素解析ライブラリです。形態素解析ライブラリの大御所MeCab から実装のアイデアを多く頂いています。

\n\n

WASM 版のオンラインデモはこちらです。

\n

https://goya.pages.dev

\n

（CDN でレスポンス時に動的に Brotli 圧縮をかけてるため初回の読み込みが遅いことがありますが、２回目以降の読み込み・解析は比較的高速です）

\n

CLI を試す

\n

CLI からも Goya を利用できます。

\n
    \n
  1. MeCab の公式サイトから IPA 辞書をダウンロードし、解凍します
    2. \n
  2. cargo 経由で CLI をインストールします\n
    cargo install goya-cli
    \n
    3. \n
  3. goya compileコマンドで解析に使用する辞書をコンパイルします。環境によりますが 1-2 分かかります\n
    goya compile /path/to/mecab/ipadic
    \n
    4. \n
  4. goya コマンドに標準入力からテキストを与えると形態素解析の結果が出力されます\n
    $ echo すもももももももものうち | goya\nすもも\t名詞,一般,*,*,*,*,すもも,スモモ,スモモ\nも\t助詞,係助詞,*,*,*,*,も,モ,モ\nもも\t名詞,一般,*,*,*,*,もも,モモ,モモ\nも\t助詞,係助詞,*,*,*,*,も,モ,モ\nもも\t名詞,一般,*,*,*,*,もも,モモ,モモ\nの\t助詞,連体化,*,*,*,*,の,ノ,ノ\nうち\t名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ\nEOS
    \n
    5. \n
\n

複数行のテキストを一度に与えることもできます。改行区切りでそれぞれの行を処理します。goya CLI は現状プロセス起動時のバイナリ辞書を読み込むオーバーヘッドが大きいため、１プロセスに複数のテキストをまとめて解析させる方が効率的です。

\n
$ cat in.txt\nれこと申します\n東京特許許可局\n\n$ goya < in.txt\nれこ    名詞,一般,*,*,*,*,れこ,レコ,レコ\nと      助詞,格助詞,引用,*,*,*,と,ト,ト\n申し    動詞,自立,*,*,五段・サ行,連用形,申す,モウシ,モーシ\nます    助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス\nEOS\n東京    名詞,固有名詞,地域,一般,*,*,東京,トウキョウ,トーキョー\n特許    名詞,サ変接続,*,*,*,*,特許,トッキョ,トッキョ\n許可    名詞,サ変接続,*,*,*,*,許可,キョカ,キョカ\n局      名詞,接尾,一般,*,*,*,局,キョク,キョク\nEOS
\n

用語：素性（feature）

\n

以降の説明に”素性”という用語がたびたび登場します。英語では feature と言います。混乱を避けるために明示しますが、ここでいう feature は feature request などの feature（機能）や、Rust でコンパイル内容を制御する feature でもなく、言語学の用語です。 一言で説明するなら「形態素解析の動作には必要ない形態素ごとのメタ情報」です。具体例として形態素解析の結果の一行を抜粋します。

\n
すもも\t名詞,一般,*,*,*,*,すもも,スモモ,スモモ
\n
\n

左から,\n表層形\\t品詞,品詞細分類 1,品詞細分類 2,品詞細分類 3,活用型,活用形,原形,読み,発音\nとなっています。

\n

— MeCab: Yet Another Part-of-Speech and Morphological Analyzer

\n
\n

“表層形”とは見出し語のことだと解釈して問題ありません。この結果のうち、表層形を除いたその他全ての情報を素性（feature）と呼びます。 MeCab の IPA 辞書にはデフォルトで上記の素性が定義されていますが、仕様としてはユーザが任意個のフィールドを独自に定義可能な任意項目で、全項目が省略可能です。

\n

プログラムからの利用

\n

CLI 以外では Goya は以下のユースケースを想定しています。

\n\n

goya-coreとgoya-featuresが分かれている理由は WASM のサイズ削減のためです。素性は IPA 辞書に登録された数十万件の語彙のメタデータなのでかなりデータ量が大きいです。分かち書きなどの素性を必要としないユースケースでは core だけ使用し、品詞などの素性が必要なユースケースでは goya-features を併用する想定です。

\n

WASM での利用

\n

Node.js なら普通の npm パッケージのように使えます。ブラウザでは ES Modules か何かしらの bundler を使用することになると思います。.d.tsをパッケージに含めているため TS の型も効きます。

\n

詳しいインストール方法やその他サンプルコードはリポジトリを参照してください。

\n

分かち書き

\n

goya-core を import して parse 関数を使用します。parse メソッドの戻り値から各種メソッドを呼べるようにしています。\n分かち書きをするならwakachiメソッドを使用します。

\n
import core from 'goya-core'\n\nconst lattice = core.parse('すもももももももものうち')\nlattice.wakachi() // => [\"すもも\", \"も\", \"もも\", \"も\", \"もも\", \"の\", \"うち\"]
\n

形態素解析

\n

形態素解析の結果を得るにはfind_bestメソッドを使用します。find_best は形態素の配列を返します。各形態素はこれらのフィールドを持っています。サイズ削減のためこのオブジェクトは品詞や読み仮名などの素性を持っていません。

\n\n
lattice.find_best()[0].surface_form // => \"すもも\"\nlattice.find_best()[0].is_known // => true\nlattice.find_best()[0].wid // => 次項で説明
\n

素性（features）の取得

\n

品詞や読み仮名などの素性を得るにはgoya-featuresパッケージのget_features関数を利用します。各形態素が持つwidの配列を渡し対応する素性の配列を得ます。
\n戻り値は渡したwidごとに素性（string[]）の配列（つまりstring[][]）となります。素性の各要素は MeCab IPA 辞書を何も改変せず使った場合、その通りの順序（品詞,品詞細分類 1,品詞細分類 2,品詞細分類 3,活用型,活用形,原形,読み,発音）になっています。辞書のカスタマイズや容量削減のため不要な素性を削るケースを考慮しているため、あえてプロパティ名を付けず辞書の CSV 通りの順序をそのまま返しています。特定の品詞を取りたいケースでは、お使いの辞書に合わせて添字を定数化しておくと多少なり可読性が増すと思います。ただし、辞書はカスタマイズ可能であり添字は可変のためこの定数は goya としては提供できません。

\n
import { get_features } from 'wasm-features'\n\n// MeCab IPA辞書のデフォルトでは品詞(Part of Speech)は添字0\nconst INDEX_POS = 0\n\nconst morphemes = lattice.find_best()\n// widの配列から素性の配列を得る\nconst features = get_features(morphemes.map(morph => morph.wid))\n// 1要素ずつ取得してもいいが、まとめて取得する方がオーバーヘッドが少なく高速\nget_features([morphemes[0].wid])\n\nmorphemes.forEach(({ surface_form }, i) => {\n  const feature = features[i] // 渡したwid通りの順序で素性が得られる\n  const line = surface_form + '\\t' + feature.join(',')\n  console.log(line) // => \"すもも\\t名詞,一般,*,*,*,*,すもも,スモモ,スモモ\"\n  console.log(feature[INDEX_POS]) // => \"名詞\"\n})
\n

実行速度

\n

最後に実行速度の比較です。動作確認に使用したマシンは以下の通りです。
\n実行環境によってパフォーマンスは変わると思うので、ご自身の環境でも試してもらえればと思います。

\n
MacBook Pro (13-inch, 2020, Four Thunderbolt 3 ports)\n2.3 GHz Quad-Core Intel Core i7\n32 GB 3733 MHz LPDDR4X\nIntel Iris Plus Graphics 1536 MB
\n

CLI

\n

まず Goya CLI と MeCab CLI の速度を比較します。ITA コーパスの文章リスト公開用リポジトリにて掲載されている 424 文を整形してテキストファイルに書き出し、１プロセスで 424 文全て解析した時の実行時間を比較してみました。

\n

MeCab は 25ms くらいです。

\n
time mecab < ita-corpus.txt > /dev/null\n\nreal    0m0.024s\nuser    0m0.014s\nsys     0m0.007s
\n

Goya は 165ms くらいでした。遅い。

\n
time goya < ita-corpus.txt > /dev/null\n\nreal    0m0.165s\nuser    0m0.104s\nsys     0m0.064s
\n

Goya が遅い主な原因はプロセス起動時のバイナリ辞書の読み込みです。辞書を全てメモリ上に展開する処理が初期化にて発生するため、空のテキストファイル（初期化だけして何もせず終了）でも 140ms ほどかかっています。特に素性はデータ量がかなり大きいのでこれの復元が遅いです。

\n
touch empty.txt\ntime goya < empty.txt\n\nreal    0m0.140s\nuser    0m0.075s\nsys     0m0.063s
\n

例えば Rust の軽量 KVS のsledなどを用いて、辞書をメモリ上に復元しないアプローチで初期化コストを削れば MeCab に近いパフォーマンスが出せそうです。ただ、sled は WASM で動作しないので、あくまで CLI や Rust での使用に限った改善案ですが。

\n

Node.js (WASM)

\n

次に Node.js での速度比較です。ベンチマークとして kuromoji.js と速度を比較します。まずはプロセスの起動から終了までを含めたプロセス全体の速度の比較です。測定に使うテキストは CLI と同じです。ベンチマークのコードはリポジトリにあげてるのでそちらを参照、検証に使用した Node.js のバージョンは v16.11.1 です。

\n
$ time node goya.js < ita-corpus.txt\n$ time node kuromoji.js < ita-corpus.txt
\n\n

この条件なら Goya の方が高速で、メモリ使用量も kuromoji.js と比較して 50％程度に抑えられています。どちらもバイナリの辞書をランタイムで復元するアプローチでかつ MeCab の IPA 辞書をベースにしています。ただし Goya ではバイナリ辞書の構造をデータを損なわない範囲で最適化をしており、バイナリサイズをかなり小さくできています（未圧縮時で Goya 36 MB、kuromoji.js 95 MB）。これが初期化コスト及びメモリ使用量に効いてると思います。

\n

kuromoji.js の作者の方が MAST というアルゴリズムの可能性について言及しており、これを実装すれば初期化のコストをさらに大きく削れるかもしれません。

\n
\n

現在は Double-Array Trie というトライ木の一種を使っていますが、Minimal Acyclic Subsequential Transducer という FST の一種を使うことで、サイズを 1/10 くらいにできるという報告を聞いています。FST の実装については、Go で FST を書いた @ikawaha さんのエントリが参考になります。実装手法も面白いので、ぜひ fst.js を実装してみたいと思っています。
\nLucene で使われてる FST を実装してみた（正規表現マッチ：VM アプローチへの招待） - Qiita

\n

— stop-the-world: ブラウザで自然言語処理 - JavaScript の形態素解析器 kuromoji.js を作った

\n
\n

次に初期化コストを無視して形態素解析だけの速度で比較してみます。bench.js も同リポジトリにあるのでそちらを参照してください。

\n
$ node bench.js < ita-corpus.txt\ngoya x 0.80 ops/sec ±11.92% (6 runs sampled)\nkuromoji x 21.37 ops/sec ±3.45% (39 runs sampled)\nFastest is kuromoji
\n

Goya の惨敗です。Goya も 424 文 x 0.80 = 339 文/秒 くらいパースできていますが、kuromoji.js に 20 倍以上差をつけられています。形態素解析の速度で見ると kuromoji.js の方が圧倒的に早いです。これは単純に形態素解析アルゴリズムの良し悪しの差なので、形態素解析だけでみても kuromoji.js に負けないよう改良していきたいです。

\n

おわりに

\n

以上、Goya の紹介でした。最後にリンクを再掲して終わります。Rust の方も JS の方も WASM の方も NLPer の方も試していただいて何かあれば GitHub issue などでフィードバックいただけたら幸いです。

\n","timeToRead":14,"frontmatter":{"title":"WebAssemblyの形態素解析器GoyaをRustで作った","tags":["JavaScript","TypeScript","WebAssembly","Rust","NLP","形態素解析"],"date":"November 27, 2021","featuredImage":{"childImageSharp":{"fluid":{"tracedSVG":"data:image/svg+xml,%3csvg%20xmlns='http://www.w3.org/2000/svg'%20width='400'%20height='236'%20viewBox='0%200%20400%20236'%20preserveAspectRatio='none'%3e%3cpath%20d='M14%20189l34%201%2036-1-35-1-35%201'%20fill='%23d3d3d3'%20fill-rule='evenodd'/%3e%3c/svg%3e","aspectRatio":1.6954314720812182,"src":"/static/2f5360409c74a20d0fb513eb75283c58/3a46b/2021-10-23-13-31-45.png","srcSet":"/static/2f5360409c74a20d0fb513eb75283c58/1ec58/2021-10-23-13-31-45.png 334w,\n/static/2f5360409c74a20d0fb513eb75283c58/3a46b/2021-10-23-13-31-45.png 593w","srcWebp":"/static/2f5360409c74a20d0fb513eb75283c58/74aa6/2021-10-23-13-31-45.webp","srcSetWebp":"/static/2f5360409c74a20d0fb513eb75283c58/cd98f/2021-10-23-13-31-45.webp 334w,\n/static/2f5360409c74a20d0fb513eb75283c58/74aa6/2021-10-23-13-31-45.webp 593w","sizes":"(max-width: 593px) 100vw, 593px"}}}}}},"pageContext":{"slug":"/goya-yet-another-japanese-morphological-analyzer/","previous":{"fields":{"slug":"/what-gadgets-i-bought-in-2020/"},"frontmatter":{"title":"2020年に買って良かったガジェット・家電・備品たち","tags":null}},"next":{"fields":{"slug":"/2021-javascript-typescript-trending-history/"},"frontmatter":{"title":"GitHubのトレンドで振り返る2021年のJavaScript/TypeScript","tags":["JavaScript","TypeScript","GitHub"]}}}}, "staticQueryHashes": ["2585454260","2954598359"]}