{ "componentChunkName": "component---src-templates-blog-post-jsx", "path": "/post/how-to-implement-fulltext-search-with-fuelphp/", "result": {"data":{"site":{"siteMetadata":{"title":"WEB EGG","author":"Leko - CTO at Yuimedi"}},"markdownRemark":{"id":"1d51f844-2116-55b2-90e3-52232cd83cee","excerpt":"こんにちは。お久しぶりの更新です。 「入力内容に対する類似テキストの検索」を実装する機会があったので、FuelPHPでInnoDBの全文検索を利用してみました。 とはいえFuel…","html":"

こんにちは。お久しぶりの更新です。

\n

「入力内容に対する類似テキストの検索」を実装する機会があったので、FuelPHPでInnoDBの全文検索を利用してみました。
\nとはいえFuel自体には全文検索をサポートする操作は特に無いので、だいたい自前で書きました。

\n

手間無くそこそこの精度が出せたので、導入から使用例までメモとして残します。

\n\n

前提

\n

このような環境での動作確認しています。

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
名前バージョン
OSCentOS 6.5(64bit)
MySQL5.6.20
PHP5.4.37
MeCab0.996
\n

最低限必要なのはMySQLのバージョンです。
\nInnoDBのFULLTEXTインデックスはMySQL 5.6.4からのみ利用できます。1

\n

また、InnoDBのFULLTEXTは空白区切りの単語検索しか対応していない2ため、
\nMecabを使用して分かち書きして保存・検索します。

\n

MySQL, PHPはインストール済みの前提で話を進めます。
\nまた、Fuelの基本的な知識があり、セットアップは済んでいるものとします。
\nMeCabは次の環境構築にてインストールしていきます。

\n

環境構築

\n
\n

phpでmecabを使う手順
\nhttp://qiita.com/Keech/items/3b51a60c89b9e803b256

\n
\n

こちらの記事を参考に環境構築をしたのですが、自分の環境ではコピー&ペーストでは動かない箇所があったのでそれを込みでインストールコマンド全てを貼り付けます。

\n

sudoは省略しているため、コマンドが動かない場合はルートになるか適宜sudoの追加をして下さい。

\n
# my.cnfにInnoDBの全文検索用の設定を追加。既にして有れば不要です\nsed -i -e 's|\\[mysqld\\]|[mysqld]\\n#fulltext index\\ninnodb_ft_min_token_size=2\\n|' /etc/my.cnf\n\n# --- Mecab\nyum install -y gcc-c++\ncd /tmp\nwget https://mecab.googlecode.com/files/mecab-0.996.tar.gz\ntar zxfv mecab-0.996.tar.gz\ncd mecab-0.996\n./configure --enable-utf8-only\nmake\nmake install\n\n# --- Mecab IPAdic\nwget https://mecab.googlecode.com/files/mecab-ipadic-2.7.0-20070801.tar.gz\ntar zxfv mecab-ipadic-2.7.0-20070801.tar.gz\ncd mecab-ipadic-2.7.0-20070801\n./configure --with-mecab-config=../mecab-config --with-charset=utf8\nmake\nmake install\n\n# --- php-mecab\nyum install -y php-devel --enablerepo=remi\ncd /tmp\nwget https://github.com/rsky/php-mecab/archive/master.zip\nunzip master.zip\ncd php-mecab-master/mecab\nphpize\n./configure --with-php-config=/usr/bin/php-config --with-mecab=/usr/local/bin/mecab-config\nmake\nmake install\nln -s /usr/lib64/php/modules/mecab.so /etc/php.d\nsed -i -e 's|; default extension directory\\.|; default extension directory.\\nextension=mecab.so|' /etc/php.ini
\n

InnoDBの全文検索用の設定はこちらの記事が参考になりました。

\n
\n

MySQL5.6でInnoDBのFULLTEXT INDEXで全文検索する http://www.petitec.com/2013/04/mysql5-6-fulltext-index/

\n
\n

インストールできたか確認しておきます。

\n
$ echo '東京特許許可局局長' | mecab\n東京  名詞,固有名詞,地域,一般,*,*,東京,トウキョウ,トーキョー\n特許  名詞,サ変接続,*,*,*,*,特許,トッキョ,トッキョ\n許可  名詞,サ変接続,*,*,*,*,許可,キョカ,キョカ\n局   名詞,接尾,一般,*,*,*,局,キョク,キョク\n局長  名詞,一般,*,*,*,*,局長,キョクチョウ,キョクチョー\nEOS\n\n$ php -i | grep -i mecab\nmecab\nMeCab Support => enabled\nMeCab Library => 0.996 => 0.996\nmecab.default_dicdir => no value => no value\nmecab.default_rcfile => no value => no value\nmecab.default_userdic => no value => no value\nOLDPWD => /tmp/php-mecab-master/mecab\n_SERVER[\"OLDPWD\"] => /tmp/php-mecab-master/mecab
\n

こんな感じの出力になっていればOKです。

\n

全文検索用のカラムを追加する

\n

今回は、「すでに作成済みのテーブルに全文検索の仕組みを入れる」というシチュエーションで行きます。

\n

記事用のサンプルとして、こんなテーブルが存在するとします。
\n名前は適当にbooksとでもしておきます。

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
カラム名型
titleVARCHAR(50)
contentTEXT
\n

このテーブルに全文検索用のカラムcontent_splitedを追加します。

\n\n\n\n\n\n\n\n\n\n\n\n\n\n
カラム名型
content_splitedTEXT
\n

Fuelのマイグレーションファイルに直すとこんな感じです。

\n
<?php\n\nnamespace Fuel\\Migrations;\n\nclass Add_content_splited_to_demands\n{\n    public function up()\n    {\n        \\DBUtil::add_fields('books', array(\n            'content_splited' => array(\n                'type'  => 'text',\n                'after' => 'content',\n            ),\n        ));\n\n        \\DBUtil::create_index('books', 'content_splited', 'content_splited', 'fulltext');\n    }\n\n    public function down()\n    {\n        \\DBUtil::drop_fields('books', array(\n            'content_splited'\n        ));\n    }\n}
\n

すでにレコードが存在している場合、
\n追加した分かち書き用カラムにcontentをパースした結果を足して更新する必要があるかと思いますが、この記事では本筋から外れるため割愛しています。

\n
$ php oil r migrate\nPerformed migrations for app:default:\n008_add_content_splited_to_books
\n

マイグレーションを実行して動けばOKです。

\n

分かち書きオブザーバを定義

\n

booksテーブルを扱うModel_Bookクラスを作成します。
\n他のテーブルとJOINしたり何だりが楽なので、後々を考えてOrm\\Modelを継承して実装します。

\n

content_splitedは検索用のメタ情報のようなものなので、モデル内部で黙字的に更新されるべきです。
\nコントローラがその存在を気にしなくて良いように内部で完結させます。

\n

DBへの INSERT前 と UPDATE前 に、contentカラムのデータを分かち書きして、
\ncontent_splitedカラムへ代入するオブザーバを作成します。

\n

モデルの定義としてはこんなイメージです。

\n
<?php\n\nclass Model_Book extends \\Orm\\Model\n{\n    const DROP_WORD_LENGTH = 2;\n\n    protected static $_properties = array(\n        'id',\n        'title',\n        'content',\n        'content_splited',\n        'created_at',\n        'updated_at',\n    );\n\n    protected static $_observers = array(\n        'Orm\\Observer_CreatedAt' => array(\n            'events' => array('before_insert'),\n            'mysql_timestamp' => true,\n        ),\n        'Orm\\Observer_UpdatedAt' => array(\n            'events' => array('before_insert', 'before_update'),\n            'mysql_timestamp' => true,\n        ),\n        'Model\\Observer\\Wakati' = array(\n            'events'           => array('before_insert', 'before_update'),\n            'wakati_from'      => 'content',\n            'wakati_to'        => 'content_splited',\n            'drop_word_length' => self::DROP_WORD_LENGTH,\n        ),\n    );\n}
\n

オブザーバのコードはやや長くなるのでgistに上げました。
\n環境構築時の設定で、2文字未満の単語は検索する際に無視する設定にしているので、2文字に満たない単語は保存しない処理が入っています。

\n
\n

FuelPHPでMecabを使用して分かち書きするオブザーバ
\nhttps://gist.github.com/Leko/6c98685bdb048b949392#file-wakati-php

\n

Creating – Observers – Orm Package – FuelPHP ドキュメント http://fuelphp.jp/docs/1.7/packages/orm/observers/creating.html

\n
\n

分かち書きした結果を保存する

\n

このオブザーバを使用することで、contentプロパティに文章を指定して更新すれば、勝手に分かち書きした結果がcontent_splitedに格納されるようになります。

\n
$book = Model_Book::forge();\n\n// 青空文庫\n// http://www.aozora.gr.jp/cards/000535/files/3612_20811.html\n$book->title = '言いたい事と言わねばならない事と';\n$book->content = '人動もすれば、私を以て、言いたいことを言うから、結局、幸福だとする。長いので略、本当は全部入れてます';\n\n$book->save();\n$book->content_splited; // => 'すれ を以て 言い たい こと 言う から 結局 幸福...略'
\n

こんな感じです。

\n

全文検索用のメソッドを作成する

\n

お待ちかねの本題です。全文検索のメソッドを実装します。

\n

全文検索はMATCH(カラム名) AGAINST ('+ほげ +ふー +ばー' IN BOOLEAN MODE)のように扱います。
\nとてもざっくりした説明なので、詳しい説明は公式のリファレンスを参照して下さい。

\n

Ormパッケージのクエリビルダは涙がでるほどイケてないので色々と気に食わない箇所がありますが、
\n今回はサンプルなので動けばいいやということで。実装する際にはいい感じにメソッド化したほうが良いと思います。

\n

先ほどのgistに上がっているsimilarBooksメソッドがこれにあたります。

\n

本の内容（contentカラム）まで検索キーワードに含めるとノイズが多すぎるので、タイトルだけを検索キーワードにしています。

\n
\n

（言い訳）カラム名と検索用テキスト、ふるい落とす文字数を渡してwhereの中身を１個のDatabase_Expressionのインスタンスとしてwhereに渡したかったのですが、
\nまだ理解が浅いのかそもそもできないのか、うまくいかなかったので汚い書き方になっています。

\n
\n

全文検索用のメソッドを作成する

\n

先ほどの青空文庫の文章を入れて、例えば

\n

「幸福で愉快な陸軍が飛行機を奪われた」

\n

など本文中に直接は出てこないが本文中の単語を含んだ文で検索をかけると、検索に引っかかります。

\n
$book = Model_Book::forge()\n$book->title = '幸福で愉快な陸軍が飛行機を奪われた'\n$book->similarBooks();  // => 青空文庫のレコードがマッチする
\n

まとめ

\n

駆け足で説明していきましたが、いかがでしたでしょうか。
\n「全文検索」って言葉は知っていたけど実装したことはなかったので、「こんな言葉で引っかかるのか！ すげえ！」とデバッグしながら一人で盛り上がってました。

\n

mecabの説明を一切出さずモデルの裏側に隠してしまったのですが、
\nせっかく環境を作ったので、次はmecabと係り受け解析のライブラリとか使って文章の要約でもしてみようかなと思います。

\n
    \n
  1. \n 12.9.5 Full-Text Restrictions ↩\n
    2. \n
  2. \n MySQL-5.6.4からの新機能「InnoDB FullText Search」を用いた全文検索エンジンのベンチマークLTをしました。#mysqlcasual ↩\n
    3. \n
","timeToRead":10,"frontmatter":{"title":"FuelPHPでInnoDBの全文検索を利用してみる","tags":["PHP","FuelPHP","MySQL"],"date":"February 19, 2015","featuredImage":null}}},"pageContext":{"slug":"/how-to-implement-fulltext-search-with-fuelphp/","previous":{"fields":{"slug":"/create-git-hook-to-develop-modern-php/"},"frontmatter":{"title":"PHPで開発するためのgit hookを作った","tags":["Git","PHP"]}},"next":{"fields":{"slug":"/how-to-test-ie-with-karma/"},"frontmatter":{"title":"Karmaを使ってIEのテストをMacから行う","tags":["ES5","Jasmine","JavaScript","Karma"]}}}}, "staticQueryHashes": ["2585454260","2954598359"]}