宮川です。

# dbi-japan もつけておきました。

At Fri, 26 Apr 2002 10:52:49 +0900,
KAWAI,Takanori <GCD00051@xxxxxxxxxx> wrote:
 
> 全文検索に萌えている（？）川合孝典です。

pack して mysql をだますというのはなかなか面白いアプローチですね！

で、川合さんの Wiki にも一部記述がある DBIx::FullTextSearch[1] も 
chasen を使うことで日本語でもうまく動きましたので一応ご報告。

[1] http://search.cpan.org/search?dist=DBIx-FullTextSearch

DBIx::FullTextSearch は MySQL Fulltext Search とはある意味反対のアプロー
チで、

1: 任意のドキュメント（ファイル、URL、そしてもちろんMySQLテーブルのカ
   ラム etc）に対して
2: インデックスをMySQL のテーブルとして保存

ということをします。すごく説明しづらいのですが、要は MySQL の検索が爆
速であることを利用して、「どの単語がどのドキュメント (1: に相当) に存
在するか」を MySQL テーブルにデータとして持ち、検索はそのテーブルから
SELECTすることでおこなうというわけです。

ちなみにテーブルの持ち方は、検索のやり方次第で数通りから選べます。詳し
くはperldoc を参照してください。

利点としては

* Perl で書かれているので (mysql 本体より) ハックが楽である ;)
* 検索はたぶんかなり高速

欠点としては

* インデックスとなるテーブルの更新はアプリケーション側が責任を持つ必要
  がある (DBIx::FullTextSearch の APIを利用) 

という感じです。欠点とはいっても、ChaSen の処理が若干重いので、バッチ
化できるメリットもありますし、

  http://search.cpan.org/search?dist=Class-DBI-mysql-FullTextSearch

とかと組み合わせればトリガっぽく自動更新も可能だと思います。

Text::ChaSen を使ったテストコードはここにおいておきました。
http://bulknews.net/lib/tmp/

即席でとっても汚いです。index_splitter のあたりはソースコード読まない
と意味わかりません。
# サンプルデータは川合さんのページからいただきました ;)


-- 
Tatsuhiko Miyagawa <miyagawa@xxxxxxxxxx>