2002/04/21 07:37:46 +0900に"KAWAI,Takanori" <GCD00051@xxxxxxxxxx>さんに頂いた
「[mysql 05381] Re: Full-text Search」への返事です。

モエルです。

みなさん、おはようございます。

>何を「単語」として見なすのか次第でしょうけれど、空白で
>区切られた単位を「単語」として検索対象とするのであれば、
>その単位に分割して、インデックスになるテーブルを自作すれば
>よいのでは？（元のレコードの識別子とその単語とか）
>＃というか単純に正規化しても、そうなるような...。
>
>普通の日本語を検索対象とするとなると、KakasiやChaSenなどで
>単語に分割する必要があるでしょうけども。

KakasiやChaSenは、聞いたことも無かったので(^^;
調べてみます。


ただ、分割することは考えていました。

Full-text Searchがどういう挙動をするのか興味ありますが

＞その単位に分割して、インデックスになるテーブルを自作する場合

どうしようかと思うのが
●データ入力してもらった際に全角スペースで入力された名前(商品名)と半角スペースのと２通りある。
●全角か半角スペースなどで区切られた名前(商品名)もある。

これらをどう区別するかって事なんです。

例えば、音楽などの英語のアーティスト名や曲名、ジャンル名。。。

これがタイトルに入っていた場合
Steve Lukather & Larry Carlton - Don't Give Up

id title
ってテーブルを作ったとして
この例だと、９個のデータが入ることになりますよね。
&や-などの記号は削ればいいのかな。。

で

Steve Lukather & Larry Carltonで完全一致で検索させると

WHERE title  = 'Steve' and  title  = 'Lukather' and title  = '&' and title  = 'Larry語'...
なんてゲリ長い句になりますよね。

今、titleの入ってるレコードは、１万程度なんですが
分解するとおそらくその２０倍くらいになってしまいます。

やっぱ、全文一致だと
WHERE title  = 'Steve' and  title  = 'Lukather' and title  = '&' and title  = 'Larry語'...
で２０万レコードから検索するほうが
WHERE like '%Steve Lukather & Larry Carlton%'
を１万レコードから検索するよりかは、全然速かったりするんでしょうか？


＊これ、今後どっちにしても試そうと思っていたのですが
　もし、わかるようでしたら教えて下さいm(__)m


＞この ML の過去ログシステム(w3ml)は、まさにそれ(like '%単語%')をやって
ます (^^;

そうなんですか。。
KakasiやChaSenも使ってるんですか？


＞# 「漢字文字の連続」というようなのなら抜き出せるでしょうけど…。

うちの場合、漢字文字の連続＋上記のような英語になってしまいます。。

ちなみに、現在
title like '%単語1%' OR title like '%単語2%' OR title like '%単語3%'
なんて事をしていて
混雑時は、スロークエリのログに２０秒以上のがざらになってます(^^;

混雑してないときは、速いです。


モエル