codの覚え書き

http://www.sqlite.org/cvstrac/wiki?p=CompilingFts
http://www.sqlite.org/cvstrac/wiki?p=FtsUsage
sqliteではfts3という検索用モジュールが開発されているが
実験中のため?配布されていないがコンパイルすれば使えるようになる
fts3はスペース区切りされた単語とマッチするか調べる事ができるので
文書を分かち書きして

単語1 単語2 単語3 単語4

のように分割して格納すれば検索できる
fts2以降でtokenizerを指定できるようになったのでsqlite用のtokenizerを作成すれば文書の分割をINSERT時に自動で行える。
よって
mecabをtokenizerとして使えるようにすれば、分かち書きされた結果を検索できるはず

cod-no-macbook:sqlite cod$ echo "和布蕪お前をテストする" | mecab
和布	名詞,一般,*,*,*,*,和布,ワカメ,ワカメ
蕪	名詞,一般,*,*,*,*,蕪,カブラ,カブラ
お前	名詞,代名詞,一般,*,*,*,お前,オマエ,オマエ
を	助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
テスト	名詞,サ変接続,*,*,*,*,テスト,テスト,テスト
する	動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
EOS
cod-no-macbook:sqlite cod$ echo "和布蕪お前をテストする" | mecab -O 'wakati'
和布 蕪 お前 を テスト する 

分かち書きするには-O 'wakati'を指定する

2-gramのtokenizerを用意する