Rails Developers Meetup 2018 (#railsdm) で話した資料です。Railsの話はほとんどなくて、全文検索の仕組みとスコアリングについてのまとめが主です。
Q&Aシステムでの質問もここで回答します。
Q. データの同期はどうされていますか？
同期はActiveRecordのcallbackでActiveJobに更新jobを投げる形で非同期で行っています。また、データ構造などの更新がある場合にindex再構築するときのためのblue-green deployment用のバッチがあります。
Q. 何かgemを使われていますか？使われているなら、どんな選定理由ですか？
いまはelasticsearch-railsを使っていますが、このエントリの後半にあるような理由で捨てようと思っています。移行先はまだ決めていません。
Q. 辞書を作ったりしていますか？
Amazon Elasticsearch Serviceなのでカスタム辞書は使っていません。AESがカスタム辞書に対応したら考えます。
Q. 社内用語のような一般的ではない単語（かつ形態素解析で微妙な位置で区切られてしまう）で検索されるケースが多いとおもいますが、そういうものも、ngramとのハイブリッドで解決していますか？
現在のところ特に工夫はしていません。ngramとのハイブリッドである程度は解決出来ると思っています。
Q. スコアリングの評価について自動化や定量化は行えていますか？ 何をもって改善したあるいはその逆であったと言えるか。
現在はスコアリングの評価について自動化や定量化はしていません。現在はユーザーからのフィードバックを元に行っている改善が主です。
ただ定量化自体はすべきだと思っていて、たとえば（私の前職でもある）クックパッド社では「検索成功率」というKPIを定義しており*1、これをもとに検索体験の改善を行っています。Kibelaでも同様にKPIを定義してそれを観測するということは必要だろうと思います。
最初は elasticsearch-rails の使い方の話を中心にしようと思ったのですが、まず全文検索そのものの話を整理しないとそこにたどり着かないなということでその話を中心にしました。
なおKibelaでは現在 elasticsearch-rails を使っていますが、次の理由から別のelasticsearch clientに移行する予定です。
- elasticsearch-rails はあまりメンテされていない
- elasticsearch-rails は ActiveRecordのmodel classにフォーカスしすぎていて多くの機能が不要
- たとえば
Model.searchというメソッドが定義されるが、基本的に復数modelにまたがった検索しかしないのでこのメソッドを使うことがない
- たとえば
- elasticsearch-rails から返るモデルが同値比較できなくてテストで困る問題 - Islands in the byte stream で示すようなモンキーパッチがいくつかあって厳しい
- PR を送ろうにもローカルでテストを走らせるのが難しく、またそもそもあまりメンテされてないっぽいのでやる気がそがれる
じゃあ移行先はどうかというと searchkick はクエリの抽象化が高度すぎてもっと生のelasticsearch queryを使いたいんですよね。GitHubが開発している elastomer-client はわりとよさそうだなと思ってます。
