検索が良くなったかを確かめる方法
検索の仕組みを変えると、良くなったのかと誰かが聞きます。結果をいくつか眺めても、その答えは出ません。決まった質問のセットと、一つの数字があれば出ます。
図の読み方
まず、実際の質問を集め、質問ごとに、答えになる文書に人が印をつけます。このセットは固定します。
すべての質問を検索にかけ、正解の文書が何番目に出るかを見ます。1 番目なら 1 点。2 番目は 2 分の 1、3 番目は 3 分の 1 と続きます。結果にまったく出なければ 0 点です。
点数の平均を、平均逆順位（mean reciprocal rank、MRR）と呼びます。図では 0.43 から 0.71 へ、約 1.7 倍になっています。
なぜこの数字か
人は、最初の数件より先をほとんど見ません。この数字は、正解の文書を 1 番目に出すことをいちばん高く評価し、10 番目に出してもほとんど評価しません。
議論も短くなります。二つの検索の方法を同じ質問にかければ、二つの数字が出ます。
この数字で分からないこと
モデルがその文書から書く答えについては、何も分かりません。また、質問ごとに正解の文書が一つだという前提を置いていますが、いつもそうとは限りません。
使った場面
広告代理店の社内文書の横断検索で使いました。提案書、調査レポート、契約書が約 25 テラバイトあります。同じ質問で、検索の方法を比べました。言葉による検索と意味による検索を組み合わせる方法も、その一つです。
試験導入の間に、この数字は 1.7 倍になりました。文書を探す時間は、約 3 時間から最短 10 分になりました。図表にある五つのシステムの一つです。