AI王第2回コンペティションに取り組むためのプロジェクトです。

このシステムはRetrieverとReaderという二つのコンポーネントから成り立っています。 Retrieverは問題文に関連するドキュメントを取得し、Readerは取得したドキュメントから問題に対する回答を抽出します。

Retrieverを用いて日本語Wikipediaの全記事から問題文に関連する記事を100件取得します。 BERTおよびTF-IDFを用いて関連度スコアを算出し、関連度スコアの上位100件の記事を取得する仕組みになっています。

抽出した上位k件の記事に回答が含まれている質問数の割合は以下のとおりです。

Retrieverを用いて抽出した記事100件(引数により変更可能)から、問題に対する回答を抽出します。 ReaderにはBERTをファインチューニングしたモデルを使用しています。

Readerでは以下の二つのタスクが行われます。

• どの記事に回答が含まれているか判断する
• 選択した記事から回答のスパンを判断する

現在のところ、開発セットを用いた場合の正解率(完全一致)が30 %から40 %程度で、ベースラインシステムと比べてかなり低くなっています。

最終的な正解率(完全一致)は以下のとおりです。