このリポジトリは、画像処理分野におけるVideo Inpaintingの研究に用いるプログラムを管理するものです。

空撮動画中に後から追加された数値や方角、縮尺メモリなどの情報を、複数フレームを用いた画像処理によって補完し、あたかもそれらが無いかのような動画を生成する。

画像内の不要部分を取り除いたり、欠落した部分を修復したりすることを画像補完と呼ぶ。 これまで画像補完や動画補完に関して様々な研究が行われ、数多くの手法が提案されてきたが、対象の入力を空撮動画に限定することで、より効果的な補完手法を考える。 空撮動画から道路や建物を検出する研究において、古典的な画像処理や機械学習を用いる方法など、様々な方法が考えられるが、その中で高い精度を出すのを妨げる大きな原因に画像中のノイズが挙げられる。 画像中のノイズと言っても、写真などで見られる粒状性ノイズや、画像符号化等で発生する周期的な構造を有するブロックノイズなどいくつか種類があるが、空撮動画には撮影日時、標高、座標、縮尺の度合いを表すメモリなど、ビデオカメラの機能や編集によって後天的に付与される情報が映り込んでいることがある。 これらの情報は、人間が目視で動画を観察する際に映像だけでは得られない追加情報として非常に高い有用性を持つが、画像処理においてはノイズとなりうる。 例えば、建物検出や道路検出においてはハフ変換などの手法を用いた直線検出を行うことがあるが、文字や縮尺用メモリは直線を多く含むため誤検出されてしまう可能性がある。 一般的な粒状性ノイズや画像中の傷などは近傍画素を用いた補完によってある程度除去することができるが、今挙げたような文字やメモリは、完全に除去することが難しい。 したがって本研究では、ノイズとなりうる動画中の文字情報やメモリを、前後のフレームから高い精度で補完し、その後の処理に影響の出ない動画を生成することを目標とする。