写真の欠損部分を、AIが現実的に独自構築するNVIDIAの最新技術がすごい！
掲載日時: 2018/04/24(火) 22:35
Guilin Liu氏が率いるNVIDIAの研究チームは、欠落・破損した画像を再構築できる最先端のAI学習技術を発表しました。
この技術は「Image Inpainting」なるプロセスを用いており、写真の編集にも活用できます。
ひとたび画像編集ソフトに実装すれば、望ましくないコンテンツを除去し、その穴にふさわしい現実的な代替物をAIが生成してくれるのです。たとえ人間の顔であれ何であれ、マウスカーソルで適当に開けた空白に、何が存在すべきかをAIが器用に補完してくれます。
NVIDIAの研究チームは「どんな形状・サイズのマスクでも、そして画像の四辺端っこに接した穴でさえも、堅実に対応できる。これまでのディープラーニングの手法では、画像の中心付近にある長方形の領域に焦点を当てており、高価な後処理に依存がちだった」と研究論文で説明。
さらに「穴が大きくどのような形に変化してもうまく処理できる」「私たちが知る限りにおいては、不規則な形状の穴でディープラーニングによる画像修復モデルの効果を実証するのは初の例」としており、既存技術に対する優位性をアピールしています。
この研究では、NVIDIA Tesla V100 GPUとcuDNN-accelerated PyTorch深層学習フレームワークを用い、生成されたマスクをImageNet、Places2、CelebA-HQデータセットの画像に適用することで、ニューラルネットワークを訓練したとしています。
テストの段階では、訓練中に適用されなかった欠落部分がデータセット内のテスト画像に導入され、再構築の精度を検証。高い精度を実現できるようになったというわけです。動画では老若男女の目・鼻・髪・肌や、地面、図書館の本棚などをAIが生成する様子を見ることができます。
NVIDIAの研究チームはこの技術を、深層学習に関する国際学術会議である「ICLR (International Conference on Learning Representations) 2018」において発表する予定です。私たちの普段使う画像編集ソフトも人工知能の進化によって今後も便利になっていきそうですね。