東映アニメーション、風景写真を自動変換し背景美術の作業時間を1/6に短縮 制作効率化の実験成果を公表

東映アニメーションは株式会社 Preferred Networks(PFN)と共同して、AI技術を活用してアニメ制作を効率化するための実験的な取り組みを行った。

『URVAN』における背景美術の制作工程
『URVAN』における背景美術の制作工程

2021年2月公開の実験映像『URVAN』(ウルヴァン)の背景美術制作では、PFNが開発するアニメの背景美術制作支援ツール・Scenify(シーニファイ)が活用されており、その成果が発表された。

『URVAN』における背景美術の制作工程
『URVAN』における背景美術の制作工程

PFNは機械学習・深層学習などの最先端技術の実用化を目指し、イラスト・アニメ・ゲームなどのクリエイティブ産業向けに技術開発を行っている。
東映アニメーションでは『URVAN』の制作にあたって、製作部 美術課、デジタル映像部 テクノロジー開発推進室、そして試作開発と実験的研究を目的とした取り組みであるPEROs(P rototyping and E xperimental R esearch in O izumi S tudio)が連携。PFNの画像変換およびセグメンテーション技術を応用して開発されたツール・Scenifyを用いて映像を制作した。

『URVAN』におけるScenifyを利用した背景美術制作の例・素材写真
『URVAN』におけるScenifyを利用した背景美術制作の例・素材写真
『URVAN』におけるScenifyを利用した背景美術制作の例・Scenifyによる変換結果
『URVAN』におけるScenifyを利用した背景美術制作の例・Scenifyによる変換結果

『URVAN』では実在する佐世保の風景をアニメ調・サイバーパンク調の二つの画風で表現。現地で実際に撮影された風景写真を、Scenifyによってアニメ調の背景素材に自動変換することで、美術クリエイターが画像の前処理工程に要する時間を従来の約1/6に大幅短縮した。
Scenifyは『URVAN』の背景美術の約2/3に使用されており、この技術によって美術クリエイターの作業負担・工数を削減を実現。それによってクリエイティブの自由度が大きいサイバーパンク調の背景制作に、より多くの時間をあてることができた。

『URVAN』におけるScenifyを利用した背景美術制作の例・東映アニメ美術スタッフによる最終レタッチ結果(サイバーパンク調)
『URVAN』におけるScenifyを利用した背景美術制作の例・東映アニメ美術スタッフによる最終レタッチ結果(サイバーパンク調)

Scenifyの開発にあたっては、背景画像からキャラクターに接する部分や手前にくる部分(BOOK)を自動的に切り出す「BOOK分け」機能、画像の一部を除去した後の空白を自然に塗りつぶす「スマート塗りつぶし」機能、Scenifyをクリエイターの制作ワークフローに組み込みやすくするためのプロトタイプUIの開発も行った。
今後はTVアニメや映画制作においてもScenifyを適用することを目指して、機能開発を進めていく方針だ。