【技術】1枚の画像から「奥行きがあり視点を前後左右に動かせる3D画像」を生成

たった1枚の画像から「奥行きがあり視点を前後左右に動かせる3D画像を生成する方法」が開発される

近年は立体的で奥行きがある「3D画像」を生成する技術が大きく進歩しており、新たにFacebook AI Researchとカーネギーメロン大学の研究者が、「奥行きを再現して視点を前後左右に動かすことも可能な3D画像を、たった1枚の画像から生成する方法」を発表しました。

Worldsheet: Wrapping the World in a 3D Sheet for View Synthesis from a Single Image
https://www.researchgate.net/publication/347442173_Worldsheet_Wrapping_the_World_in_a_3D_Sheet_for_View_Synthesis_from_a_Single_Image

Worldsheet: Wrapping the World in a 3D Sheet for View Synthesis from a Single Image
https://worldsheet.github.io/

以前から奥行きを感じられる画像を生成する技術はいくつか開発されており、2019年9月に「カメラが動いているかのように視点が動く画像」を生み出す技術が発表されたほか、2020年4月には「1枚の画像から複数レイヤーを含む奥行きを演出する3D画像」を生成する手法が発表されました。

そして新たに、Facebook AI Researchとカーネギーメロン大学の研究者が「Worldsheet」という手法を発表しました。
この手法では、視点を従来よりも広範囲に動かせるだけでなく、3D化に伴う画像の乱れも少ない3D画像を生成できるとのこと。
実際に新たな手法で生成された3D画像やその仕組みについては、以下のムービーで紹介されています。

（以下略、続きと動画はソースでご確認下さい）

Gigazine 2021年01月05日 06時00分
https://gigazine.net/news/20210105-single-image-synthesis-3d-sheet/

こういうパターンの画像だったら、3Dにしたらこういう風になるんじゃね？
と学習させまくるわけね

そして教師画像にない奴を見せてもそこそこそれっぽくなったと

AI使ってネット上の画像から補正かけろよ

コレだとどうせ横からとか裏からとかは見れない

裏側考慮してなくて木が流れてるじゃん

やり直し

https://worldsheet.github.io/
ケーキの画像で、
novel view2をインプットにした場合、
input viewみたいな画像は得られないでしょう？

つまりケーキの上面の情報が無いわけだから。

まあまあ上手くいく画像はすごく限定的な気がする。

これまでの映画も
普通のテレビ映像も
これで全部かんたんに３Ｄ化だな！

なんてな

画像から
ひとかたまりのものごとに画像を切り抜いて
距離の違うものの画像を何枚か重ね合わせたもの、みたいなデータにして
視点を前後させたら、画像ごとに拡大率を変えながら拡大
視点を左右させたら、画像ごとに移動距離を変えながら移動
みたいなことをやれば、それっぽいことはできそう

ただジャングルジムみたいなもの
遠いところにある地点と近くのところにある地点が両方ちらちらみえるようなもの
はどうなるかな？