実写と区別がつかない!?『AR Kit 2』の環境マッピング機能が凄い

2018年9月18日、iOS12がリリースされました。iOS12のなかでも注目すべき機能のひとつ、『AR Kit2』。

2017年にリリースされたAR Kitから、どんな部分が進化しているのか、シリーズでお伝えしていきます。

第一弾は『環境マッピング』。いままでのARの常識を変えてしまうもの凄い機能です。

実写と区別がつかない!?環境マッピングとは

金属やプラスチック、ガラスなど光沢のあるものって、周りにあるものを反射しますよね。ARKit2の環境マッピングは、現実の世界にあるものが、 光沢のあるCGオブジェクトに反射するというものです。

WWDC2018のデモ(動画31分ごろ)で紹介された例

AR Kitでは『CGオブジェクトであるりんごの器』に、『現実に存在するバナナ』は当然ながら写り込んでいませんでした。しかし、AR Kit2では、『CGオブジェクトであるりんごの器』に、『現実に存在するバナナ』が写り込んでいます。

これにより、ARのオブジェクトがそこに存在しているという実在感がましていることがわかります。

こちらのやかんの例では、赤と黄色のボックスの色がやかんに反射していますが、特に取っ手の部分に注目してみると、配置を変えたことによって反射の仕方が変わっていることがわかります。

画面の外に反射物があっても反映される

ARを設置する際、最初にスキャンを行う

ARオブジェクトを設置する際、最初に空間のスキャンを行います。この際に空間のオブジェクトをAR空間内に取り込み、その情報を元に反射の生成を行なっています。生成には機械学習を利用しているそうです。

このように環境マッピングは、一度カメラでスキャンすると記憶されているため、例えば先の例では画面外に黄色いボックスが出たとしても、画面内の『ARやかん』には黄色の反射がきっちりと反映されます。

現実とARの垣根がなくなる日

現実のオブジェクトが、ARの中のオブジェクトに反映する一方で、現実のオブジェクトに ARのオブジェクトを投影することはできません。

ARのやかんには背景など反射しているが、右の現実のやかんには、ARのやかんが映らない

ただ、技術的には不可能ではありません。空間マッピングの精度をより高めることができれば、現実オブジェクトに映り込むであろう部分に、ARやかんを配置すればよいためです。

空間マッピングの精度をより高めるためには、さらなるチップの性能の向上や機械学習のレベルが上がる必要があるでしょう。

近い将来、ハードやソフトウェアが洗練していくことで、現実とARの垣根がなくなる日が訪れるかもしれません。

 

iOS・Androidカテゴリの最新記事