2018年9月18日、iOS12がリリースされました。iOS12のなかでも注目すべき機能のひとつ、『AR Kit2』。
2017年にリリースされたAR Kitから、どんな部分が進化しているのか、シリーズでお伝えしていきます。
第一弾は『環境マッピング』。いままでのARの常識を変えてしまうもの凄い機能です。
実写と区別がつかない！？環境マッピングとは
金属やプラスチック、ガラスなど光沢のあるものって、周りにあるものを反射しますよね。ARKit2の環境マッピングは、現実の世界にあるものが、 光沢のあるCGオブジェクトに反射するというものです。
AR Kitでは『CGオブジェクトであるりんごの器』に、『現実に存在するバナナ』は当然ながら写り込んでいませんでした。しかし、AR Kit2では、『CGオブジェクトであるりんごの器』に、『現実に存在するバナナ』が写り込んでいます。
これにより、ARのオブジェクトがそこに存在しているという実在感がましていることがわかります。
こちらのやかんの例では、赤と黄色のボックスの色がやかんに反射していますが、特に取っ手の部分に注目してみると、配置を変えたことによって反射の仕方が変わっていることがわかります。
画面の外に反射物があっても反映される
ARオブジェクトを設置する際、最初に空間のスキャンを行います。この際に空間のオブジェクトをAR空間内に取り込み、その情報を元に反射の生成を行なっています。生成には機械学習を利用しているそうです。
このように環境マッピングは、一度カメラでスキャンすると記憶されているため、例えば先の例では画面外に黄色いボックスが出たとしても、画面内の『ARやかん』には黄色の反射がきっちりと反映されます。
現実とARの垣根がなくなる日
現実のオブジェクトが、ARの中のオブジェクトに反映する一方で、現実のオブジェクトに ARのオブジェクトを投影することはできません。
ただ、技術的には不可能ではありません。空間マッピングの精度をより高めることができれば、現実オブジェクトに映り込むであろう部分に、ARやかんを配置すればよいためです。
空間マッピングの精度をより高めるためには、さらなるチップの性能の向上や機械学習のレベルが上がる必要があるでしょう。
近い将来、ハードやソフトウェアが洗練していくことで、現実とARの垣根がなくなる日が訪れるかもしれません。