2019年6月3日（現地時間）Appleの開発者向けイベントWWDC19が開催されました。その中で、次期iOSであるiOS13が発表され、新機能であるARKit 3が発表されました。ARKit 3には、機械学習を用いて人を認識し、ARオブジェクトの回り込みを実現する『People Occlusion』やモーションキャプチャー機能、前後のカメラを同時に利用、マルチフェイストラッキングなど多くの機能が実装されています。
ARオブジェクトの回り込みを実現する『People Occlusion』
『People Occlusion』は、機械学習によるデータを用いることでカメラで写した空間内の人を認識し、ARオブジェクトの回り込みを実現する機能です。
これまでのARKitでも、空間内にARのオブジェクトを置くと、その座標を認識し、カメラを動かしても固定されている、といったことが実現できていました。
しかし、あくまでもカメラの映像にARオブジェクトを重ねているだけであったため、そのARオブジェクトの前を人が通ると、人の後ろに回り込まず、その人の前にARオブジェクトが重なってしまうといった仕様になっていました。
People Occlusionは、カメラの映像内に映る『人』を認識し、その人がARオブジェクトの前にいれば、ARオブジェクトに人型のマスクをかけることで、人の裏側へ回り込んでいるというような表現が実現可能になります。
マインクラフトアースのデモ
People Occlusionのデモとして、2019年にリリースされる予定の『マインクラフトアース』を利用したデモが披露されました。
ARで表示されているマインクラフトのブロックが、デモプレイをする女性の後ろに回り込んでいることがわかります。
また、撮影しているプレイヤーが女性の手前にARの花を置くと、しっかりとその後ろに女性が回り込んでいます。
マインクラフトアースについての記事はこちら：
マインクラフトアースのARプレイデモが初公開、ブロックが人の前後に回り込む没入感の高いAR体験を実現
機械学習を生かした『モーションキャプチャ』機能
機械学習で人を認識する機能は『People Occlusion』だけではなく、人の動きを認識する『Motion Capture（モーションキャプチャ）』機能としても生かされています。
イベントのデモでは、手を振ったり動いたりする人の動きをそっくりそのまま真似する3Dのロボットが、ARで表示されていました。
モーションキャプチャ機能を使えば、今流行っているVTuberに必要な環境も、iOS1台で実現できてしまいそうです。
強力なAR機能で先端を行く『ARKit』
これまで、ARKitは空間の認識（床面・壁面）、ARオブジェクトの座標固定、ARオブジェクトへの反射の写り込みなど、ARにおける多くの機能を実現してきました。
今回のARKit 3では機械学習の機能を生かしていることが大きな特徴です。おそらく、iPhoneXで採用された『A11 Bionic』で初搭載、iPhoneXS世代で採用されたチップ『A12 Bionic』で強化された『機械学習を行う専用コア』の登場が、背景にあるのでしょう。
ARKit 3を生かしたソフトが今後でてくることに期待です。
