斎藤英雄研基礎輪講 2020
第3回：点群処理 (3月9日~3月13日)
3週目は，皆さんが研究を進めていく際に使用するデバイスや開発ツールの環境設定と簡単な使い方を紹介します．
具体的には，ARtoolKit，OpenGL，Kinect等が自分のPCで使えるようにしてもらいます．
1.ARToolKit
現実の世界の映像に仮想物体を「上書き」する技術を拡張現実感（Augmented Reality; AR）と言います．
ARはComputer VisionやInteractionの分野でも盛んに研究が行われ，ARを用いたアプリケーションも数多く実用化されています．
ARToolKitはARアプリケーションの作成を簡単に行えるように作られたライブラリです．
ARToolKitを用いることで，カメラで読み込まれたマーカ上に3Dオブジェクトを表示させるアプリケーションを簡単に作ることができます．
下記のサイトがARToolKitについて詳しく説明しています．ARToolKitの仕組みについては輪講中にも触れる予定ですが目を通しておくことを勧めます．
工学ナビ ARToolKitを使った拡張現実感プログラミング
|
| ARToolKitを使ったイノシシの重畳 |
2.Kinect
KinectはもともとはMicrosoftがXbox360用に発売したコントローラで，プレイヤーの動き・姿勢をリアルタイムに認識し，ゲーム中のキャラクターの動きとリンクさせることができます．
しかし，対象までの距離を測る距離画像センサとしても使え，プレイヤー姿勢推定の技術はそれまでにないものであったため，研究目的でも広く利用されるようになりました．
今回はKinectをPCにつなげ自分で制御できるように（Kinectハッキングと言います）してもらい，簡単なプログラミング課題をやってもらいます．
距離情報の取得
Kinectは普通のカメラのようにRGBの情報だけでなく対称物体までの距離（Depth）の情報も取得できます．
距離の情報を用いればカメラから3次元の世界を理解することが容易になります．
多くの場合，3次元空間上の情報は(x, y, z)と(R, G, B)の情報を持った点の集まり（3次元点群）として記述されます．
ここでは，3次元点群処理用のライブラリであるPoint Cloud Library(PCL)をインストールし，Kinectから取得した3次元点群の扱いに慣れてもらいます．
|
| Kinectで撮影したスタンフォードバニーの3次元点群 |