Kinect – UWSCとKinect Studioを使ったテストの自動化

仕事で画面タップするところもあるしKinectでポーズ認識させるところもあるKinectアプリを作る時がたまにあります。

そういうアプリをテストを自動化するのにマウス、キーボードの自動操作のできるUWSCと動画や深度を記録できるKinect Studioを使うと便利です。

UWSCでカーソルを自動的に動かして必要なときになったらKinect Studioで事前に撮っておいたファイルを開き再生するという流れです。

UWSCはプログラムでカーソルの位置を指定したりできる（例えばここで書かれているような感じ）のでかなり臨機応変に対応できる所が良いです。画像認識もできるためボタンのデザインが変わっても新しいボタンのデザインを認識してそのボタンをクリックするとかできます。

ユースケースを用意してテストをする感じになり、ある程度決まった動きをテストするには向いていますが、Kinectを使うのでどうしても予期しない動きなどが出てくるとは思います。なので最終的には手動でのテストも必要になってはきます。