【熊本ショッカソン】HoloLensとUnlimitedHandを繋げてみた
遅れてごめんなさい！HoloLens Advent Calendar 2018 の19日目担当分です。
今回は9月に熊本で開催されたショッカソンでHoloLensを使ったので、その時のことを書こうと思います。
熊本ショッカソン2018
思い返せばもう懐かしいですが、9月の熊本はハッカソンラッシュでほぼ毎週ハッカソンやってました。ショッカソンはその1発目です。
この時はボッチソン(笑)だったので、なかなか大変でした。
触覚系の面白いデバイスが沢山ありました。この中で今回はUnlimitedHandを使うことにしました。
UnlimitedHand
UnlimitedHand – Touch and feel the game world.
元々はVR用のコントローラなので、加速度やジャイロなど使ってVR内で操作が可能で、さらにVR内で鳥が腕にとまったときの反動等を電気刺激によってフィードバックすることができます。
これによって仮想環境での擬似的な体験が出来るようになっています。
モーションセンサーだけでなく、筋変位センサーがついているため、グーやパーだけでなく細かい指の動きを読み取れます。
今回はこんな感じのピストルっぽい形を読み取りました。
HoloLens × UnlimitedHand
今回作ったのはこんな感じのものです。
- HoloLensでキューブを表示
- UnlimitedHandを装着した腕で手をピストルの形にする
- 銃を撃つジェスチャーをする
- 撃った衝撃として電気刺激をフィードバック
- HoloLensで表示しているキューブの色を変える
今思えば100均でおもちゃの銃を買ってくればよかったと思ってますが、その時は思いつかなかったですね。
サンプル動かない問題
Downloads – UnlimitedHand Developer's site
サンプルはここから入手できますが、Unityのバージョンの問題で動かない…
HoloLensの開発でUnity2017を使ってましたが、どうもサンプルが5.4で作られていたようで、2017じゃ使えなくなったメソッドなどが邪魔をして動かせずリファレンス読み込みに結構時間を取られました
動作確認してます。筋変位センサーやジャイロや加速度センサーなど、それぞれ結構細かく値が取れることがわかりました。
ただ、理由は不明ですが、UnlimitedHandのBluetoothがブツブツ切れちゃうので、もうPCに直接繋げてます。
とりあえず動くが…
微妙な調整が難しい…
銃を撃つジェスチャーとしてセンサー値に閾値を設定して、それを超えたら動作するように作りましたが、1回のジェスチャーがどこからどこまでかを決めていなかったため、閾値を超えてから戻るまでに数回動作しちゃったりして調整が難しかったです。(1回しか撃ってないのに3回フィードバックあるとか)
この辺はVRアプリを作ってる方にどうしてるのか聞きたいなーと思いました。
2日間かなり苦労しましたが、とりあえずはどうにか動くものができてよかった！
