【de:code2018 AC04】HoloLensで実装するAIとIoT

「HoloLens×○○」で現場の働き方を変えようというテーマのセッションです。

働き方改革というものがホットな話題ですが、在宅勤務やテレワークはインフォメーションワーカー向けであり、現場で働く人(ファーストラインワーカー)には無理な話です。

今回は、HoloLensを使って現場の人の働き方をどう変えられるかという点で考えていくというものです。

HoloLensの活用シーンは基本的にはこのような分野で有効だといわれています。

トレーニングなどは業種を問わず人気ですね。

作業支援や設計については、今回発表された「Microsoft Remote Assist」「Microsoft Layout」が今後活用されていくことになりそうです。

これはHoloLensそのものをIoTデバイスとして活用するというものです。

HoloLensで取得した画像や音声データを別のPCで参照したり、取得したデータをクラウドで機械学習にかけるといった活用方法です。

熟練した作業者が見ていた部分や作業内容などを記録することで、不慣れな人でも熟練者の作業をトレースすることが可能になります。また、不慣れな人のデータを集めることで改善のための分析にも使用することが可能です。

こちらは、IoTデバイスから送られてくる情報をHoloLensで見れるようにするというものです。

文字が少し見にくいですが、このデモではdevKitから送られてきている温度と湿度の情報をHoloLens上に表示している例です。

実装方法はシンプルで、IotデバイスとHoloLensをIotHubで繋げます。

IoTデバイスから情報が送られて来たら、Service Busを使用してキューに貯めていき、キューにデータが格納されたらAzure Functionsを起動。結果をHubに返してそれをHoloLens側に表示します。これらはAzureの機能を使うことでサーバレスで実現可能です。

ただ、実際のソリューションでは大量のデバイスや、HoloLensも複数存在するはずなので、取り扱うデータ量も多くなります。そのような場合は、Service Busではなくstream Analyticsを使用することが勧められました。

デモで使用されたIoTデバイスの紹介です。IoTに必要な機能が一通りそろっているということでおすすめということでしたが、残念ながら現在日本では品薄のようです。

通販サイトではだいたい40ドルくらいでした。

手に入らない場合はラズパイのオンラインシミュレータがおすすめとのことです。

こんなものがあるとは知らなかったです。

O365と組み合わせた例ですね。冒頭でも少し触れましたが「Remote Assist」を使った活用事例です。今のところこの機能を使うにはMicrosoft teamsが必要です。

HoloLensを使って、現場作業者と遠隔地にいる識者をSkypeで繋ぎます。このとき、HoloLensのカメラを相手と共有します。

相手がOneDriveに格納した手順書を現場の人が読み込んでHoloLensに表示します。

手順書だけではわかりにくい部分を遠隔者がこのように矢印で指示を出すことで、現場の人がスムーズに作業できるようになります。

今度はD365との活用事例です。

実際の仕事では、HoloLensが必要となる現場作業以外にも前後にはこのようにたくさんのタスクが存在します。

逆に言うとHoloLensが活用できる部分はこの現場作業の部分だけです。

なので、その前後の部分のタスクはD365を活用しましょうという例です。

IoTデバイスからアラートが飛んで来たら、まずD365で保守案件を自動生成して作業指示書を作成します。そのまま自動でスケジューリングを行い

HoloLensとAIを組み合わせた事例の紹介です。カメラやマイクを使用して、取得したデータを機械学習にかけるといった活用方法の場合、どうしてもHoloLensの操作が必要になるという問題点があります。

そこで、HoloLens側でバーチャルなエージェントを置き、ユーザはこのエージェントと会話することで、エージェントが必要な情報を処理し提供するというものです。

実際にバーチャルエージェントを使用した事例が紹介されました。

COTOHAはNTTコミュニケーションズが開発した自動応答仮想エージェントです。

このデモでは、コピー機のエラーから原因と特定してどのような作業をすればよいのかCOTOHAが支持をしてくれるというものです。

具体的な構成はこのようになっています。青い矢印が音声、緑がテキストのデータです。

HoloLens×○○を紹介してきましたが、どれか1つとHoloLensを繋げるだけというわけではなく、必要に応じていろんなものを連携しながらソリューションを組み立てていきましょうということでした。