Teams会議を録画したら自動的にMicrosoft StreamにUPされて、会議で発言した人物を自動検出してくれる機能について

まとめ

  • "会議で発言した人物を自動検出してくれる機能"はMicrosoft Streamに実装された映像検知AIの機能であり、Teamsで録画したかどうかは関係ない
  • Teamsで会議をしたとしても、映像内に人物が十分に拡大できていないとMicrosoft Streamで検知できない。

詳しく

表題のようなシナリオでIgniteで発表があり、実際の製品でも既に使用できるようになっています。

で、これがうまく機能するなら、自分が出席しない会議の録画を後から見直して、キーマンがしゃべった所だけ重点的に聞く、という事が出来るのでよいと思いました。あと、複数人の会話が含まれる議事録を自動で文字起こしで作りたい(別ブログ)でも調べましたが、現状の音声認識ソフトだと複数人が参加する議事録を自動で文字起こしするのは難しいので、これも会議の録画を見ながらしゃべった人を特定する事で、議事録を楽に、正確に書き起こすことが出来ればいいなと思いました。

やってみた

試しに、5,6人の会議で全員Teams会議に参加し、会議を録音してみました。結果、以下が分かりました。Teamsの機能とStreamの機能で分けて書きます。

Teamsの録画機能

  • 録画をONにした時の動作
    • Teamsアプリの内部で映し出されている映像と入力されている音声を記録する
  • 誰かが資料を共有する前
    • 参加者のアイコンか、参加者が映像をONにしている場合、PCのカメラデバイスでとらえた映像が表示される
    • 参加者が多数の場合、発言した = PCの音声デバイスに入力があった参加者のアイコン(あるいは映像)がフォーカスされる
      • これはSkype時代から存在した機能
  • 誰かが資料を共有した後
    • 資料が前面に表示され、参加者のアイコン(あるいは映像)は録画領域の外にはじき出される

Streamの映像検知AIの機能

  • 映像の中の"顔"ぽいものを検知し、口の動きが"発言"していれば、発言しているとみなす
  • "顔"が小さすぎる場合、検知しない
  • 資料が前面に表示され、参加者のアイコン(あるいは映像)は録画領域の外にはじき出される場合、検知しない

検証結果

社内の会議と、youtubeの映像で確認しました。社内の会議は冒頭のtwitterで張り付けた通りですが、Excelで資料共有した瞬間に参加者のアイコンが録画画面外に移動してしまったので人物検知ができなくなってしまいました。

youtubeの映像はこちらを利用させていただきました。


Password-less Auth using Azure AD | Best of Microsoft Ignite 2018

例えば1:21の時点で女性が発言をしていますが、カメラワークが切りかわった1:28では人物を検知しなくなっています。

f:id:teraco:20181006145915j:plainf:id:teraco:20181006145918j:plain

結論

  • PCの画面共有をすると、Teamsの画面がPCの画面(ExcelやPPTなど)に切り替わるので、結果的に人物検知しなくなる

ということでダメじゃね?ということになりました。普通、Teams会議する時は資料共有しますしね。もしこれを解決するなら、資料共有はSkype for Business、会議音声録画だけTeamsでやればうまくいきます(死