ドローン搭載マイクロホンアレイ収録音からのオフライン音源位置推定

ドローン搭載マイクロホンアレイによる屋外オンライン音源探索

ドローンのプロペラ雑音下での音声認識性能の向上

騒音下での聞き取り

ドローンが音で人を探すためには、まずドローン自身の大きな騒音を取り除く必要があります。
このデモでは、まずドローンで録音した元の音声を再生します。この音声では、人の声はドローンの騒音にほとんど埋もれてしまっています。次に、私たちが提案した音響信号処理を適用すると、人の声がはっきり聞こえるようになります。
これは音源強調の例であり、不要な騒音を減らして、重要な音だけを聞き取りやすくする技術です。

屋内で移動する音源の追跡

人の声を聞き取れるようになったら、次は「その音がどこから聞こえているのか」を推定する必要があります。
この実験では、小型ドローンが複数台、屋内の実験施設を飛行します。それぞれのドローンにはマイクが搭載されており、話しながら歩き回る人に対して、ドローン同士が協力しながら、その人の位置を三次元空間で推定します。画面右下のグラフには、人が移動するたびにリアルタイムで更新される位置推定結果が表示されています。

視覚的に見えない人の発見

この実験では、音を出している人は木製の壁の向こう側に隠れており、カメラからはまったく見えません。これは、災害時に人ががれきの下に閉じ込められている状況を想定しています。カメラだけでは人を発見できませんが、ドローンは「見る」のではなく「聞く」ことで、人の位置を推定し続けることができます。画面右下には、人が見えていないにもかかわらず、システムが音だけを利用して位置を推定している様子が表示されています。
「目では見えないものを、耳で見つける。」これこそが、Drone Auditionの最大の特徴です。

屋外での実災害を想定した救助システム

このデモでは、実際の災害救助にさらに近いシステムを紹介します。ここでは、ドローンだけではなく、地上ロボットも協力して活動します。上空では複数の大型ドローンが飛行し、広い場所で助けを求める人の声を聞き取ります。
まずドローンが、おおよその位置を推定します。その情報は、車輪型ロボット及び四足歩行ロボット（ロボット犬）へと送られます。地上ロボットはその場所まで移動し、人の位置をさらに正確に特定します。この実験は、ドローンと地上ロボットが音を利用して協力することで、人だけでは難しい災害救助を、より速く・より安全に行える可能性を示しています。

地面からの反射音を利用した地面の識別

これまで、ドローンのロータ騒音は「取り除くべきノイズ」と考えられてきました。しかし、私たちは別の発想をし、この騒音を逆に利用できないだろうか？と考えました。
ドローンが飛行すると、ロータの音は地面へ向かって進み、地面で反射して反響音（エコー）となってマイクへ戻ってきます。実は、地面の種類によって音の反射の仕方は異なります。例えば、アスファルト、土、水面、雪、砂利、砂では、それぞれ反射音の特徴が変化します。つまり、ドローンは自分自身が発した音の反射を聞くことで、地面の種類を推定できるのです。この技術は、霧や煙、粉じん、夜間など、カメラが使いにくい環境でも利用できます。例えば災害現場では、冠水している場所、通行できない道路、危険な地面などを、人が近づく前に調査できる可能性があります。
私たちは実際に屋外の実験環境で、水面、砂利、雪、砂など、さまざまな地面を対象に実験を行いました。その結果、ドローンは自分自身のロータ騒音の反射音だけを利用して、地面の種類を識別できることが確認されました。