できること:マイクの音や音声ファイルを調べて、「楽器・人の声・動物・自然な音・その他」のどれに近いかを表示します。Googleの学習済みモデル(YAMNet)をブラウザの中で動かすので、音声は外に送られません。
使い方:「マイクで解析を開始」でリアルタイムに、「音声ファイルを解析」でファイルを選んで調べます。最初はモデルの読み込みに少し時間がかかります。
注意:男性か女性か、雄か雌かの区別はできません。
出典:音の名前の分類は、GoogleのAudioSet(分類表はCC BY-SA 4.0)をもとに、日本語の名前をつけたものです。この日本語の名前の一覧にだけ、同じCC BY-SA 4.0を適用します(プログラム本体には適用しません)。音を調べるAI「YAMNet」はGoogleの提供(Apache License 2.0)で、そのコピーをGitHubに置いています。
🔊 音源解析プログラム
マイクの音、または音声ファイルを解析して「楽器 / 人の声 / 動物 / 自然な音 / その他の音」を判定します。
Google の学習済みモデル YAMNet(AudioSetの521クラス)をブラウザ内で実行します。音声はどこにも送信されません。
対応していないこと・注意事項
- 動物の鳴き声からの性別判定は、そもそも一般公開されている学習済みモデルが存在しないため非対応です。
- 人の声の男女判定も同様に非対応です(元になったAudioSetにはラベル定義がありますが、YAMNet本体の521クラスには含まれていません)。
- 植物が発する音の種類判定、金属の材質(鉄・アルミ・銅など)判定は、該当する学習済みモデルが存在しないため非対応です。
- マイクを使うには、このページを
https://(またはlocalhost)で配信する必要があります。file://で直接開いた場合、多くのブラウザはマイクへのアクセスをブロックします。 - 初回アクセス時にモデル(数MB〜十数MB)をダウンロードします。以降はブラウザのキャッシュが効きます。
音源解析プログラムの使い方・活用例・よくある質問
使い方
- 「マイクでリアルタイム解析」では、「マイクで解析を開始」を押します。ブラウザからマイクの使用を聞かれたら、許可してください。0.5秒ごとに、直近1.5秒の音を調べて、結果を更新します。止めるときは「停止」を押します。
- 「音声ファイルを解析」では、調べたい音声ファイルを選んで、「解析する」を押します。ファイルの音を、0.5秒ずつずらしながら調べて、結果を表に並べます。
- はじめて使うときは、AIモデルの読み込みに、少し時間がかかります(約16MB)。2回目からは、ブラウザが覚えているので、早くなります。
結果の見かた
- 分類: 「楽器・人の声・動物・自然な音・その他の音」の5つのうち、どれに近いかです。
- ラベル: もっとくわしい音の名前です。ピアノや雨のように、521種類の中から選ばれます。
- 種類・詳細: 動物の音のときに、どんな動物の音かのヒントが出ます。
- 確信度: AIが「その名前だと思う」強さです。100%に近いほど強く思っている、という意味で、本当に正解である確率そのものではありません。
- 無音: 音がとても小さいときは、調べずに「無音」と表示します。
どんな仕組みか
Googleが公開している音の分類AI「YAMNet」を、ブラウザの中で動かしています。YAMNetは、「AudioSet」という大きな音のデータで学習していて、521種類の音を見分けられます。音を、1秒に16,000回の細かさ(16kHz)に直し、1.5秒ぶんずつ調べます。調べる処理は、お使いのパソコンやスマホの中だけで行い、音はネットに送られません。
こんなときに使えます
- 外で聞こえた、いつもと違う音が何なのか、ヒントがほしいとき。
- 録音したファイルの中に、どんな音が入っているかを、ざっと確かめたいとき。
- 楽器の音や、人の声、動物の鳴き声が、どの種類に近いかを調べて遊びたいとき。
- 音を扱うプログラムや、AIの勉強で、音の分類のようすを見たいとき。
うまく判別できないこと
- 男性か女性か、雄か雌かの区別は、できません。
- 複数の音が重なっていると、いちばん目立つ音だけが結果に出ることがあります。
- 小さな音や遠くの音、まわりがうるさい場所では、まちがえやすくなります。
- 521種類にない音は、近いほかの名前で出ることがあります。
- 結果は「ヒント」です。安全や医療など、大事な判断には使わないでください。
よくある質問
Q. 音は外に送られますか。
A. 送られません。音は、ブラウザの中で調べます。ただし、AIを動かす部品(TensorFlow.js)と、AIモデルのファイルは、はじめにインターネットから読み込みます。くわしくは、プライバシーポリシーに書いています。
Q. マイクが使えません。
A. ブラウザでマイクの使用を許可する必要があります。「許可しない」を選んだときは、ブラウザのアドレス欄のそばにある、サイトの設定から、マイクを許可に変えてください。ほかのアプリがマイクを使っているときも、使えないことがあります。
Q. どんな音声ファイルを読み込めますか。
A. お使いのブラウザで再生できる音声ファイル(MP3やWAVなど)です。長いファイルは、時間がかかります。まず、短いファイルで試してください。
Q. 鳥や犬の種類まで分かりますか。
A. 犬・猫・鳥のような、おおまかな種類までです。鳥の種類のような、細かい区別は、ふつうできません。
Q. 日本語の名前は、正確ですか。
A. 音の名前は、もとの英語の分類名をもとに、日本語にしたものです。言いかえが、完全にぴったりとは限りません。
Q. 最初の読み込みが遅いです。
A. はじめて使うときだけ、約16MBのファイルを読み込みます。回線が遅いと、時間がかかります。2回目からは、ブラウザが覚えているので、早くなります。
ほかのプログラムは、トップページの一覧からどうぞ。音やデータの扱いについては、プライバシーポリシー・免責事項をご覧ください。