toriR blog
夜のフライトコール(nfc)のすすめ方
夜のフライトコールを日本全国で録音をお願いしています。その分析をどうしたら人手がかからないか考えています。その思考の過程を記事にしました。これは修正を重ねていくと思います。- これからNFC録音の分析WEBシステムを作ることにして少し詳細を仕様化しようと思い書き出してみました。
nfc録音と録音データの収集と前処理の手順
- ICレコーダを用いたnfcの録音(各サイト)
- 録音データのファイル名に録音開始時刻と終了時刻、サイト名の付加
- nfc録音のメタデータの入力
- ユニークID、日時、場所、録音者、ICレコーダ、音響フォーマット、環境、天気、気温、ライセンス
- nfc録音データの収集
- google driveに参加者がupload
- nfc録音のバックアップ
- nfc録音データのユニークIDのファイル名変更
- 例えば、TRC4S3AGとか
- nfc録音データのフォーマット変換と分割:(多分1時間)
- 例えば、TRC4S3AG01, TRC4S3AG02, TRC4S3AG03とか
nfcの自動抽出(推定)と精度向上の手順
推定エンジンの選定
- nfcに特化したエンジン、野鳥の声に特異なエンジンがあるのでそのベンチマーク
- ベーンチマークに基づいたエンジン決定(ないしはエンジンを切り替えられるようにする)
訓練
- 教師データの取得
- 教師データの取得にはtoriRのアノテーションを用いて時刻と種類を手作業で取得する
- 教師データを用いたトレーニングによるtfrecordsの取得
推論
- 推論エンジンを用いた録音データからの開始時刻と確度の出力
- nfcの切り出しとスペクトラム画像生成
推論の検証
- 音声が聞ける状態にして、推定されたスペクトログラムを表示し、ユーザに正誤を選んでもらう
- 正誤に応じたデータベースの登録
精度向上
- 正誤データを集めて次の教師データとする
- 数が集まったところで訓練フェーズに戻る
アプリ開発の手順
ローカル環境で動作検証し推定エンジンを決定
ユーザごとのアップロードされた録音のデータ管理画面の作成
2からキックされたら推論するモジュールの開発
バックアップ方法の決定と開発
自動で推論の精度向上の開発
集計画面の開発
以上です