このツールについて
音声から「どの高さの音が、いつ、どれくらい鳴ったか」を取り出して MIDI にします。ピアノやギターの演奏を DAW に取り込んで音色を変えたいとき、思いついた鼻歌を譜面代わりに残したいとき、練習中の曲のメロディーを確かめたいときに使えます。モデルは Spotify の Basic Pitch(Apache-2.0)。すべてこのタブの中で動くので、録音が外に出ることはありません。
音から音符になるまで
ファイルをデコードして 22,050 Hz のモノラルにし、少しずつ重ねた短い区間に分けてモデルに渡します。モデルは約 11 ミリ秒ごとに、ピアノの 88 鍵それぞれについて「今鳴っていそうか」「今鳴り始めたか」を数値で返します。これを音符にまとめるのが設定です。感度は出だしがどれだけはっきりしていれば音と見なすか、持続のしきい値は音をどこで切るか、最短の長さと音域の指定は雑音のような短い音を捨てる役目です。設定を変えても最後の音符化だけをやり直すので、ピアノロールはすぐ更新されます。結果は簡単なシンセで聴けるほか、左に元の音、右に MIDI を流して聴き比べると、拾えていない音も分かります。
できないこと
いちばん向いているのは、きれいに録れた単独の楽器です。ドラム・ベース・歌が混ざった曲全体を入れると、音符がかなり散らかります。先に使いたいパートだけ取り出してください。ドラムなど音程のない音は音符になりません。テンポと小節線は推測か、入力した値です。音符は演奏した時刻のまま入り、拍には揃えません。必要なら DAW のクオンタイズで整えてください。出力は MIDI で、楽譜ではありません。ピッチベンドは幅 2 半音で書き出すため、無視するシンセもあります。
ダウンロードするもの・保存するもの
初めて使うときだけ、音符検出モデル(230 KB)と、それを動かす ONNX Runtime(WebAssembly、約 13 MB、jsDelivr の CDN から)をダウンロードし、以降はブラウザーが保存しておきます。音声のアップロード先はありません。扱えるのは 10 分までで、処理はバックグラウンドで動き、いつでもキャンセルできます。.mid は 1 トラックの標準 MIDI ファイルで、選んだテンポで書き出し、元のファイル名に合わせた名前で保存されます。