ByteScope

Audio to MIDI

録音ファイルを入れるか、マイクに向かって鼻歌を。AI がこのタブの中で音符を拾い、ピアノロールで確認して .mid を保存できます。

ファイルはブラウザから送信されません — 処理はすべてローカルで行われます。

録音ファイル

音声か動画ファイルをここにドロップ

またはクリックして選択。ファイルの貼り付け(Ctrl+V)もできます。10 分まで。

初めて使うときに、音符検出モデル(230 KB)と、それを動かす ONNX Runtime(約 13 MB、jsDelivr の CDN から)をダウンロードします。以降はブラウザーに保存されます。

音声はアップロードされません。デコードもモデルも MIDI の書き出しも、このタブの中で動きます。

いちばん向いているのは、きれいに録れた単独の楽器です。ドラム・ベース・歌が混ざった曲全体だと、かなり散らかります。

マイクで鼻歌や楽器を録音します。エコー除去とノイズ抑制はオフです。

できないこと

  • きれいに録れた単独の楽器や鼻歌が得意です。曲全体は散らかるので、先に使いたいパートだけ取り出してください。
  • ドラムなど音程のない音は音符になりません。
  • テンポと小節線は推測(または入力した値)です。音符は拍に揃えません。
  • 出力は MIDI で、楽譜ではありません。
  • 音声はアップロードされません。

このツールについて

音声から「どの高さの音が、いつ、どれくらい鳴ったか」を取り出して MIDI にします。ピアノやギターの演奏を DAW に取り込んで音色を変えたいとき、思いついた鼻歌を譜面代わりに残したいとき、練習中の曲のメロディーを確かめたいときに使えます。モデルは Spotify の Basic Pitch(Apache-2.0)。すべてこのタブの中で動くので、録音が外に出ることはありません。

音から音符になるまで

ファイルをデコードして 22,050 Hz のモノラルにし、少しずつ重ねた短い区間に分けてモデルに渡します。モデルは約 11 ミリ秒ごとに、ピアノの 88 鍵それぞれについて「今鳴っていそうか」「今鳴り始めたか」を数値で返します。これを音符にまとめるのが設定です。感度は出だしがどれだけはっきりしていれば音と見なすか、持続のしきい値は音をどこで切るか、最短の長さと音域の指定は雑音のような短い音を捨てる役目です。設定を変えても最後の音符化だけをやり直すので、ピアノロールはすぐ更新されます。結果は簡単なシンセで聴けるほか、左に元の音、右に MIDI を流して聴き比べると、拾えていない音も分かります。

できないこと

いちばん向いているのは、きれいに録れた単独の楽器です。ドラム・ベース・歌が混ざった曲全体を入れると、音符がかなり散らかります。先に使いたいパートだけ取り出してください。ドラムなど音程のない音は音符になりません。テンポと小節線は推測か、入力した値です。音符は演奏した時刻のまま入り、拍には揃えません。必要なら DAW のクオンタイズで整えてください。出力は MIDI で、楽譜ではありません。ピッチベンドは幅 2 半音で書き出すため、無視するシンセもあります。

ダウンロードするもの・保存するもの

初めて使うときだけ、音符検出モデル(230 KB)と、それを動かす ONNX Runtime(WebAssembly、約 13 MB、jsDelivr の CDN から)をダウンロードし、以降はブラウザーが保存しておきます。音声のアップロード先はありません。扱えるのは 10 分までで、処理はバックグラウンドで動き、いつでもキャンセルできます。.mid は 1 トラックの標準 MIDI ファイルで、選んだテンポで書き出し、元のファイル名に合わせた名前で保存されます。

よくある質問

音声はアップロードされますか?

されません。デコードも解析も MIDI への変換もこのタブの中で行い、サイトに音声を受け取る口もありません。通信するのは 230 KB のモデルと ONNX Runtime だけで、そこに音声は含まれません。気になる場合は、DevTools の Network タブで実際の通信を確かめられます。

初めて使うとき、何をダウンロードしますか?

このサイトから音符検出モデル(230 KB のファイル 1 つ)と、それを動かす ONNX Runtime(WebAssembly、約 13 MB、jsDelivr の CDN から)です。どちらもブラウザーが保存するので、2 回目からは待たずに始まります。

曲全体を入れると、なぜぐちゃぐちゃになるのですか?

このモデルは、楽器を 1 つずつ追う前提で作られています。ドラム・ベース・コード・歌が同時に鳴っていると、複数の楽器の音が一緒に拾われ、ノイズから存在しない音符まで作ってしまいます。曲の場合は、ピアノやボーカルなど欲しいパートを先に分離して、それだけを変換してください。

ドラムや楽譜も作れますか?

どちらもできません。ドラムのように音程のはっきりしない音は無視され、出力も PDF の楽譜ではなく MIDI ファイルです。MuseScore などの楽譜ソフトで開いて整える使い方はできます。

各設定は何を変えますか?

感度は、新しい音の出だしがどれだけはっきりしていれば音符にするか。上げると小さい音も拾いますが、誤検出も増えます。持続のしきい値は音が続いていると見なす強さの基準で、値を上げると早めに切れます。最短の音符はそれより短い音を捨て、最低音・最高音は範囲外を無視します。ピッチベンドは音の途中のしゃくりやビブラートを書き込みます。付けると音程がずれて聞こえる楽器では、オフにしてください。

音符が拍に揃わないのはなぜですか?

このページは拍の位置を知りません。音符は演奏された時刻のまま、選んだテンポのファイルに入ります。テンポは標準の 120 BPM、音声から測った値、20〜300 の手入力から選べます。曲に合うテンポにすれば、DAW のグリッドの近くに並ぶので、あとはクオンタイズで整えられます。

マイクで録音したり、鼻歌を入れたりできますか?

できます。録音を押して演奏または鼻歌、停止を押すと、ファイルと同じ手順で処理されます。音を加工しないよう、エコー除去とノイズ抑制はオフです。ブラウザーの許可が必要で、10 分たつと自動で止まります。鼻歌は、一音ずつはっきり、安定して歌うほどうまくいきます。

何分まで扱えて、どれくらい時間がかかりますか?

10 分までで、それより長いと処理を始める前に断られます。モデルは CPU で動くため、長いほど時間がかかります。進み具合は画面に出て、キャンセルすればすぐ止まります。終わったあとスライダーを動かす分には、モデルを再実行しないのですぐ反映されます。