關於這個工具
音訊轉 MIDI 會從錄音裡抓出「彈了哪個音、什麼時候開始、持續多久、按得多用力」。把鋼琴或吉他的演奏弄進 DAW 換音色、把哼出來的旋律先記下來、或是把正在練的曲子的旋律抓出來對照,都用得上。模型是 Spotify 的 Basic Pitch(Apache-2.0),整個在這個分頁裡執行,錄音不會離開你的瀏覽器。
從聲音到音符
頁面會先解碼檔案、轉成 22,050 Hz 單聲道,再切成前後有重疊的短片段交給模型。模型大約每 11 毫秒就針對鋼琴的 88 個琴鍵各給一個數字:這個音現在是不是在響、是不是剛剛才開始。接著由你的設定把這些數字整理成音符:靈敏度決定起音要多明顯才算,延音門檻決定音符在哪裡結束,最短音符和音域則把雜訊般的短音濾掉。調整設定只會重做最後這一步,所以鋼琴捲簾馬上更新。結果可以用簡單的合成音播放,也可以左耳聽原音、右耳聽 MIDI,哪些音沒抓到一聽就知道。
做不到的事
最適合的是一個樂器、錄得乾淨的聲音。整首混音(鼓、貝斯、人聲一起)轉出來會很亂,建議先把要的那一軌分離出來。鼓和其他沒有音高的聲音不會變成音符。速度和小節線是猜的,或是你自己輸入的:音符照實際演奏的時間放,不會自動對齊拍子,需要的話請在 DAW 裡量化。輸出是 MIDI,不是五線譜。彎音以 2 個半音的範圍寫入,有些音源會直接忽略。
會下載什麼、留下什麼
第一次使用時會下載音符模型(230 KB),以及執行它的 ONNX Runtime(WebAssembly,約 13 MB,來自 jsDelivr CDN),之後瀏覽器會幫你留著。你的音訊沒有任何上傳的地方。可以處理最長 10 分鐘的音訊,運算在背景執行,隨時能取消。下載的 .mid 是單軌的標準 MIDI 檔,速度照你選的寫入,檔名沿用原檔名。