ByteScope

Vocal Remover

丟一首歌進來,拿回兩軌:只有人聲的清唱,和拿掉人聲的伴奏,唱卡拉 OK、練翻唱、做混音都用得上。分離模型透過 WebGPU 在你的顯示卡上、就在這個分頁裡執行,歌曲不會上傳。先聽 20 秒試聽,覺得可以再分離整首,兩軌各存一個 WAV。

檔案不會離開你的瀏覽器 — 全部在本機處理。

正在檢查 WebGPU…

把歌曲拖到這裡,或點一下選檔

音訊或影片檔都可以,不會上傳。

限制

  • 分離不是完美的:人聲軌裡會殘留一點樂器,伴奏裡會殘留一點和聲或回音,尤其是和聲、合唱、人聲效果很重的歌。
  • 第一次要下載約 175 MB 的模型和約 26 MB 的引擎,之後都從瀏覽器快取載入。
  • 需要 WebGPU 和真正的顯示卡。沒有 CPU 模式;沒有 WebGPU 或硬體加速被關掉時,頁面不會開始處理。
  • 峰值會用到約 3.5 GB 的顯示卡記憶體,4 GB 以下的顯示卡可能會失敗。
  • 只支援桌機和筆電,手機和平板跑不動。
  • 分離出來的音軌仍受原曲版權保護,只供個人練習使用,不要拿去散布或上架。
  • 歌曲不會上傳,解碼和分離都在這個分頁裡完成。
模型授權(HTDemucs,MIT)

HTDemucs,作者 Alexandre Défossez 等人(Meta),取自 facebookresearch/demucs,轉成 ONNX 格式。授權全文:

MIT License

Copyright (c) Meta Platforms, Inc. and affiliates.

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.

關於這個工具

去人聲就是把已經混好的立體聲歌曲,重新拆回不同的部分。丟 MP3、M4A、WAV、FLAC、OGG 都可以,丟影片檔就用它的音軌。你會拿到兩軌:只有歌聲的清唱(acapella),以及其他全部的聲音,也就是可以跟著唱的伴奏。唱歌的人拿伴奏練卡拉 OK 和翻唱,做音樂的人拿清唱當混音素材,玩樂器的人則可以聽清楚編曲很滿的段落裡到底在彈什麼。整個過程都在這個瀏覽器分頁裡:檔案在這裡解碼,模型在你自己的顯示卡上執行,什麼都不會上傳。

分離是怎麼做的

模型是 HTDemucs(Hybrid Transformer Demucs),由 Meta 的 Défossez 等人在 2022 年發表,採 MIT 授權。它同時從波形和頻譜圖兩個角度聽這首歌,再用 Transformer 讓兩邊互相參照。它其實會分出四個來源:鼓、貝斯、人聲和其他,這個頁面把鼓、貝斯和其他加回去,就是伴奏。歌曲會先轉成 44.1 kHz 立體聲,切成 7.8 秒、彼此重疊四分之一的片段,用 ONNX Runtime Web 一段一段送進顯示卡,最後再交叉淡化接回去,所以聽不出接縫。模型前後的頻譜計算放在 Web Worker 裡,就算是很長的歌,頁面也不會卡住。

先試聽,再分離整首

第一個按鈕會分離歌曲中間的 20 秒,通常會落在主歌或副歌,讓你在花一分鐘以上處理整首之前,先聽聽這首歌分得乾不乾淨。覺得可以就分離整首,進度會顯示處理了幾秒、速度是即時的幾倍、還要多久。用 GTX 1060 這種中階顯示卡,一首三分鐘的歌大約 45 秒。兩軌都存成 44.1 kHz、16 位元的立體聲 WAV,長度和原曲一模一樣。

效果大概會怎樣

分離不是完美的。人聲軌裡會殘留一點樂器,伴奏裡會殘留一點和聲或回音,尤其是和聲疊很多層、合唱,或是人聲加了很重的殘響、延遲、破音、自動修音的歌,模型分不太出哪些聲音屬於人聲。編曲比較單純的流行和搖滾分得最乾淨。有配樂的說話聲也能用,不過模型學的是歌曲,不是 Podcast。

你的電腦需要什麼

第一次會下載模型(約 175 MB)和推論引擎(約 26 MB,ONNX Runtime Web,來自 jsDelivr CDN),之後都留在這個瀏覽器的快取裡。模型只能透過 WebGPU 在真正的顯示卡上執行,峰值會用到約 3.5 GB 的顯示卡記憶體,4 GB 以下的顯示卡可能會失敗。沒有 CPU 模式:用處理器跑,時間是歌曲長度的好幾倍,還要吃掉將近 3 GB 記憶體。如果瀏覽器沒有 WebGPU,或是硬體加速被關掉、WebGPU 只能用軟體算圖,頁面會直接說明原因、不會開始處理,並附上 My Computer Specs 的連結讓你檢查。這個工具是給桌機和筆電用的,手機和平板不支援。

版權

分離出來的音軌還是原曲的一部分,版權仍然屬於原曲。只能拿來個人練習、研究或自己唱卡拉 OK;沒有權利人的同意,不要公開、散布,也不要上傳到串流平台或影音網站。

常見問題

我的歌會被上傳嗎?

不會。檔案在這個分頁裡解碼,分離則是透過 WebGPU 在你自己的顯示卡上執行。唯一的下載是第一次要用的模型和推論引擎;你的音訊不會離開瀏覽器,也不會留下任何紀錄。

為什麼一定要顯示卡?

HTDemucs 是很大的神經網路,光是模型檔就約 175 MB,每 7.8 秒的音樂要做幾十億次運算。用 GTX 1060 加 WebGPU,三分鐘的歌大約 45 秒;用處理器跑,比歌曲本身還慢好幾倍,還用掉將近 3 GB 記憶體。與其做一個只會讓分頁卡死的 CPU 模式,頁面會直接告訴你缺了什麼,並帶你到 My Computer Specs 檢查瀏覽器和顯示卡。

為什麼手機跑不動?

模型峰值除了瀏覽器本身之外,還要約 3.5 GB 的顯示卡記憶體,超過手機和平板願意給網頁的量;第一次下載也有約 200 MB。這個頁面是給有真正顯示卡的桌機和筆電用的,在手機上它會說明原因,而不是開始一個會當掉或慢到不行的工作。

要下載多大?存在哪裡?

模型約 175 MB、推論引擎約 26 MB,都只下載一次。模型會先比對 SHA-256 指紋,再存進這個瀏覽器的快取,所以下一首歌不用再下載就能開始。在瀏覽器設定裡清除這個網站的資料就會刪掉。

為什麼伴奏裡還聽得到一點人聲?

因為混好的歌曲裡,各個部分本來就不是分開存的。殘響、和聲、效果器會把人聲抹到整個聲音裡,模型只能猜每個聲音有多少屬於歌手。和聲疊很多層、合唱,或是殘響、延遲、自動修音很重的人聲,殘留最多;編曲單純、主唱乾淨的歌分得最好。分離整首之前,先用 20 秒試聽判斷一下。

可以把鼓、貝斯和其他樂器也分開嗎?

現在還不行。模型內部其實已經分成鼓、貝斯、人聲和其他四軌,但這個版本只給你兩軌:人聲,以及把其他三軌加起來的伴奏。鼓、貝斯、其他各自分開,加上可以調整的混音台,排在下一個版本。

分離出來的音軌可以用在我的影片或作品裡嗎?

要有權利人的同意才行。分離不會改變歌曲屬於誰,清唱和伴奏都還是原本錄音的一部分。自己練習、研究、私下唱卡拉 OK 沒問題;沒有授權就不要公開、散布,也不要上傳到串流平台或影音網站。