Video Search

このツールについて

動画をドロップして、探している場面を言葉にしてください。「芝生を走る犬」「棒グラフの入ったスライド」「海に沈む夕日」といった具合です。スクリーンショットをドロップ・貼り付け・選択して、それに似た場面を探すこともできます。ページはまず 5 秒ごとに 1 フレームを取り出し、EmbeddingGemma 2 モデルをあなたのグラフィックカードで動かして各フレームをベクトルに変換します。入力した言葉や画像も同じ方法でベクトルになります。最初のフレームの索引ができた時点で検索を始められます。続いて 2 回目のパスがバックグラウンドで 1 秒ごとに 1 フレームを埋めていき、これは一時停止と再開ができます。もっとも近い場面はサムネイルとタイムコード付きで最大 12 件並び、クリックするとプレイヤーがその位置から再生します。「Video Trimmer で切り出す」を押すと、Video Trimmer 側で同じファイルをもう一度選んだときにその範囲が自動で入ります。

必要なもの

初回だけ約344 MBのモデルファイルをダウンロードします。その後はブラウザ内に保存され、そこから読み込まれます。モデルはWebGPUで動くため、グラフィックカードを積んだデスクトップパソコンのChromeかEdgeが必要です。WebGPUがない環境に代替手段はありません。このモデルはCPUでは動かせないので、無理に試す代わりにページがその旨を表示します。SafariとFirefoxは未検証のため、対応を謳っていません。動画がアップロードされることはなく、フレームの取り出しも索引化もこのタブの中だけで完結し、その内容が外に出ることはありません。

正直な限界

フレームは、入力した言葉と意味がどれだけ近いかで並びます。モデルが動画の中身を本当に理解しているわけではありません。物・場所・色・スライドのように目に見える具体的なものが得意で、「面白いところ」のような抽象的な言葉は苦手です。見るのは映像だけで音は聞こえないので、「歌っている人」と探しても手がかりは画面に映っているものだけです。話している内容を探すなら Voice Notes を使ってください。最初のパスは 5 秒に 1 フレームしか見ないため、細かいパスがその部分に届くまでは、それより短いショットが 2 つのサンプルの間に落ちて見逃されることがあります。索引にかかる時間はグラフィックカード次第で、GTX 1060 なら最初のパスは動画 1 分あたり約 3 秒、40 分の映画でも 2 分ほどで検索できるようになります。細かいパスは動画 1 分あたり約 15 秒です。ベクトルはこのブラウザに保存されるので、ページを閉じて戻ってきても、同じファイルを選べば止まったところから索引を再開します。開ける形式は Video Trimmer と同じで、ブラウザがデコードできる MP4・MOV・WebM・MKV です。HEVC デコーダーのないパソコンでは HEVC の動画は読めません。