AI Search Check

このツールについて

AI の回答エンジンがページを引用する前に気にするのは、クローラーが取得できるか、JavaScript を実行しなくても本文が読めるか、引用に値する具体的な中身があるか、の 3 点です。URL を貼ると、この 3 点を 10 項目に分けて調べ、100 点満点のスコアを出します。各項目には「現状」「なぜ大事か」「どう直すか」があり、robots.txt、llms.txt、<head> にそのまま貼れるスニペットも付いています。

何を調べるか

robots.txt は RFC 9309 のマッチング規則で、GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-User、PerplexityBot、Google-Extended、Applebot-Extended、CCBot、Bingbot をひとつずつ判定します。学習用クローラーを拒否するのは正当な選択として扱い、検索用やユーザー操作で動くクローラーを拒否している場合だけ不合格にします。回答に載らなくなる原因はそちらだからです。ほかに /llms.txt の中身と先頭 10 リンクの生死、ページの Markdown 版（.md、index.md、rel="alternate" type="text/markdown" のリンク）、sitemap から 5 件の抜き取り確認、JSON-LD の型と必須項目の抜け、見出し構造、ステータスコード、リダイレクト、noindex、canonical を見ます。

10 項目のチェックの下には、スコアに含まれない「質問との関連度」という項目もあります。読み手が聞きそうな質問を最大 5 つ入れると、ページを見出しごとの段落に分け、オープンソースの埋め込みモデル EmbeddingGemma 2 で段落と質問をベクトルに変換し、質問ごとに意味の近い段落を 3 つスコア付きで並べます。いちばん高い段落でもページ全体の中央値との差が 0.05 未満なら、「この質問に特に近いと言える段落は見当たりません」と表示します。これはオープンソースのモデルで検索の仕組みを再現したもので、Google や ChatGPT、Perplexity が実際に使っているモデルではないため、スコアは同じページの段落どうしを比べる目安にしかなりません。並び順は意味の近さで決まり、内容を理解しているわけではないので、抽象的な言葉ほど結果があいまいになります。初回は約 234 MB のモデルをダウンロードし、その後はブラウザに残ります。WebGPU が必要で、使えるのはデスクトップ版の Chrome と Edge です。Safari、Firefox、スマホのブラウザは未検証です。ページの取得は上のチェックと同じく Worker 経由ですが、ベクトルへの変換はブラウザの中で行います。分析するのは取得したこの 1 ページだけで、サイト全体ではありません。

やらないこと

調べるのは入力したこの 1 ページだけで、サイト全体はクロールしません。多くの AI クローラーと同じく JavaScript は実行しないので、JS 依存の判定は生の HTML から見た推定です（見える文字数、スクリプトの重さ、#root や #__next のような空のマウント要素）。hreflang もこのページの分だけ（自分自身を指すエントリ、<html lang> との一致、コードの妥当性）を見ます。ほかの言語版が指し返しているかまでは、全ページを取得しないと分からないので対象外です。引用されやすさは、数値・日付・表・定義文と宣伝的な形容詞を数える簡易的な目安で、文章の良し悪しを判定するものではありません。

取得のしくみ

ブラウザからは他サイトのページを直接読めないため、URL は ByteScope の Cloudflare Worker に送られます。Worker はページ本体、robots.txt、llms.txt、sitemap、Markdown 候補を、全体で 8 秒の期限、リダイレクト最大 3 回、1 レスポンス 2 MB まで、Cookie なしで取得します。プライベートアドレスやローカルアドレス、そこへ名前解決されるホスト名は拒否します。Worker は生のレスポンスを返すだけで、採点はブラウザの中で行います。ページの内容は保存せず、残るのは成功か失敗かの匿名カウントだけです。