AI Search Check

關於這個工具

AI 回答引擎要引用一個頁面之前，會先在意三件事：爬蟲抓不抓得到、不跑 JavaScript 讀不讀得到內容、裡面有沒有值得引用的具體事實。貼上網址，這個工具就把這三件事拆成 10 項檢查，給你一個 100 分制的分數。每一項都寫清楚「現況」「為什麼重要」「怎麼改」，還附上可以直接貼進 robots.txt、llms.txt 或 <head> 的片段。

檢查哪些東西

robots.txt 依 RFC 9309 的比對規則，逐一判定 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-User、PerplexityBot、Google-Extended、Applebot-Extended、CCBot、Bingbot。擋掉訓練用的爬蟲算是正當選擇；擋到搜尋用或使用者觸發的爬蟲才會判不及格，因為讓你從 AI 回答裡消失的是這些。另外也會讀 /llms.txt 並測試前 10 個連結、找這一頁的 Markdown 版（.md、index.md，或 rel="alternate" type="text/markdown" 連結）、從 sitemap 抽 5 個網址確認、列出 JSON-LD 型別和缺了哪些必填欄位，再看標題階層、狀態碼、轉址、noindex 與 canonical。

十項檢查下面還有一節選用的「問題相關度」，不計入總分。輸入最多五個讀者可能會問的問題，工具會依標題把頁面切成段落，用開源的向量模型 EmbeddingGemma 2 把每一段和每個問題轉成向量，列出每題最接近的三段和分數；如果最高分的段落只比全頁中位數高不到 0.05，會標出「沒有哪一段明顯比其他段更貼近這個問題」。這是用開源模型模擬檢索，不是 Google、ChatGPT、Perplexity 實際用的模型，所以分數只能拿來比較同一頁的不同段落。排序看的是意思接不接近，不是真的讀懂內容，很抽象的詞效果會比較差。第一次使用要下載約 234 MB 的模型，之後會留在瀏覽器裡；需要支援 WebGPU 的瀏覽器，也就是桌機版 Chrome、Edge，Safari、Firefox 和手機瀏覽器都還沒測過。頁面跟上面的檢查一樣透過我們的 Worker 抓取，轉成向量則是在你的瀏覽器裡做。只分析抓到的這一頁，不是整個網站。

不做的事

只查你輸入的這一頁，不會爬整個網站。就跟大多數 AI 爬蟲一樣，我們不跑頁面的 JavaScript，所以「內容要不要靠 JS」是從原始 HTML 推估的：看得到的字數、script 的份量，以及 #root、#__next 這類空的掛載點。hreflang 也只查本頁（有沒有指向自己、跟 <html lang> 一不一致、代碼合不合法）；其他語言版本有沒有指回來，要把每一頁都抓下來才知道，這裡不做。可引用性是用數字、日期、表格、定義句對上行銷形容詞來計數的啟發式指標，不是在評文章寫得好不好。

抓取是怎麼運作的

瀏覽器沒辦法直接讀別人網站的頁面，所以網址會交給我們的 Cloudflare Worker 代抓。Worker 會在整體 8 秒的期限內，抓頁面本身、robots.txt、llms.txt、sitemap 和 Markdown 候選，最多跟 3 次轉址、每個回應上限 2 MB、不帶 Cookie，並拒絕私有與本機位址，包括會解析到這些位址的主機名稱。Worker 只把原始回應交回來，評分在你的瀏覽器裡算；頁面內容一律不存，只留下「成功或失敗」的匿名次數。