このツールについて
アクセスログのファイル、またはログが入ったフォルダーごとドロップすると、どのAIクローラーがいつ何回来て、どのページを取っていったかがわかります。ボットごとにリクエスト数と日別の推移、よく取られたページ、ステータスコード、平均応答時間、訪問の間隔（中央値）を表示。サイトマップを読み込めば、いちばん役に立つ表「登録してあるのにAIクローラーが一度も取りに来ていないページ」も出せます。
読めるログ形式
Cloudflare Logpush の http_requests（JSON Lines）、nginx と Apache の combined 形式（両者は1バイトも違わないので同じパーサーで読みます。末尾に $request_time や %D があれば応答時間として使います）、Caddy の JSON アクセスログ、Vercel と Netlify のログドレイン。形式はファイルごとに先頭20行（空行を除く）から判定するので、形式の違うファイルが同じフォルダーに混ざっていても大丈夫です。access.log.2.gz のようなローテート済みの .gz もブラウザー内で展開します。1回に読めるのは2,000ファイルまで。
クローラーの見分け方
user-agent を決まった順に照合します。OpenAI は OAI-SearchBot・ChatGPT-User・GPTBot、Anthropic は Claude-SearchBot・Claude-User・ClaudeBot。続いて Perplexity、DuckDuckGo、Mistral、Meta、Amazon、ByteDance、Common Crawl、Cohere、Diffbot、You.com、検索エンジンとして Googlebot、Bingbot、Applebot、Yandex、Baidu、Petal。AIクローラーは「学習用」「検索用」「ユーザー操作によるアクセス」に分けて数えます。どれを止めるかで意味がまったく変わるからです。ボットらしいのにどれにも当てはまらないものは「その他のボット」として user-agent をそのまま並べます。
わからないこと
user-agent は自己申告で、証明にはなりません。ヘッダーに GPTBot と書くだけなら誰にでもできます。ここで見ているのはトラフィックであって、身元の確認ではありません。本物かどうかを確かめるには IP の逆引きが必要ですが、このツールはそこまでしません。ログをリアルタイムで流し込む機能もありません（サーバーが必要になるため）。ファイルに書き出してからドロップしてください。ログはブラウザーの外に出ません。読むのは時刻・メソッド・パス・ホスト・ステータス・user-agent・応答時間だけで、IP アドレスやリファラー、Cookie は読みません。サーバーに送るのは、貼り付けたサイトマップの URL だけです。