Claude Codeで重複コンテンツを検出して解体した記録

最初の測り方が間違っていた

重複率を測るとき、最初にやったのは「ヘッダー・ナビ・フッターを除いて本文を比べる」という素直な方法でした。これで出てきた数字は74〜91%一致。かなり深刻に見えます。

ところがこの数字を信じて本文を書き直そうとしたところ、違和感がありました。各ページの本文は、読む限りそれほど似ていないのです。数字と実感が合いません。

そこで測定対象を分解してみたところ、原因が判明しました。ヘッダーやフッターとは別に、各ページの本文エリアの末尾に、共通のブロック（FAQ・関連リンク・注意書き）が置かれていたのです。これは技術的には「本文の一部」なので、header/nav/footerを除くだけでは分離されません。

Claude Codeに書かせた検査の中身

頼んだのは要するに次の処理です。

1. 全ページの本文エリアを取り出す
2. ページ同士を突き合わせて最長の共通末尾を求める（これがテール）
3. テール込みの一致率と、テールを除いた一致率を両方算出して並べる
4. テールが全体に占める割合も出す

ポイントは3番です。片方だけ出すと、今回と同じ誤診をします。両方を並べて初めて「本文が原因か、テールが原因か」が判別できます。

この検査を他のサイトにも流したところ、テールが94字（全体の6%）のサイトや、テールが0字のサイトもありました。同じ運営者のサイトでも構造がばらばらだったので、1サイトの結果を他に当てはめなくて正解でした。

解体した結果

原因が分かってからの作業は単純です。共通ブロックを各ページの内容に合わせて書き分けました。別のサイトでも同じ検査と解体を行い、次のような結果になりました。

数字だけ見ると大きな作業に見えますが、実際に手を動かした時間より、原因を特定するまでの時間の方が長かったというのが正直なところです。書き分け自体は機械的な作業なので任せられます。

ついでに分かった「文字数の測り方」の問題

同じ話が文字数にも当てはまります。ページの分量を測るとき、ヘッダー・ナビ・フッター・共通テールを含めて数えると、実際より多く見えます。

「1,500字あるから十分」と思っていたページが、共通部分を除くと半分以下だった、ということが起こります。分量を根拠に判断するなら、そのページ固有の文章だけを数える必要があります。

これは広告審査の観点でも効いてきます。全ページが一定の文字数を超えていても、その大半が使い回しなら「独自の内容が薄い」と判断され得るからです。測るべきは総量ではなく独自の分量でした。

教訓：数字と実感が食い違ったら、測り方を疑う

今回の一連の作業で得た最大の学びはこれです。AIに集計させると結果が一瞬で、きれいな表で出てくるので、正しく見えてしまいます。手作業なら途中で「あれ、なんか変だな」と気づく場面が丸ごと飛ばされます。

今回は「数字は深刻なのに、読んだ感じはそこまで似ていない」という違和感が入口でした。違和感を無視しないこと、そして違和感が出たら測り方そのものを検算すること。これは検索データを4倍読み違えた別の失敗とまったく同じ構造でした。