一括noindexで消してはいけないページを消した記録

やろうとしたこと

複数サイトを横断して本文の量を測ったところ、他ページと共通の定型文を除いた独自の本文が300字に満たないページが683本ありました。このままでは広告審査に通りません。

そこで検索データと突き合わせて、2つに振り分けました。

表示がゼロなら誰も見ていないので、外しても損がありません。逆に表示があるなら、外すと今ある入口を捨てることになります。この振り分け自体は正しい判断でした。問題は実行のしかたです。

何が起きたか

427本を処理するスクリプトに書いた条件は、実質これだけでした。

「独自の本文が300字未満」かつ「90日の表示がゼロ」ならnoindexにする。

この条件に、次のページが合致してしまいます。

• 免責事項 — 定型的な文章なので「独自の本文」が少ない
• 運営者情報 — 同上
• プライバシーポリシー — 同上
• 問い合わせ — 短くて当たり前のページ。表示回数もほぼない

合計7本を、4サイトにまたがって検索対象から外していました。広告審査で審査する側が必ず開くページです。これが検索から消えている状態は、審査に落ちる直接の理由になります。

気づいたのは、処理後に「何を外したか」の一覧を眺めていた時でした。条件を書いた時点では、この可能性を一度も考えていません。

復旧の手順

幸い、元に戻せる作り方をしていました。

• ファイルは削除していない — robots メタを書き換えただけ
• 処理した一覧をファイルに残していた — どのURLを、当時どんな状態で外したかが分かる

この2つがあったので、同日中に7本すべてを検索対象へ戻し、サイトマップにも再登録できました。

一括処理では「元に戻す手段」を先に用意してください。具体的には、①ファイルを消さない ②変更前の状態を含む一覧を残す ③変更は1種類だけにする、の3点です。今回は robots メタ1行だけを触っていたので、戻す作業も1行で済みました。

入れた対策

スクリプトに「絶対に触らないもの」の定義を先に書きました。運営者情報、各種ポリシー、免責、問い合わせ、規約、編集方針、更新情報、トップページ、サイトマップです。

重要なのは、これを条件式とは別に、独立した除外として書くことです。処理対象の条件を細かくして避けようとすると、条件が複雑になって別の見落としが生まれます。

あわせて、実行時に「除外したページ」を必ず表示するようにしました。何本を守ったかが毎回目に入るので、除外リストが機能しているかを確認できます。

派生して見つかった、もっと重い欠陥

巻き込みを確認する過程で、全サイトの運営者情報・免責・ポリシー・問い合わせを全数調べました。すると、noindexとは無関係の問題が見つかりました。

• あるサイトでは、4本とも実質的に空だった — 33〜66字の1文だけで、ヘッダーもフッターも無い状態
• 別のサイトでは、問い合わせページに連絡先が1つも書かれていなかった

どちらも、広告審査で落ちる典型的な形です。本文の量は毎回測っていたのに、この4本は測定対象から外れがちで、今日まで誰も見ていませんでした。

該当する8本を同日に書き直しました。教訓としては、信頼性に関わるページは定期的に全数を目で確認することです。自動の測定からは漏れます。

一括処理を始める前に書くこと

今回の失敗を一般化すると、こうなります。

機械的な一括処理では、対象の条件だけを書くと、条件に合ってしまう例外を巻き込む。

手順として固定しました。

1. 先に「絶対に触らないもの」を書く — 対象の条件より前に書く
2. ドライランで対象一覧を出す — 書き込まずに、何を処理するかだけ表示する
3. 一覧を目で見る — 件数ではなく、中身を見る。見覚えのない名前が混ざっていないか
4. 元に戻せる形にする — ファイルは消さず、変更前の一覧を残す
5. 実行後に、抜き取りではなく全数で確認する

3番目を飛ばさないでください。「427本処理しました」という数字を見ても、何が混ざっているかは分かりません。今回も一覧を見て初めて気づきました。Claude Codeに一括処理を頼む時は、必ずドライランを先に出させて、その一覧を自分で読んでください。