実践ログ|AIの検品の自動化

Claude Codeで無料AIの検品を自動化する:決まった形の誤検出を自動でふるい落とした記録

記録の日:2026年11月18日

2匹のロボットのちんあなごが、ふるいの機械で紙の束をより分け、多くの紙をバツの箱へ落とし、残った少しの紙を虫めがねで確かめているイラスト(イメージ画像・AIで作成)

サイトの文章を無料で使えるAIに検品させると、手間は減る一方で、同じ形の誤った指摘が毎回返ってきます。それを1件ずつ Claude Code の会話で読んでいると、使用量も時間も取られます。2026年11月18日、運営者は Claude Code と一緒に、決まった形の誤検出を10分ごとの定期処理で自動的に不合格にする仕組みを入れました。その日の312件で試すと、105件を自動で落とし、人が読む必要があるのは38件になりました。

このサイトは Anthropic や Claude の公式サイトではありません。ここに書いているのは運営者(ちんあなご編集部)が自分の作業で試したことで、同じ設定・同じ結果になるとは限りません。

この記録について

項目内容
記録の日2026年11月18日
使った道具Claude Code(Windows)・Node.js のスクリプト・Windows のタスク スケジューラ・無料で使えるAI(Gemini・Groq・Gemma・OpenRouter)
したこと無料AIの検品の答えのうち、決まった形の誤った指摘だけで出来ている答えを、10分ごとの定期処理で自動的に不合格にした
試した結果2026年11月18日の312件で、105件を自動で不合格に。人の確認に残したのは38件
決まりの数正規表現13本(誤検出の形ごとに1本)

無料AIに検品させると、誤った指摘で人の手が取られる

運営者は、AIが書いたり厚くしたりしたサイトの文章を、公開したあとに無料で使えるAIへ回して読み直させています。頼みの文は決めてあり、見る観点は6つです。

ところが、返ってくる答えには「指摘の形はしているが、直す必要のないもの」が多く混ざります。表ごとに同じ注記が並んでいることを「繰り返し」と言ったり、データの取得日をわざわざ指摘したりします。こうした答えも、人の確認に回す受け箱に積まれていました。

受け箱を読むのは Claude Code の会話です。誤検出が多いと、読むだけで使用量が減り、本当に直すべき指摘が埋もれます。そこで「この形の指摘は誤りだ」と分かっているものを、Claude Code を使わない定期処理の側で先に落とすことにしました。

  • 年・日付・数字の食い違い
  • 同じ文の繰り返し
  • 途中で切れた文
  • 作業メモのような文
  • 過ぎた日付を未来のように書いた所
  • 使わないと決めた語がそのまま残っている所

本文は6000字で切って渡しています。最後の行が切れているのはそのためなので、頼みの文の中で「指摘しない」と伝えてあります。それでも同じ形の指摘は返ってきます。頼みの文を直すだけでは止まらない、というのが出発点でした。

ふるい落としの手順:指摘の行が全部「いつもの誤検出」なら不合格

考え方は単純で、答えの中の指摘の行が1行残らず決まった誤検出の形に当たるときだけ落とします。1行でも当たらない指摘があれば、その答えは人の確認に回します。落としすぎて本当の誤りを見逃すより、少し多めに人へ回すほうを選びました。

  1. AIの答えから、前置きの行と、途中で入る再試行の行を外す
  2. 「問題なし」と返ってきた答えは、そのまま合格として扱う
  3. 頼みの文をなぞっただけの答え(役割や条件を書き写しただけのもの)は落とす
  4. 引用だけの行(「…」で始まる行・例・原文)は判断に使わない
  5. 残った指摘の行が全部、13本の決まりのどれかに当たれば不合格として記録する
  6. 1行でも当たらなければ、受け箱に積んで人が読む

落とした答えは消さずに、無料AIに作業を回す自作の道具の記録へ「不合格」と理由を書きます。同じ答えを2度数えないように、落とした作業の名前も別のファイルに残しています。あとから「本当に落としてよかったか」を見返せる形にしておくのが大事です。

決まりにした誤検出の形

決まりは、それまでに人が読んで「これは誤りではない」と判断した指摘から作りました。正規表現で13本あり、形ごとに1本です。主なものを表にまとめます。

誤検出の形直さなくてよい理由
表ごとに同じ注記(集計のしかた・年度の説明・出典の行)が繰り返されている表ごとに付ける説明なので、繰り返しは正しい
データの取得日がある、という指摘いつのデータかを示すために必要な表記
分子・分母の計算式が書いてある、という指摘数字の出し方を読み手に説明するための文
指定の語は見つかりません、という報告問題が無いことを指摘の形で書いただけ
「問題なし」の言い換え(見当たりません・食い違いはありません など)中身は合格の答え
頼みの文の役割や条件をそのまま書き写した答え検品そのものをしていない
見出しやパンくずが2回並んでいる、という指摘文章を抜き出すときの都合で、ページ上では1回

312件で試した結果

決まりを入れる前に、2026年11月18日に返ってきた答え312件にそのまま当ててみました。いきなり定期処理に入れず、その日の実際のデータで先に試すのは、Claude Code に頼むときの基本にしています。

件数扱い
312件試した答えの全部(2026年11月18日の分)
105件指摘の行が全部、決まった誤検出の形だった=自動で不合格
38件決まりに当たらない指摘が1行以上あった=受け箱に残して人が読む

人が読む必要のある答えは38件にまで減りました。この38件には、決まりに無い新しい形の誤検出も混ざります。それを見つけたら、決まりを1本ずつ足していきます。ふるい落としは10分ごとの定期処理の中で動くので、Claude Code の使用量は使いません。

あわせて直した止まり方

同じ日、検品を回す定期処理が18回続けて失敗していたことにも気づきました。原因は、無料で使えるAIの1つ(OpenRouter の無料のモデル)が429の応答を返し、検品の子のプロセスが答えなしで終わっていたことです。

答えが無いのはエラーとして扱わず、そのAIを休ませて記録だけを残す形に直しました。Gemini・Groq・Gemma は30分、OpenRouter は6時間休ませます。送信をしない試し運転でエラーが0になることを確かめてから入れました。

また、AIが自動で書く節のうち「確認できない事柄」を並べる節が、26面に定型の言い回しのまま出ていたことも見つかり、節ごと出さないように直しました。どれも、AIの答えを機械で先にふるう仕組みがあれば、もっと早く気づけた種類の問題です。

Claude Codeに頼むときのコツ

この作業で Claude Code に頼んだのは、決まりの正規表現を書くことと、それをその日の実データに当てて数を出すことの2つです。頼み方で効いたことを残しておきます。

  • 「誤検出を減らして」ではなく、人が誤りと判断した答えの実物を見せて、形ごとに決まりを作ってもらう
  • 落とす条件は「指摘の行が全部当たったら」にして、1行でも分からないものは人に回す
  • 定期処理に入れる前に、その日の実データで何件落ちて何件残るかを数えてもらう
  • 落とした答えは消さず、理由と一緒に記録に残す
  • 新しい形の誤検出を見つけたら、決まりを1本ずつ足す

FAQ

無料AIの検品の答えを、全部 Claude Code に読ませてはいけないのですか?

読ませることはできますが、誤検出が多いと使用量の多くがそれに使われます。決まった形の誤りは、Claude Code を使わない定期処理で先に落とし、残った答えだけを読ませるほうが、本当に直すべき指摘に使用量を回せます。

自動で落とした答えの中に、本当の誤りが混ざる心配はありませんか?

指摘の行が1行残らず決まりに当たるときだけ落とす形にしてあります。1行でも決まりに当たらない指摘があれば人の確認に回ります。落とした答えは理由と一緒に記録に残るので、あとから見返せます。

決まりはどうやって増やしていますか?

人の確認に残った答えの中に、新しい形の誤検出を見つけたときに1本ずつ足しています。2026年11月18日の時点で13本です。