実践ログ|AIの検品の自動化
Claude Codeで無料AIの検品を自動化する:決まった形の誤検出を自動でふるい落とした記録
記録の日:2026年11月18日
サイトの文章を無料で使えるAIに検品させると、手間は減る一方で、同じ形の誤った指摘が毎回返ってきます。それを1件ずつ Claude Code の会話で読んでいると、使用量も時間も取られます。2026年11月18日、運営者は Claude Code と一緒に、決まった形の誤検出を10分ごとの定期処理で自動的に不合格にする仕組みを入れました。その日の312件で試すと、105件を自動で落とし、人が読む必要があるのは38件になりました。
このサイトは Anthropic や Claude の公式サイトではありません。ここに書いているのは運営者(ちんあなご編集部)が自分の作業で試したことで、同じ設定・同じ結果になるとは限りません。
この記録について
| 項目 | 内容 |
|---|---|
| 記録の日 | 2026年11月18日 |
| 使った道具 | Claude Code(Windows)・Node.js のスクリプト・Windows のタスク スケジューラ・無料で使えるAI(Gemini・Groq・Gemma・OpenRouter) |
| したこと | 無料AIの検品の答えのうち、決まった形の誤った指摘だけで出来ている答えを、10分ごとの定期処理で自動的に不合格にした |
| 試した結果 | 2026年11月18日の312件で、105件を自動で不合格に。人の確認に残したのは38件 |
| 決まりの数 | 正規表現13本(誤検出の形ごとに1本) |
無料AIに検品させると、誤った指摘で人の手が取られる
運営者は、AIが書いたり厚くしたりしたサイトの文章を、公開したあとに無料で使えるAIへ回して読み直させています。頼みの文は決めてあり、見る観点は6つです。
ところが、返ってくる答えには「指摘の形はしているが、直す必要のないもの」が多く混ざります。表ごとに同じ注記が並んでいることを「繰り返し」と言ったり、データの取得日をわざわざ指摘したりします。こうした答えも、人の確認に回す受け箱に積まれていました。
受け箱を読むのは Claude Code の会話です。誤検出が多いと、読むだけで使用量が減り、本当に直すべき指摘が埋もれます。そこで「この形の指摘は誤りだ」と分かっているものを、Claude Code を使わない定期処理の側で先に落とすことにしました。
- 年・日付・数字の食い違い
- 同じ文の繰り返し
- 途中で切れた文
- 作業メモのような文
- 過ぎた日付を未来のように書いた所
- 使わないと決めた語がそのまま残っている所
本文は6000字で切って渡しています。最後の行が切れているのはそのためなので、頼みの文の中で「指摘しない」と伝えてあります。それでも同じ形の指摘は返ってきます。頼みの文を直すだけでは止まらない、というのが出発点でした。
ふるい落としの手順:指摘の行が全部「いつもの誤検出」なら不合格
考え方は単純で、答えの中の指摘の行が1行残らず決まった誤検出の形に当たるときだけ落とします。1行でも当たらない指摘があれば、その答えは人の確認に回します。落としすぎて本当の誤りを見逃すより、少し多めに人へ回すほうを選びました。
- AIの答えから、前置きの行と、途中で入る再試行の行を外す
- 「問題なし」と返ってきた答えは、そのまま合格として扱う
- 頼みの文をなぞっただけの答え(役割や条件を書き写しただけのもの)は落とす
- 引用だけの行(「…」で始まる行・例・原文)は判断に使わない
- 残った指摘の行が全部、13本の決まりのどれかに当たれば不合格として記録する
- 1行でも当たらなければ、受け箱に積んで人が読む
落とした答えは消さずに、無料AIに作業を回す自作の道具の記録へ「不合格」と理由を書きます。同じ答えを2度数えないように、落とした作業の名前も別のファイルに残しています。あとから「本当に落としてよかったか」を見返せる形にしておくのが大事です。
決まりにした誤検出の形
決まりは、それまでに人が読んで「これは誤りではない」と判断した指摘から作りました。正規表現で13本あり、形ごとに1本です。主なものを表にまとめます。
| 誤検出の形 | 直さなくてよい理由 |
|---|---|
| 表ごとに同じ注記(集計のしかた・年度の説明・出典の行)が繰り返されている | 表ごとに付ける説明なので、繰り返しは正しい |
| データの取得日がある、という指摘 | いつのデータかを示すために必要な表記 |
| 分子・分母の計算式が書いてある、という指摘 | 数字の出し方を読み手に説明するための文 |
| 指定の語は見つかりません、という報告 | 問題が無いことを指摘の形で書いただけ |
| 「問題なし」の言い換え(見当たりません・食い違いはありません など) | 中身は合格の答え |
| 頼みの文の役割や条件をそのまま書き写した答え | 検品そのものをしていない |
| 見出しやパンくずが2回並んでいる、という指摘 | 文章を抜き出すときの都合で、ページ上では1回 |
312件で試した結果
決まりを入れる前に、2026年11月18日に返ってきた答え312件にそのまま当ててみました。いきなり定期処理に入れず、その日の実際のデータで先に試すのは、Claude Code に頼むときの基本にしています。
| 件数 | 扱い |
|---|---|
| 312件 | 試した答えの全部(2026年11月18日の分) |
| 105件 | 指摘の行が全部、決まった誤検出の形だった=自動で不合格 |
| 38件 | 決まりに当たらない指摘が1行以上あった=受け箱に残して人が読む |
人が読む必要のある答えは38件にまで減りました。この38件には、決まりに無い新しい形の誤検出も混ざります。それを見つけたら、決まりを1本ずつ足していきます。ふるい落としは10分ごとの定期処理の中で動くので、Claude Code の使用量は使いません。
あわせて直した止まり方
同じ日、検品を回す定期処理が18回続けて失敗していたことにも気づきました。原因は、無料で使えるAIの1つ(OpenRouter の無料のモデル)が429の応答を返し、検品の子のプロセスが答えなしで終わっていたことです。
答えが無いのはエラーとして扱わず、そのAIを休ませて記録だけを残す形に直しました。Gemini・Groq・Gemma は30分、OpenRouter は6時間休ませます。送信をしない試し運転でエラーが0になることを確かめてから入れました。
また、AIが自動で書く節のうち「確認できない事柄」を並べる節が、26面に定型の言い回しのまま出ていたことも見つかり、節ごと出さないように直しました。どれも、AIの答えを機械で先にふるう仕組みがあれば、もっと早く気づけた種類の問題です。
Claude Codeに頼むときのコツ
この作業で Claude Code に頼んだのは、決まりの正規表現を書くことと、それをその日の実データに当てて数を出すことの2つです。頼み方で効いたことを残しておきます。
- 「誤検出を減らして」ではなく、人が誤りと判断した答えの実物を見せて、形ごとに決まりを作ってもらう
- 落とす条件は「指摘の行が全部当たったら」にして、1行でも分からないものは人に回す
- 定期処理に入れる前に、その日の実データで何件落ちて何件残るかを数えてもらう
- 落とした答えは消さず、理由と一緒に記録に残す
- 新しい形の誤検出を見つけたら、決まりを1本ずつ足す
FAQ
無料AIの検品の答えを、全部 Claude Code に読ませてはいけないのですか?
読ませることはできますが、誤検出が多いと使用量の多くがそれに使われます。決まった形の誤りは、Claude Code を使わない定期処理で先に落とし、残った答えだけを読ませるほうが、本当に直すべき指摘に使用量を回せます。
自動で落とした答えの中に、本当の誤りが混ざる心配はありませんか?
指摘の行が1行残らず決まりに当たるときだけ落とす形にしてあります。1行でも決まりに当たらない指摘があれば人の確認に回ります。落とした答えは理由と一緒に記録に残るので、あとから見返せます。
決まりはどうやって増やしていますか?
人の確認に残った答えの中に、新しい形の誤検出を見つけたときに1本ずつ足しています。2026年11月18日の時点で13本です。