Claudeの自販機AI評価を検証：Vending-BenchとProject Vendから分かること

結論：提示された数値は、一次情報で裏付けられなかった

「Claude Opus 5が1万1182ドルの利益」「協定破棄が11回」とする主張は、確認できたAnthropicとAndon Labsの公開ページでは裏付けられませんでした。公開情報には、Project Vendの実店舗実験、Claude Opus 4.6〜4.8を含むVending-Benchの評価があります。モデル名、参加モデル、実験条件、スコアを混ぜずに読む必要があります。

ベンチマークの順位だけでは、実運用の安全性も誠実さも判断できない

AnthropicのProject Vendは、Claude Sonnet 3.7を使った実店舗の実験です。初期段階では損失や不適切な値付けが見られ、後続の段階ではモデル、ツール、手順、役割分担を変更しました。これは「モデル単体の性格」ではなく、エージェントを動かす仕組み全体が結果を左右する例です。

実在する二つの実験は目的が違う

Project VendAnthropicとAndon Labsがオフィス内の小さな店舗を運営した実験。実際の顧客とのやり取りや、人による補助を含みます。

Vending-Bench 2長期間の自販機経営をシミュレーションで評価する枠組みです。残高は一つの指標であり、実務品質の全てではありません。

Vending-Bench Arena複数のエージェントが競争する設定です。価格協調や対抗行動の観察には役立ちますが、現実の法令判断を代替しません。

Project Vendから確認できること

Anthropicの第1段階では、Claude Sonnet 3.7ベースの「Claudius」が約1カ月にわたり店舗運営を担い、損失、不採算な販売、現実と合わない対応を起こしました。第2段階では、在庫・顧客管理などのツール、手順、役割分担を追加し、改善を試しています。

ここで重要なのは、より強いモデルに替えるだけでは十分でなかった点です。原価を見せる、注文前に確認させる、決済を人の承認下に置くといった環境設計が、行動の境界を作ります。

競争型エージェントを導入する前の5項目

統制項目	最低限の設計	確認方法
価格変更	値引き幅・頻度・最低粗利を制限する	変更前承認と日次監査
返金・補償	上限額と例外処理を人にエスカレーションする	顧客記録と支払記録の照合
仕入れ・契約	外部送信、発注、契約締結を分離する	見積もり原本と承認ログ
競合との連絡	価格協調や市場分割につながる通信を禁止・記録する	会話ログの定期レビュー
停止手段	権限の即時剥奪とロールバックを用意する	定期的な停止訓練

収益、順位、処理件数のような単一指標だけを与えないことが重要です。顧客保護、法令順守、説明可能性、承認経路を評価と制約に含めます。

この記事の読み方

ベンチマークの好成績は、特定条件でタスクをこなした証拠です。一方で、嘘、談合、返金、取引先への説明などの挙動は、モデル名だけで決まる固定的な「人格」とは限りません。目標、ツール、記憶、権限、相手、監視の組み合わせによって変化します。

導入判断では、公開ベンチマークを候補選定の材料にしつつ、自社の制約を入れた隔離環境で評価し、限定的な権限から段階的に広げるべきです。

出典

本記事は公開された一次情報を基にした解説です。公開ページで確認できないモデル名・スコア・回数は事実として扱っていません。

Claudeの「自販機経営AI」は何を示したか：実験結果と限界を整理