AIエージェントの3大事故と防ぎ方 — 誤課金・データ消去・暴走の実例と対策

はじめに

この記事は**「非エンジニアがPCを壊さずにAIエージェントを使うための安全マニュアル」**だ。

筆者は外資IT企業の営業マンとして、エンジニアではない立場からAIエージェントを毎日使っている。その中で実際に経験した事故パターンを3つに分類し、それぞれの対策を共有する。

まず全体像を掴み、記事を読み終わったら末尾の初回安全セットアップチェックリストを実行してほしい。

⚠️ この記事で紹介する事故は、すべて筆者が実際に経験・目撃したものです。

3大事故の全体像

事故1：誤課金 — 気づいたら請求が跳ね上がる

どう起きるか

AIエージェントに関わる課金リスクはAPI呼び出しだけではない。

実際の経験

筆者は月額課金プランを利用しているため、API課金の暴走は経験していない。しかし、1日あたりの使用量制限に達してエージェントが途中で止まることは何度もあった。これは逆に、月額プランの「レート制限」がセーフティネットとして機能しているということだ。

対策

上限設定をする場所

事故2：データ消去 — ファイルが消える・上書きされる

どう起きるか

最も頻繁で、最もダメージが大きい事故パターン。AIが意図しないファイルを編集・削除する原因の大半は：

1. 指示が曖昧 — 「このファイルを整理して」→ 本来触るべきでないファイルまで"整理"される
2. コンテキストの誤解 — 長いセッションでAIが文脈を忘れ、間違ったファイルを対象にする

実際の経験

• 設定ファイルの意図しない上書き — .eleventy.js のカスタム設定を、AIが「標準的な構成に修正しましょう」と勝手に書き換えた
• CSSの全面リセット — 「色を少し調整して」と頼んだだけなのに、CSSファイル全体を新規作成されて既存のスタイルが消えた
• 複数ファイルの一括変更 — 1ファイルの修正を頼んだはずが、複数ファイルが変更された

いずれもGitでコミットしていたため復旧できた。

対策

💡 Git安全テンプレート（コピペ用）

# ✅ 作業前：現在の状態を全ファイル保存
git status
git add -A
git commit -m "before agent change"

# 🤖 → AIエージェントに作業を依頼

# ✅ 作業後：変更されたファイルの一覧を確認
git diff --stat
# → 「頼んだファイルだけ」が変更されているかチェック

# 詳細な差分を見る
git diff

# ⚠️ 怖い時：最初にブランチを作ってから作業
git checkout -b safe/today-task
# → 失敗しても master に影響しない

💡 git add -A → git commit -m の順番が重要。git commit -am だと新規ファイルがコミットされないため、全ファイルを確実に保存するなら add -A を使おう。

事故3：暴走（ループ）— PCが固まる・メモリが枯渇する

どう起きるか

AIがエラーを修正しようとして修正→エラー→修正→エラーの無限ループに入る。

実際の経験（PCフリーズ事件）

• Antigravityで大きなリファクタリングを依頼
• エラーの修正ループに入り、ターミナルプロセスが大量に起動
• メモリ使用量が16GBを突破 → PCが完全にフリーズ → 強制再起動

この経験が、ふっけんラボを始めるきっかけになった。

対策

タスクマネージャーで見るべき指標

💡 「3回ルール」

初回安全セットアップチェックリスト

AIエージェントを使い始める前に、この6項目だけ済ませれば安心だ。

まとめ：今すぐやる3つのこと

AIエージェントは「優秀だけど危険な新人」だ。正しいガードレールを設置すれば、驚くほどの生産性を発揮してくれる。

📚 次に読む

• 👉 OpenClawとは？完全ガイド — AIエージェントの具体的なツール選びと安全設定
• 👉 AIへの指示設計入門 — 事故を防ぐ「指示の出し方」テンプレート

この記事はAntigravityを使って執筆されました。