AIエージェント運用時の注意点：精度・セキュリティ・コストで失敗しないために

2026.9.18
株式会社Laboro.AI　機械学習エンジニアリング部 リードLLMエンジニア　許 佳辰
株式会社Laboro.AI　システムエンジニアリング部 部長　光岡 駿
株式会社Laboro.AI　機械学習エンジニアリング部 エンジニアリングマネージャー　内木 賢吾

概要

AIエージェントは「とりあえず動くもの」を作ること自体は難しくなくなってきています。しかし、実務で安定して使い続けるためには、回答精度・セキュリティ・運用コストという3つの壁を越える必要があります。本記事では、それぞれの壁にどう向き合うべきか、現場のエンジニアの知見をもとに具体的に解説します。

AIエージェントの作り方の全体像については、AIエージェントの作り方とは？基本から実践的な活用事例のコラムで解説しています。

目次

・回答精度の課題とハルシネーション対策
・セキュリティリスクへの対策
・運用コストのトラブルを防ぐには
・まとめ

回答精度の課題とハルシネーション対策

AIエージェントを実務で運用するうえで避けて通れないのが、ハルシネーション（事実に基づかない回答）への対策です。前提として、ハルシネーションを完全になくすことはできません。発生確率を減らしつつ、起きたときに対応できる設計にしておくことが現実的なアプローチになります。なお、ここで述べるアプローチはノーコードツールでもコード開発でも共通です。

ハルシネーションの発生を減らす工夫

プロンプトに「逃げ道」を明示する

例えば「わからない場合は正直に『わかりません』と答える」と指示することで、モデルが無理に答えを作り出すことを防ぐ。回答に選択肢がある場合は自由回答させず、選択肢の中から選ばせる（自由回答はハルシネーションの温床になる）

参照ドキュメント検索の質を高める

ハルシネーションの多くは検索の失敗に起因するため、実際のドキュメントの構造に合わせたチャンキング※戦略を設計する。あわせてドキュメントは前処理をしたうえで検索データベースに導入し、有効期限切れや範囲外の結果を防ぐためにメタデータを付与する

ツール呼び出しを事前検証する

エージェントは存在しないツールをしつこく呼んだり、存在しない引数を渡そうとしたりすることがあるため、呼び出しの前にツールの存在と引数の正しさを検証する処理を入れる

評価セット（入力と期待する出力のペアを集めたテストデータ）を用意し、モデル・プロンプト・ドキュメント・ワークフローを変更するたびに再評価する

「わからない」と答えるべきケースも評価セットに含め、正しく回答できるかを確認する

※チャンキング：文書を、検索しやすい適切なサイズ・単位に分割すること

ハルシネーションが発生したときの対応

ハルシネーション発生時は、LLMのアップグレードやプロンプト修正を考える前に、まず参照資料が正しく検索できているかを確認します。そのために、実際に取得したドキュメントのチャンクの内容を必ずチェックできる仕組みをあらかじめ作っておくことが重要です。

また、UI/UX上で回答が依拠する根拠資料もユーザーに提示し、回答の信頼性をユーザー自身が判断できるようにします。誤りが許容されない領域では、重要な操作の前に人の確認・承認を必須にする仕組み（Human-in-the-Loop）を取り入れることが推奨されます。

セキュリティリスクへの対策

社内データや個人情報を扱う場合のセキュリティリスクは、大きく「データの取り扱い」「権限設計」「プロンプトインジェクション」の3つの観点に分けて整理できます。

データの取り扱いについて

まず気をつけるべきは、入力したデータがLLMプロバイダー側でどのように保存・利用されるかです。学習への利用有無、保存期間、保存地域、再委託先、削除方法などを確認し、機密性の高い情報は必要に応じてマスキングや匿名化を行います。機密性が特に高く、クラウド上にも送信できない場合はLocal LLMを検討します。エージェントの実行ログの中にも機密情報が含まれる可能性があるため、マスキング、アクセス権限の分離、データの保持期間、バックアップまわりの設計も考慮が必要です。

権限設計について

エージェントには必要最小限のデータと操作権限だけを与え、エージェントの使用者より高い権限を与えてはいけません。データやドキュメントへのアクセス可否の判断はエージェントに委ねず、エージェントの使用者の権限情報を格納するデータベースやAPI側で判断します。API keyなどの認証情報は、プロンプトやコード、エージェントの定義ファイルに直接書き込まず、シークレット管理の仕組みで一元管理します。メール送信、データ削除、外部共有などの重要な操作には、人の承認を入れることも有効です。

プロンプトインジェクションについて

ユーザーが不特定多数の場合はもちろん、想定の使用用途が限定的なシステムでも、用途の範囲外の使い方へ誘導されるリスクがあるため、プロンプトインジェクションの対策は必ず講じます。エージェントが外部のデータソースやWebにアクセスする場合は、取得したデータの中にプロンプトインジェクションの指示が含まれている可能性（間接プロンプトインジェクション）もあるため、単に「不正な指示に従うな」とプロンプトに書くだけでなく、返されたデータを検証する処理を入れることも必要になります。対策は一度講じて終わりではなく、LLMモデルの変更によって以前は効いていた対策が弱くなることもあるため、想定される攻撃パターンのテストケースを用意し、継続的に評価することが望ましいといえます。

運用コストのトラブルを防ぐには

「作ってみたらAPI利用料が高額になった」「ループ処理が止まらずコストが跳ね上がった」といったコスト面のトラブルを防ぐためには、コストの上限を設定し、異常時に強制的に停止できる仕組みを用意することが重要です。

暴走を止める上限設定

• エージェントの1回の実行に対して、最大ステップ数、ツール呼び出し回数、再試行回数、処理時間、入出力トークン数、利用金額の上限を設定する
• マルチエージェントの場合は、サブエージェントの呼び出し回数や再帰の深さにも上限を設ける。エージェント間のたらい回しによる暴走を防ぐため
• ユーザーごとにクォータ（利用量の割り当て上限）を設け、特定のユーザーの使い方だけで全体のコストが跳ね上がることを防ぐ
• あらかじめ定めた使用量の上限を超えた時点で、人の対応を待たずシステムが自動的に処理を停止する仕組みを用意する。通知だけでは人が気づいて対応するまでの間コストが増え続けてしまう

コストの可視化と監視

まずはクラウドサービスやLLMプロバイダーが標準で提供するコスト集計・予算アラートの機能を利用します。ただし、クラウド側のコスト集計は反映までに時間差（数時間〜1日程度）がある場合が多く、暴走をリアルタイムに検知・停止する用途には間に合わないことがあるため、APIのレスポンスから取得できるトークン使用量を用いて実行ごとのコストを即時に記録・計算する仕組みも併せて用意することが望ましいといえます。ユーザー、業務、モデル、プロンプトのバージョン、ツールごとにコストを集計してログに出力し、単純なAPI呼び出し単価ではなく「1件の業務を正常に完了するためにいくらかかったか」を指標として監視することも重要です。

コストを抑える工夫

すべての処理に高性能なモデルを使わず、分類や要約などの単純な処理には小型モデルを利用します。決まった単純処理は結果をキャッシュして再利用し、そもそもLLMでないといけないタスクかどうかを見直すことも重要です。また、不要な会話履歴を毎回送信しない、長い履歴を要約する、検索する文書数を制限するなど、LLMに渡すトークン量を減らす工夫の効果は大きいといえます。指示文やツール定義など共通する内容をプロンプトの前半にまとめておくことで、プロンプトキャッシュを活用してコストを抑えることも可能です。

まとめ

回答精度・セキュリティ・運用コストへの対策は、いずれも「本番運用に入ってから慌てて対応する」のではなく、開発の初期段階から設計に組み込んでおくことが重要です。これらはAIエージェント開発の中でも特に地味に見える部分ですが、実務で使い続けられるかどうかを左右する本質的な要素だといえます。

Laboro.AIでは、こうした本番運用を前提とした設計・評価・監視の仕組みづくりまで含めたAIエージェントのカスタム開発を支援しています。自作での運用に不安がある場合は、専門企業への相談も選択肢として検討してみてください。

【参考】Laboro.AIのカスタムAI開発サービス

執筆

機械学習エンジニアリング部 リードLLMエンジニア　許 佳辰

名古屋大学大学院環境学研究科社会環境学専攻修士課程終了。卒業後、広告業界の企業において自然言語処理を中心に機械学習モデルの開発と実装を担当した。2020年にLaboro.AIに参画し、現在はLLM関連の各種PoCとシステム開発に参加している。

監修

システムエンジニアリング部 部長　光岡 駿

東北大学理学部物理学科卒業後、仙台のアプリ・システム開発会社に入社。自身が主催する勉強会が宮城大学との共同研究へと発展。「仙台X-TECH イノベーションアワード2023」最終プレゼンター選出など、幅広い活動を通じてシステム開発の実践を積む。2023年、Laboro.AIに1人目のシステム開発エンジニアとして参画し、「AI×システム開発」の領域をリード。2025年9月期エンジニアリング部MVP受賞。2026年よりシステムエンジニアリング部 部長。

機械学習エンジニアリング部 エンジニアリングマネージャー　内木 賢吾

名古屋大学大学院工学研究科電子情報システム専攻修士課程修了。在学中は自然言語処理の質問応答システムを研究。卒業後は、ハードウェアエンジニアとして車載向け実験機器の開発に従事したのち、自動車会社のR＆D組織にて車載向け音声認識システムのフロントエンド処理に関する研究開発を担当。2019年にLaboro.AIに機械学習エンジニアとして参画し、NLP領域を中心にカスタムAI開発に従事。2025年よりエンジニアリングマネージャーとしてLLMチームを牽引。