エージェントのリスク・安全性・評価の一問一答

プロンプトインジェクションの説明として、最も適切なものを1つ選びなさい。

• ①AIの学習データに意図的に誤った情報を混ぜて、モデルの性能を学習の段階から下げておく攻撃
• ②悪意ある指示を入力やウェブページなどに紛れ込ませ、AIに本来と異なる動作をさせる攻撃
• ③AIのサーバーに大量の通信を一度に送りつけて、サービスを使えない状態にしてしまう攻撃
• ④利用者のパスワードを何度も推測して入力し、AIのサービスに不正にログインするという攻撃

AIエージェントに与える権限に関する記述として、適切でないものを1つ選びなさい。

• ①作業に必要な最小限の権限だけを与えることを、最小権限の原則と呼んでいる。
• ②必要以上の権限を与えると、AIの誤りや攻撃を受けたときに被害の及ぶ範囲が広がる。
• ③作業が止まらないよう、AIエージェントには管理者と同じ全権限を与えるのがよい。
• ④削除や送金など影響の大きい操作は、必ず人の承認を経てから実行するようにする。

AIエージェントの「連鎖的なエラー」の説明として、最も適切なものを1つ選びなさい。

• ①複数の利用者が同時に同じ質問をすると、AIが全員に同じ誤りを返してしまうこと
• ②AIエージェントに、作業に必要な範囲を超えた権限を与えてしまうことをいう
• ③悪意ある指示が紛れ込んだ文書を読み、AIが本来と異なる動作をしてしまうこと
• ④ある工程での小さな誤りが、次の工程の前提として使われ、誤りが次々に広がること

最小権限の原則の説明として、最も適切なものを1つ選びなさい。

• ①利用者やAIに、作業に必要な最小限の権限だけを与え、不要な権限は与えないという原則
• ②複数の対策を重ねて、1つが破られても被害を防げるようにしておくという考え方
• ③あらかじめ許可したツールや操作だけを使えるようにし、それ以外を禁止する方式
• ④本番の環境から切り離した、隔離された環境でAIを動かして、影響を外に出さない考え方

AIエージェントを安全に動かすための「サンドボックス」の説明として、最も適切なものを1つ選びなさい。

• ①作業に必要な最小限の権限だけを与えて、不要な権限は与えないようにしておくための仕組みのこと
• ②許可したツールやサイトだけを使えるようにして、それ以外をすべて禁止しておくための仕組みのことである
• ③本番の環境から切り離した隔離された環境で動かし、誤りや攻撃の影響が外に及ばないようにする仕組み
• ④AIの操作の内容を時刻とともに記録しておき、問題が起きたときに原因をたどれるようにする仕組み

AIエージェントの安全対策に関する次の記述a〜dのうち、適切なものの組合せを1つ選びなさい。
a．サンドボックスとは、AIエージェントに本番の環境を直接操作させる仕組みのことである。
b．ホワイトリスト（許可リスト）方式では、あらかじめ許可したツールや操作だけを使えるようにする。
c．多層防御では、権限の制限や人の承認、監視など、複数の対策を重ねて被害を防ぐ。
d．AIエージェントの動作は、導入前に一度評価すれば、導入後に監視する必要はない。

• ①b・c
• ②a・b
• ③a・d
• ④c・d

AIエージェントのセキュリティ対策に関する記述として、適切でないものを1つ選びなさい。

• ①入力や出力を点検して、不適切な内容や危険な操作を防ぐガードレールを設ける。
• ②対策が重なると管理が複雑になるため、最も効果の高い対策1つに絞って行うのがよい。
• ③AIエージェントの操作の記録（ログ）を残して、問題が起きたときに原因をたどる。
• ④本番の環境から切り離した環境で動かし、誤りや攻撃の影響が外に及ばないようにする。

AIエージェントの評価（Eval）と継続的なモニタリングの説明として、最も適切なものを1つ選びなさい。

• ①評価は利用者の満足度の調査だけで行い、誤りの有無や安全性は確認しなくてよい。
• ②評価は問題が起きたときにだけ行うもので、導入前に試験用の課題で確かめておく必要はない。
• ③導入前に一度だけ評価すれば十分で、導入後は動作を監視する必要はまったくない。
• ④導入前に試験用の課題で性能と安全性を評価し、導入後も動作を監視して問題を早く見つける。

AIエージェントを安全に使うための原則として、適切でないものを1つ選びなさい。

• ①作業の効率を高めるため、外部から読み込んだ文書の中の指示には常に従わせる。
• ②AIエージェントには、作業に必要な最小限の権限だけを与えるようにしておく。
• ③送金や削除などの影響の大きい操作の前には、人が内容を確認・承認する。
• ④AIエージェントの作業の記録を残し、継続的に監視して問題を見つける。

AIエージェントのリスクと対策に関する次の記述a〜dのうち、適切なものの組合せを1つ選びなさい。
a．プロンプトインジェクションは、外部の文書に仕込まれた指示でも起こりうる。
b．サンドボックスは、隔離した環境で動かして影響が外に及ばないようにする仕組みである。
c．評価（Eval）は導入前に一度行えば、導入後の監視は不要である。
d．権限を広く与えるほど、AIエージェントの誤りによる被害は小さくなる。

• ①a・d
• ②a・b
• ③c・d
• ④b・c