強化学習の一問一答

強化学習の説明として、最も適切なものを1つ選びなさい。

• ①エージェントが環境の中で行動し、得られる報酬の合計が最大になる行動の選び方を学ぶ。
• ②入力と正解の組を大量に与え、入力から正解を正確に当てられるように対応関係を学習する。
• ③正解を与えずに、データの中にある似たものどうしの集まりや構造を自動で見つけ出す。
• ④学習済みの大きなモデルの出力をまねるように、小さなモデルを学習させて軽量化する。

強化学習で用いられる「割引率」の説明として、最も適切なものを1つ選びなさい。

• ①行動を選ぶときに、ランダムに行動する確率を決めるための0以上1以下の係数
• ②将来に受け取る報酬ほど価値を小さく見積もるための、0以上1以下の係数
• ③学習のたびにパラメータをどれだけ大きく更新するかを決める、学習の幅の係数
• ④報酬から罰則を差し引く割合を決めるために使う、正則化の強さの係数

強化学習で、すでに良いと分かっている行動を選び続ける「活用」と、まだ試していない行動を試す「探索」のバランスをとるための代表的な方法として、最も適切なものを1つ選びなさい。

• ①誤差逆伝播法
• ②最小二乗法
• ③ε-greedy方策
• ④主成分分析

「次の状態は、現在の状態ととった行動だけで決まり、それより前の履歴には依存しない」という性質を何というか。最も適切なものを1つ選びなさい。

• ①汎化性能
• ②多重共線性
• ③スパース性
• ④マルコフ性

強化学習の「Q学習」の説明として、最も適切なものを1つ選びなさい。

• ①ある状態である行動をとる価値（Q値）を、試行錯誤から得た報酬をもとに更新していく手法
• ②正解の行動が書かれた教師データを使い、状態から正しい行動を直接当てるように学習する手法
• ③行動の価値を求めずに、行動の選び方（方策）そのものを表すパラメータを直接最適化する手法
• ④データを重心の近さでグループに分け、似た状態をまとめて扱えるようにする教師なしの手法

強化学習の「方策勾配法」の特徴として、最も適切なものを1つ選びなさい。

• ①すべての状態と行動の組についてQ値の表を作り、表の値を更新して行動を決める。
• ②方策をパラメータで表して直接最適化するため、行動が連続値の問題も扱いやすい。
• ③正解ラベル付きのデータを使い、状態から行動を当てる分類の問題として学習する。
• ④行動の選び方を学ばずに、報酬が最大になる行動を人間があらかじめ決めて与える。

強化学習の「Actor-Critic」の説明として、最も適切なものを1つ選びなさい。

• ①Actorが行動価値の表を作り、Criticがその表から価値が最大の行動を選ぶ手法である。
• ②本物のデータを作る役割のActorと、偽物を見破る役割のCriticを競わせて学習させる。
• ③行動を選ぶ役割のActorと、その行動の良さを評価する役割のCriticを組み合わせている。
• ④複数のActorに同じ行動をとらせて、Criticがその中からランダムに1つを選ぶ手法である。

強化学習において、行動の結果としての報酬がすぐには得られず、ずっと後になってから得られることがある。この性質がもたらす課題の説明として、最も適切なものを1つ選びなさい。

• ①報酬が遅れる問題では、割引率を0にして直後の報酬だけで学ぶ必要がある。
• ②報酬が後から得られる場合は、割引率を必ず1より大きくする必要がある。
• ③報酬が遅れて届くと、学習データに正解ラベルを人が付ける手間が増える。
• ④得られた報酬が、過去のどの行動のおかげなのか判断するのが難しくなる。

複数あるスロットマシンのうち、どれを引けば最も多くの当たりが得られるかを、試しながら見つけていく問題として定式化されるものとして、最も適切なものを1つ選びなさい。

• ①多腕バンディット問題
• ②巡回セールスマン問題
• ③フレーム問題
• ④シンボルグラウンディング問題

強化学習で用いる2種類の価値関数の説明として、最も適切なものを1つ選びなさい。

• ①状態価値関数はある状態である行動をとる価値を、行動価値関数はある状態の価値を表す。
• ②状態価値関数はある状態の価値を、行動価値関数はある状態である行動をとる価値を表す。
• ③状態価値関数と行動価値関数はどちらも、1回の行動の直後に得られる報酬だけを表す。
• ④状態価値関数は教師あり学習で、行動価値関数は教師なし学習で使う関数を指している。