強化学習（Reinforcement Learning）は、AIが試行錯誤を通じて最適な行動を学習する技術です。
その中でも、実際の「行動選択」に直結する重要な概念が**行動価値関数（Q関数 / Q function）**です。
本記事では、行動価値関数の基本から仕組み、状態価値関数との違い、実務での使われ方までをわかりやすく解説します。
行動価値関数（Q関数）とは何か
行動価値関数とは、「ある状態で特定の行動を取ったときに、どれくらい良い結果が得られるか」を数値で表す関数です。
強化学習では、AI（エージェント）が環境の中で行動を選択し、その結果として報酬を受け取ります。
Q関数は、その行動が将来的にどれだけ有利かを評価します。
基本の考え方
- 良い行動 → 将来多くの報酬が得られる → 高い値
- 悪い行動 → 報酬が少ない → 低い値
強化学習における役割
Reinforcement Learningでは、AIは次の流れで学習を進めます。
- 状態を観測する
- 行動を選択する
- 報酬を得る
- 状態が変化する
このとき、どの行動を選ぶかの判断材料となるのが行動価値関数です。
行動価値関数の数式イメージ
行動価値関数は、将来にわたる報酬の合計（期待値）として定義されます。
ポイント解説
- s：現在の状態
- a：選択する行動
- R：各ステップで得られる報酬
- γ（ガンマ）：割引率（将来の報酬の重要度）
- E：期待値（確率的な平均）
なぜ「期待値」で表すのか
行動の結果は一見すると一意に決まるように見えますが、その後の展開は複数の可能性に分かれます。
理由
- 次の行動は複数の選択肢がある
- 環境の変化が確率的に起こる
- 将来は分岐しながら広がる
そのため、行動価値関数では将来の報酬を「確率を考慮した平均値」として評価します。
方策（Policy）との関係
強化学習では、行動選択のルールを**方策（Policy）**と呼びます。
方策の役割
- 状態ごとにどの行動を選ぶかを決める
- 行動価値関数の計算に影響を与える
つまり、Q関数は「ある方策に従った場合に、その行動がどれだけ良いか」を評価しています。
状態価値関数との違い
行動価値関数とよく比較されるのが「状態価値関数」です。
| 種類 | 内容 | 記号 |
|---|---|---|
| 状態価値関数 | 状態そのものの良さ | V(s) |
| 行動価値関数 | 状態＋行動の良さ | Q(s, a) |
違いのポイント
- V(s)：状態単体の評価
- Q(s, a)：具体的な行動まで含めた評価
実務では、「どの行動を選ぶか」を直接判断できるため、行動価値関数の方が重要視されることが多いです。
行動価値関数の活用例
ゲームAI
- 各手の価値を評価
- 最も有利な一手を選択
例：将棋や囲碁のAI
ロボット制御
- 各動作の安全性・効率性を評価
- 最適な動作ルートを選択
レコメンドシステム
- ユーザー行動ごとの価値を評価
- 長期的な満足度を最大化
Q学習（Q-learning）との関係
行動価値関数を直接学習する代表的なアルゴリズムが**Q学習（Q-learning）**です。
Q学習の特徴
- Q(s, a)を更新しながら学習
- 将来の最大報酬を基準に評価
- モデルなし（環境モデル不要）でも学習可能
これにより、AIは最適な行動を自律的に学習できるようになります。
行動価値関数のメリットと課題
メリット
- 行動選択を直接サポートできる
- 長期的な最適化が可能
- 強化学習アルゴリズムと相性が良い
課題
- 状態・行動の組み合わせが増えると計算量が増大
- 学習に時間がかかる場合がある
- 割引率や方策の設定に依存する
まとめ
行動価値関数（Q関数）は、強化学習において「どの行動が最も良いか」を判断するための中心的な仕組みです。
ポイントを整理すると以下の通りです。
- 状態と行動の組み合わせの価値を評価する関数
- 将来の報酬を考慮した期待値で表される
- Q(s, a)として表現され、Q値とも呼ばれる
- Q学習など多くのアルゴリズムで活用される
行動価値関数を理解することで、AIがどのように意思決定を行っているのかが見えてきます。
強化学習を学ぶうえで、必ず押さえておきたい重要な概念といえるでしょう。
こちらもご覧ください：状態価値関数（V(s)）とは？強化学習における「状態の良さ」を評価する仕組みを解説
