強化学習（Reinforcement Learning）は、AIが試行錯誤を通じて最適な行動を学習する仕組みです。
その中核を担うのが**価値関数（Value Function）**です。
本記事では、価値関数の基本的な考え方から種類、実際の活用イメージまでを、日本の読者向けにわかりやすく解説します。
価値関数とは何か
価値関数とは、「ある状態や行動がどれくらい良いか」を数値で評価する関数です。
強化学習では、AI（エージェント）が環境の中で行動し、その結果として報酬（Reward）を受け取ります。
価値関数は、この報酬をもとに「どの選択が有利か」を判断するための基準となります。
ポイント
- 現在だけでなく「将来の報酬」も考慮する
- 良い行動ほど高い値が割り当てられる
- 行動選択の指針として機能する
強化学習における価値関数の役割
Reinforcement Learningでは、エージェントが以下の流れで学習を進めます。
- 状態を観測する
- 行動を選択する
- 報酬を得る
- 状態が変化する
このとき、「どの行動を選ぶべきか」を判断する材料が価値関数です。
将来の報酬をどう評価するか（割引の考え方）
価値関数の重要な特徴は、将来の報酬を割引して評価する点です。
つまり、
- すぐに得られる報酬 → 高く評価
- 遠い将来の報酬 → 低く評価
この考え方は「割引率（Discount Factor）」によって調整されます。
ここで、γ（ガンマ）は0〜1の値をとり、将来の報酬をどれだけ重視するかを表します。
価値関数の種類
価値関数には主に2つの種類があります。
状態価値関数 V(s)
ある状態そのものの価値を評価する関数です。
- 「この状態にいるとどれくらい有利か？」を表す
- 記号：V(s)
例
ゲームにおいて：
- 勝利に近い盤面 → 高い価値
- 不利な盤面 → 低い価値
行動価値関数 Q(s, a)
ある状態で特定の行動を取った場合の価値を評価します。
- 「この状態でこの行動をするとどれくらい良いか？」を表す
- 記号：Q(s, a)
- 値は「Q値」と呼ばれることもある
例
同じ状態でも：
- 攻撃する → 高いQ値
- 防御する → 低いQ値
といったように、行動ごとに評価が変わります。
価値関数の直感的なイメージ
価値関数は「未来を見据えたスコア」と考えると理解しやすくなります。
例えば：
- すぐに小さな報酬を得る行動
- 少し待てば大きな報酬が得られる行動
この2つを比較すると、単純な報酬では判断できません。
しかし価値関数は「将来の報酬」を考慮するため、より賢い判断が可能になります。
実務での活用例
価値関数はさまざまな分野で活用されています。
ゲームAI
- 将棋や囲碁の局面評価
- 最適な一手の選択
ロボット制御
- 動作の最適化
- エネルギー効率の向上
レコメンドシステム
- 長期的なユーザー満足度を最大化
- 短期クリックだけに依存しない設計
価値関数とQ学習の関係
代表的なアルゴリズムである**Q学習（Q-learning）**では、行動価値関数Q(s, a)を直接学習します。
これにより、
- 各行動の価値を比較できる
- 最も価値の高い行動を選べる
というメリットがあります。
価値関数のメリットと課題
メリット
- 長期的な最適化が可能
- 行動の良し悪しを定量化できる
- 複雑な意思決定をシンプルに表現できる
課題
- 状態や行動の数が増えると計算が難しくなる
- 正確な価値の推定には多くのデータが必要
- 割引率の設定によって結果が大きく変わる
まとめ
価値関数は、強化学習において「どの行動が最も良いか」を判断するための重要な指標です。
ポイントを整理すると以下の通りです。
- 状態や行動の良さを数値で表す関数
- 将来の報酬を考慮して評価する
- 状態価値関数 V(s) と行動価値関数 Q(s, a) の2種類がある
- Q学習など多くのアルゴリズムで中心的な役割を担う
強化学習を理解するうえで、価値関数は避けて通れない基礎概念です。
AIが「賢く判断する仕組み」を理解する第一歩として、ぜひ押さえておきましょう。
こちらもご覧ください：マルコフ決定過程（MDP）とは？強化学習を支える基本モデルをわかりやすく解説
