生成AIや自然言語処理の進化によって、コンピュータは以前よりも自然な文章を理解し、作成できるようになりました。
その背景にある重要技術の一つが「分散表現（Distributed Representation）」です。
分散表現は「単語埋め込み（Word Embedding）」とも呼ばれ、単語の意味や関係性を数値として表現する技術です。
現在の生成AIや検索エンジン、翻訳システムの基盤にもなっています。
本記事では、分散表現の仕組みや従来手法との違い、代表的なモデル、活用事例までわかりやすく解説します。
分散表現とは
分散表現とは、単語や文章を複数の数値の組み合わせ（ベクトル）として表現する手法です。
従来の自然言語処理では、単語を単なる識別番号として扱う方法が主流でした。
しかし、この方法では言葉同士の意味の近さを理解できませんでした。
分散表現では、単語の意味や文脈を考慮して数値化します。
その考え方の土台になっているのが「分布仮説」です。
分布仮説とは
分布仮説とは、「似た文脈で使われる単語は、似た意味を持つ」という考え方です。
例えば次の単語を考えてみましょう。
- りんご
- みかん
- バナナ
これらの周囲には、
- 食べる
- 果物
- 甘い
- 買う
といった似た言葉が現れやすくなります。
AIは大量の文章を学習し、こうした共通パターンから意味の近さを数値として学習します。
その結果、「りんご」と「みかん」はベクトル空間上で近い位置に配置されます。
従来のワンホット表現との違い
分散表現を理解するためには、以前使われていた「ワンホット表現」と比較すると分かりやすくなります。
ワンホット表現とは
ワンホット表現では、単語ごとに1つだけ値が「1」になるベクトルを割り当てます。
例：
| 単語 | ベクトル |
|---|---|
| りんご | [1,0,0] |
| みかん | [0,1,0] |
| 車 | [0,0,1] |
この方法では、「りんご」と「みかん」が似た意味であることを表現できません。
AIから見ると、すべての単語が同じ距離に存在している状態です。
分散表現の特徴
分散表現では次のようになります。
| 単語 | イメージ |
|---|---|
| りんご | [0.21, 0.65, -0.13 …] |
| みかん | [0.18, 0.61, -0.10 …] |
| 車 | [-0.72, 0.11, 0.88 …] |
数値自体に明確な意味はありませんが、近い意味の単語ほど似たベクトルになります。
これによってAIは言葉同士の関係性を計算できるようになります。
分散表現はどのように学習されるのか
分散表現は大量の文章データから自動的に学習されます。
例えば以下の文を考えます。
- 猫がソファで寝ている
- 犬が庭で遊んでいる
- 猫がご飯を食べる
「猫」という単語の周囲には、
- 寝る
- ご飯
- 動物
などが頻繁に出現します。
AIはこうした共起関係（同時に現れやすい単語）を大量に観察し、単語の特徴を数値空間へ変換します。
人間がルールを書く必要はありません。
データから意味を学習できる点が大きな特徴です。
代表的な分散表現モデル
分散表現にはさまざまな手法があります。
Word2Vec
自然言語処理で大きな転換点になったモデルです。
周囲の単語から対象単語を予測することで、意味を学習します。
特徴：
- 高速
- 軽量
- 意味的な類似性を学習可能
現在でも教育用途や基礎研究でよく利用されています。
fastText
Word2Vecを発展させたモデルです。
単語をさらに細かい文字列単位で扱います。
例えば：
「学習」
↓
「学」「習」「学習」
のような部分情報も学習します。
そのため、
- 未知語
- 新語
- 表記ゆれ
への対応力が高い特徴があります。
日本語との相性も比較的良いとされています。
Transformerベースのモデル
近年の生成AIの中心技術です。
従来の単語単位だけではなく、文脈全体を考慮します。
代表例：
- BERT
- GPT
- 大規模言語モデル（LLM）
例えば「銀行」という単語でも、「銀行でお金を下ろす」「川の土手（bank）」では意味が異なります。
Transformerは文脈から意味を判断できます。
これは従来の固定的な単語埋め込みでは難しかった処理です。
分散表現でできる「意味の計算」
分散表現の面白い特徴として、意味を数式のように扱えることがあります。
有名な例が次の計算です。
「王」−「男」＋「女」
↓
「女王」
これは単なる偶然ではありません。
単語間の関係性がベクトル空間上の距離や方向として保存されているためです。
つまりAIは、
- 性別
- 国家
- 職業
- 時制
などの概念を内部的に学習していることになります。
この性質は自然言語処理研究で大きな注目を集めました。
分散表現の主な活用例
現在のAIシステムでは、分散表現が幅広く使われています。
検索エンジン
検索語と意味が近い文書を発見できます。
例えば、
検索：
「自動車」
文書：
「車」
単語が完全一致しなくても、意味の近さで検索可能になります。
機械翻訳
言語間で意味の近い単語を対応付けます。
例えば：
- dog → 犬
- cat → 猫
単なる辞書変換ではなく文脈も考慮できます。
感情分析
レビューやSNS投稿の感情判定にも利用されます。
「最高」
「素晴らしい」
「良かった」
といった意味の近い表現を統一的に理解できます。
生成AI
ChatGPTのような生成AIも、文章を内部ではベクトルとして処理しています。
入力された文章を意味空間へ変換し、その続きとして自然な文章を予測しています。
分散表現にも課題はある
便利な技術ですが、問題点もあります。
単語の意味が固定される
従来の単語埋め込みでは、単語ごとに1つの意味しか持てません。
例えば：
「アップル」
- 果物
- 企業名
どちらも同じベクトルになります。
文脈による意味の違いを表現しにくい課題があります。
学習データの偏りを受ける
AIは学習データから意味を学びます。
そのためデータ内の偏見や社会的バイアスを反映してしまう可能性があります。
現在のAI研究では、公平性や倫理面への対策も重要テーマになっています。
まとめ
分散表現は、単語を単なる識別番号ではなく、意味を持った数値ベクトルとして表現する技術です。
ポイントを整理すると以下の通りです。
- 「似た文脈の単語は似た意味を持つ」という分布仮説が基盤
- 単語間の意味的な距離を計算できる
- Word2VecやfastTextが代表例
- 現在はTransformerや生成AIへ発展
- 検索、翻訳、生成AIなど幅広く利用される
現代のAIが人間の言葉を理解できるようになった背景には、この分散表現の進化があります。
自然言語処理や生成AIを学ぶ上で、理解しておきたい重要な基礎技術の一つといえるでしょう。
こちらもご覧ください：BoW（Bag of Words）とは？自然言語処理の基本手法をわかりやすく解説
