自然言語処理（NLP：Natural Language Processing）の分野では、AIが人間の言葉を理解する能力が急速に進化しています。
その進化を大きく後押しした技術の一つが「MLM（Masked Language Modeling：マスク言語モデリング）」です。
MLMは、文章の一部を意図的に隠し、その隠された単語をAIに予測させる学習方法です。
2018年にGoogleが発表した言語モデル「BERT」に採用されたことで広く知られるようになりました。
現在ではBERTだけでなく、多くの高性能言語モデルの基盤技術として利用されています。
本記事では、MLMの基本的な仕組みから特徴、従来手法との違い、実際の活用例までわかりやすく解説します。
MLM（Masked Language Modeling）とは？
MLM（Masked Language Modeling）とは、大量の文章データから言語の意味や文法構造を学習するための自己教師あり学習手法の一つです。
自己教師あり学習とは、人間が正解ラベルを付けなくても、データそのものから学習課題を自動生成する学習方式です。
MLMでは文章の一部を隠し、AIがその部分を推測します。
例えば次の文章を見てみましょう。
私は朝、[MASK] を飲んだ。
人間なら前後の文脈から、
- コーヒー
- お茶
- 牛乳
などを予測できます。
MLMではAIも同様に、文全体の情報を手掛かりとして隠された単語を推測します。
この学習を繰り返すことで、言葉の意味や文脈のつながりを理解していきます。
BERTでMLMが注目された理由
2018年以前の言語モデルの多くは、文章を左から右へ順番に読む方式が一般的でした。
例えば以下のような学習です。
「今日は天気が良いので」
↓
次に来る単語を予測
しかしこの方法には問題がありました。
次の単語を予測するとき、後ろの情報が利用できません。
人間は文章を理解するとき、前後の情報を同時に利用しています。
例えば、「銀行へ行った」だけでは、
- 金融機関の銀行
- 川岸（bank）
どちらか分かりません。
しかし、「お金を下ろすため銀行へ行った」なら意味が明確になります。
MLMは文章全体を見ながら学習できるため、前後の文脈を活用した高度な意味理解を可能にしました。
これがBERTの性能向上につながった大きな要因です。
MLMの学習の仕組み
単語の一部をランダムに隠す
MLMでは文章中の単語の一部をランダムに選びます。
BERTでは約15％の単語がマスク対象になります。
例えば次の文です。
昨日の休日に友人と海へ釣りに行った
これをマスクすると、
昨日の休日に友人と [MASK] へ釣りに行った
のようになります。
モデルは隠された部分を予測します。
文脈から正解を推測する
AIは前後の単語を手掛かりにします。
この例では、
- 休日
- 友人
- 釣り
- 行った
という情報があります。
そのため、
- 海
- 川
- 湖
などが候補として推測されます。
単語単体ではなく、文全体の意味を理解する必要がある点が重要です。
従来型言語モデルとの違い
従来の手法
以前のモデル：
「次に来る単語」を予測
例：
私は毎朝コーヒーを○○
↓
「飲む」を予測左側しか参照できません。
MLM
MLM：
文全体を見ながら隠れた単語を予測
例：
私は毎朝 [MASK] を飲んで出勤する
前後情報を利用できます。
この違いによって、より豊かな言語表現を学習できるようになりました。
MLMがもたらしたメリット
MLMには多くの利点があります。
双方向の文脈理解が可能
前後両方の情報を利用できるため、単語の意味を正確に捉えやすくなります。
大量データから効率よく学習できる
文章をマスクするだけで学習データを作成できるため、教師データを人手で準備する必要がありません。
大規模学習との相性が非常に優れています。
多様な自然言語処理タスクに応用可能
学習した言語理解能力は、さまざまな分野で利用できます。
主な用途：
- 文章分類
- 感情分析
- 質問応答
- 情報検索
- 自動要約
- チャットボット
現在のAIサービスでも幅広く活用されています。
MLMを採用した代表的な言語モデル
MLMはBERT以降、多くのモデルへ受け継がれています。
代表例は以下です。
- RoBERTa
- ALBERT
- DeBERTa
ただし、それぞれ改良点があります。
例えばRoBERTaでは「動的マスキング」が導入されました。
通常のBERTでは隠す単語が固定されますが、RoBERTaでは学習ごとにマスク位置を変更します。
これにより、より柔軟な言語理解が可能になりました。
現在の生成AIとの関係
近年の大規模言語モデル（LLM）は、BERT系とは異なる学習方式を採用するケースも増えています。
例えば文章生成型モデルでは、「次の単語を予測する」自己回帰型学習が主流です。
一方でMLMの考え方そのものは現在も重要です。
文章の文脈理解や表現学習という考え方は、多くのAI技術に引き継がれています。
つまりMLMは、現在の生成AIの基礎を築いた重要技術の一つといえるでしょう。
まとめ
MLM（Masked Language Modeling）は、文章中の単語を隠し、その内容を予測させる自己教師あり学習手法です。
特徴を整理すると以下の通りです。
- BERTの中心技術として採用された
- 単語の約15％をマスクして学習する
- 前後の文脈を同時に利用できる
- 双方向の文章理解が可能
- 多くの自然言語処理モデルへ発展した
AIの性能はモデル構造だけで決まるわけではありません。
どのような学習方法を採用するかも極めて重要です。
MLMは自然言語処理の歴史を大きく変えた学習手法として、現在でも高い価値を持ち続けています。
こちらもご覧ください：NSP（Next Sentence Prediction）とは？BERTが採用した「次文予測」の仕組みと役割をわかりやすく解説
