自然言語処理（NLP：Natural Language Processing）の進化を語るうえで欠かせない技術の一つが「BERT」です。
そしてBERTの特徴的な学習手法として知られているのが「NSP（Next Sentence Prediction：次文予測）」です。
NSPは、AIに「この文章の次に来る文として自然かどうか」を学習させる仕組みです。
人間が文章を読むとき、前後の流れから内容を予測しますが、NSPはその能力をAIに獲得させるために導入されました。
しかし、その後の研究ではNSPの有効性について再検討が行われ、現在では採用しないモデルも増えています。
本記事では、NSPの基本的な仕組み、導入目的、BERTでの役割、そして近年の評価の変化までわかりやすく解説します。
NSP（Next Sentence Prediction）とは？
NSP（Next Sentence Prediction：次文予測）とは、2018年にGoogleが発表した言語モデル「BERT」で採用された事前学習タスクの一つです。
BERTではAIに言語を理解させるため、主に以下2つの学習方式を組み合わせていました。
- MLM（Masked Language Model）
- NSP（Next Sentence Prediction）
MLMが単語レベルの理解を学習するのに対し、NSPは文章同士の関係性を理解する役割を担います。
簡単に言えば、「この二つの文章は自然につながるか？」をAIに予測させる学習方法です。
BERTがNSPを導入した理由
人間は文章を読む際、単語だけでなく文脈全体を理解しています。
例えば以下を見てみましょう。
文章A：
「今日は朝から大雨が降っていた。」
文章B：
「そのため電車が遅延していた。」
この二つは自然につながります。
一方で、
文章A：
「今日は朝から大雨が降っていた。」
文章B：
「CPUの演算性能が向上した。」
こちらは関連性がほとんどありません。
人間なら違和感をすぐ認識できますが、AIにはその判断が簡単ではありません。
そこで導入されたのがNSPです。
AIに「文と文のつながり」を学習させることで、より高度な文章理解を目指しました。
NSPの学習の仕組み
二種類の文章ペアを作成する
NSPでは、大量の文章データ（コーパス）から二種類の文章ペアを作成します。
正しい文章ペア
元の文章内で実際に連続している文
例：
文章A：
「私は朝コーヒーを飲んだ。」
文章B：
「その後、会社へ向かった。」
これは自然な流れです。
ランダムな文章ペア
無関係な場所から文をランダムに選ぶ
例：
文章A：
「私は朝コーヒーを飲んだ。」
文章B：
「宇宙探査機が新しいデータを送信した。」
文章のつながりはありません。
AIは二値分類で判断する
モデルは次のような判定を繰り返します。
- IsNext（本来の続き）
- NotNext（無関係）
この学習を大量に行うことで、AIは文章同士の論理関係や文脈の流れを理解していきます。
NSPで期待された効果
NSPが導入された背景には、複数文にまたがる高度な自然言語理解の向上がありました。
特に以下のタスクで効果が期待されていました。
自然言語推論
文章から論理的な結論を導く技術です。
例：
文章：
「全員が会議室に集まった」
推論：
「田中さんも会議室にいる可能性が高い」
文同士の関係性理解が必要です。
質問応答システム
質問文と回答候補との関連性を判断します。
例：
質問：
「日本の首都はどこですか？」
文章：
「東京は日本最大の都市である。」
関連性を正しく理解する必要があります。
文書要約
長い文章では、文同士の流れを把握することが重要です。
単語単位ではなく、文章全体の構造理解が求められます。
NSPの課題が見えてきた理由
BERT登場当初、NSPは重要な技術と考えられていました。
しかし後の研究で、次第に疑問が出てきます。
本当に性能向上に役立っているのか？
研究者たちは、NSPがなくても十分高性能なモデルが作れるのではないかと考え始めました。
その代表例がRoBERTaです。
RoBERTaが示した大きな転換点
2019年にFacebook AI Research（現在のMeta AI）が開発したRoBERTaは、BERTを改良したモデルです。
RoBERTaでは思い切ってNSPを削除しました。
代わりに次のような改善を実施しました。
- 学習データを増加
- 学習時間を延長
- 動的マスキングを導入
- 学習方法を最適化
その結果、NSPを使わなくてもBERT以上の性能を達成しました。
この結果はAI研究に大きな影響を与えました。
「文同士の関係学習にNSPは必須ではないかもしれない」という考え方が広がったのです。
現在の大規模言語モデルではどうなっている？
近年の言語モデルでは、NSPを採用しないケースが増えています。
その理由は、膨大な学習データと改良された学習手法によって、文脈理解を別の方法で獲得できるようになったためです。
例えば現在の大規模言語モデル（LLM）は、
- 前後の文脈予測
- 自己教師あり学習
- 大規模事前学習
などを組み合わせています。
結果として、NSPなしでも高い文章理解能力を実現しています。
ただし、NSPが完全に無意味だったわけではありません。
AIに「文章間の関係性を学習させる」という考え方自体は、その後の研究にも大きな影響を与えています。
まとめ
NSP（Next Sentence Prediction）は、BERTで導入された「文章のつながり」を学習するための事前学習タスクです。
特徴を整理すると以下のようになります。
- 文同士が連続するかを予測する
- 文脈や論理関係の理解を目指した
- 質問応答や要約などで効果が期待された
- 後の研究で有効性に再検討が入った
- 現在は採用しないモデルも増加している
AI技術は新しい仕組みを追加するだけでなく、「本当に必要か」を検証しながら進化しています。
NSPは、その試行錯誤の歴史を理解するうえで非常に興味深い技術といえるでしょう。
こちらもご覧ください：RoBERTaとは？BERTを進化させた高性能言語モデルの仕組みと特徴をわかりやすく解説
