文脈解析

文章を、意味を持つ最小の単位である形態素に区切り、それぞれの品詞や原形を判別する自然言語処理の処理。単語の間に空白がない日本語では、テキスト分析や検索の索引作成の最初の段階として欠かせない。辞書と、単語の並びやすさの統計をもとに最も確からしい区切り方を選ぶもので、MeCabやSudachiなどのツールがある。

文を構成する語や句の文法的な関係を解析し、文の構造を木構造（構文木）などで表す処理。自然言語処理では、形態素解析の後に、句の構成を求める句構造解析や、語の係り先を求める係り受け解析を行う。プログラム言語の処理系では、字句解析で得た字句の列が文法に合っているかを調べて構文木を作る段階を指す。

構文解析の結果をもとに、語や文の意味を解釈する自然言語処理の処理。複数の意味を持つ語がその文でどの意味で使われているかの判定（語義曖昧性の解消）や、誰が何をしたかという述語と項の関係（意味役割）の付与を行い、構文的に複数の解釈ができる文から妥当なものを選ぶ。プログラム言語の処理系では、型の整合性などを検査する段階を指す。

文の中で、どの語（日本語では文節）がどの語を修飾しているか、どの語がどの述語の主語や目的語になっているかという係り受けの関係を求める構文解析の一種。日本語では、文節が後ろの文節に係り、係り受けの線が交差しないといった性質を利用し、CaboChaやKNPなどのツールがある。誰が何をしたかの抽出や、評判分析に使われる。

文章を、連続するn個の文字や単語の組に区切ったもの。n＝1をユニグラム、2をバイグラム、3をトライグラムという。直前のn－1語から次の語の出現確率を推定する統計的な言語モデルや、辞書なしで作れる全文検索の索引（文字バイグラムなど）、文章の類似度の計算に使われる。

大量のテキストデータで学習された巨大なニューラルネットワークモデル。自然言語の理解・生成に優れ、生成AIの中核技術として文章作成・要約・翻訳・プログラミング支援などに活用される。プロンプトインジェクションなどのセキュリティリスクへの対策も重要となる。