FEアルゴリズムとプログラミング · アルゴリズム
n-gram
N-gram
えぬぐらむ
文字列や単語列を連続するn個ずつに区切って取り出したもの。2文字ずつならバイグラムという。辞書がなくても機械的に索引を作れるため全文検索に使われ、統計的な言語モデルの基礎にもなる。
共有:
Related
他の資格での定義
Related
関連キーワードの用語
FE大規模言語モデル
大量のテキストデータで学習された巨大なニューラルネットワークモデル。自然言語の理解と生成に優れ、文章作成、翻訳、質問応答など幅広いタスクに対応できる。LLMと略される。
FE形態素解析
文章を意味を持つ最小単位(形態素)に分割し、それぞれに品詞などの情報を付ける処理。分かち書きをしない日本語では自然言語処理の第一段階として不可欠で、検索エンジンの索引作成にも使われる。
FEエキスパートシステム
特定分野の専門家の知識をルールベースとして蓄積し、推論エンジンにより問題解決を支援するAIシステム。知識ベースとルールを用いて人間の専門的判断を模倣する。
FE機械学習
コンピュータがデータから規則性やパターンを自動的に学習し、予測や分類を行う技術の総称。教師あり学習、教師なし学習、強化学習の3つに大別される。AIの中核技術の一つ。
FE教師あり学習
入力データと正解ラベルのペアを学習データとして与え、未知のデータに対する予測モデルを構築する機械学習手法。回帰(数値予測)と分類(カテゴリ予測)に大別される。
FE教師なし学習
正解ラベルのないデータからパターンや構造を自動的に発見する機械学習手法。クラスタリング(データの分類)や次元削減が代表的なタスク。顧客セグメンテーションなどに応用される。
