★NLUから観たML/DL★

[Professor]

□CNN
CBoWやSkipGramで創られた「単語テンソル」を元に、文書を「畳み込み法」で組合せをして、「特徴パラメータ」を得る集合論的解析方法である。ニューラルネットの原型である単層パーセプトロンを多層化したディープラーニング(深層学習)の典型的なモデルである。
・利点＝文書の「特徴語」が抽出できること。
・応用＝文書検索や簡易要約などに使える。
・欠点＝文章を「集合」Setとして扱っていること。
構文情報や文脈情報を活用していない為に意味素パラメータの抽出が不可である。

□RNN
ＣＮＮの欠点である集合論的解析を、「時系列処理」で構文情報や文脈情報を取り込もうとする系列的解析方法である。
・利点＝「単語予測」ができること。
・応用＝Q&Aや文生成に使える。
・欠点＝系列処理という「条件付き確率」MRFだけを扱っていること。構文解析や文脈解析が不完全なので、意味素パラメータの抽出まで至っていない。
　
□MultiHeadAttention
ＣＮＮの欠点である意味素パラメータ抽出不可を、KeyとValueという特化した「加重付きパラメータ」で求めるウエイト付き単語ベクトル法である。
・利点＝文書の「重要語」が抽出できること。
・応用＝検索や要約
・欠点＝KeyとValueの求め方がヒューリスティックなので、意味素パラメータの抽出が難しい。
　
□Transformer
Attentionの欠点であるヒューリスティックな探索法をマスキング法で解決を図り、時系列処理を追加してエンコーダ・デコーダモデルにした非Deepモデルである。
・利点＝文章の階層構造ができる。
・応用＝翻訳やQ&A
・欠点＝周辺単語のEmbedding層でのマスキングでは意味素パラメータの抽出が粗すぎる。
　
□BERT
　Transformerの欠点である疎なEmbeddingをプレトレーニング（事前学習）で解決を図り、ファインチューニングで応用化への訓練を探る自然言語処理モデルである。
　・利点＝単語や文章のグラフィカルモデルができる
　・応用＝チャットボットや診断ソフト
　・欠点＝プレトレーニングがヒューリスティックなのと意味素パラメータ構築モデルが無い

🌸ＮＬＵ-MathDocのコメント
□TransformerのAttention付きEncoder/DecoderモデルやBERTのPreTraining/FineTuningが流行ったことで、自然言語理解には「非Deep」な機械学習が向いていることが理解されつつある。
その上、プレトレーニングで判明されたEmbedding層の過疎性を補う意味素パラメータ（概念タグや意味タグなど）の世界である「意味概念位相空間」の存在が認識されつつある。
□言語は人間を介して初めて言語になります。動物の鳴き声とは違う複雑な構造を持った高級言語です。従って、高級言語をコンピュータに理解させるには、事前学習として高級言語から低級言語へ変換して意図や意味理解をし易くすることが重要です。この変換の場として「意味概念位相空間」が存在します。意味の世界です。
□具体的にはフリーの形態素解析器だけではなく、構文解析器や文脈解析器そして意味解析器を使い、意味の概念や構造を事前学習として持たせることが重要です。入力文の解析結果には冗長性も考慮して入力文に「タグ：概念タグや意味タグなど」を付与することが効果的です。
ここまでがエンコーダです。デコーダは、このエンコーダで生成されたＸＭＬ｛タグ｝を使って、目的のアプリケーションソフトを創ることになる。
□マスキングでの固有表現抽出なども意味概念位相空間上で事前学習して行列化しておけば解析時にはタグを付与するだけで良い。効率的で高速でコンパクトな「日本語理解コアエンジン」が出来上がる。このコアエンジンのタグ情報をベクトルEmbeddingしてＢＥＲＴやTransformerへ入力して目的のアプリを創りたいと思うでしょうが、ここまでコアエンジンが完成してしまえば、ＢＥＲＴやTransformerはもう邪魔で不要になる。目的のアプリを「ＸＭＬタグ」で自由に創った方が応用性もあり、差別化ができる最強のAIソフトができる。

[投稿者]

投稿