人とAIを言葉でつなぐ
大阪大学大情報科学研究科荒瀬由紀准教授は自然言語処理に伴う人工言語理解を研究しています。自然言語をAIに学習する手段は文章を細切れにして単語などの最小単位ごとに数値化した多項式を作成することから始まります。
最小単位は英語では単語ですが、フェイスブックではサブ単語に細分しています。漢字文化圏ではもっと細かく文字ごとに分割しています。これらの最小単位の方向(ベクトル)を比較したり加減したりして文章の意味を読み取ります。多項式の各項には係数(パラメータ)が付き、3億4千万個のパラメータを扱うこともあります。
http://www.ist.osaka-u.ac.jp/japanese/introduction/professors/multimedia-engineering/big-data-engineering/yuki-arase.html