AIが言葉を操る時代
人間と雑談ができるロボットやAIスピーカー、トレイに置いた購入商品を画像認識で自動会計する技術、100カ国語を超える言語を翻訳してくれる翻訳アプリ、少し前であれば夢であったような人工知能の技術が今、次々と実現しています。これらの人工知能技術の多くでは、人間が使っている言葉をAIが正しく解釈して応答する技術が必要です。
コンピュータやロボットなどに人間と同じように言葉を正しく解釈してそれに応じて処理を進め、人間に対して言葉で応答させる技術は、「自然言語処理技術」と呼ばれ、世界中でし烈な開発競争が進められています。「自然言語」とは、日本語や英語といった人間が日常生活で使っている言語のことを指します。C言語といったプログラミング言語など、人工的に作られた「人工言語」と区別して使われる言葉です。
「自然言語処理」という言葉を初めて目にした人も多いと思いますが、実はみなさんは知らないうちに自然言語処理技術の成果を使っています。例えば、いちばん身近なところでは、入力したひらがなを漢字に変換する、「かな漢字変換技術」が自然言語処理技術の成果です。 また、Siri、しゃべってコンシェルなどの対話アプリ、Google翻訳はじめとする翻訳アプリ、IBM Watsonのように難しいクイズに答えられるAI、入試問題が解けるAIなどでは、自然言語処理技術の最先端の技術が使われています（図1上）。
自然言語処理の要素技術
現在の自然言語処理の研究は図1下で示すように主に3つの要素から成り立っています。1つは言語学などでこれまで分かってきている言語学的な知見です。2つ目はアイデアを実際の計算機で現実的な時間で動作させるための高速・高精度な計算アルゴリズムの技術。3つ目は機械学習技術です。
自然言語処理は電子計算機が発明された1940年代に機械翻訳の研究を中心に始まりました。当初は言語学の知見を取り入れながら、人手で翻訳規則を書いてプログラムを動かしていましたが、翻訳規則は莫大な数の規則から構成されており、全体として矛盾なく規則を記述するのが人手では困難で、高い精度の翻訳器は作成できませんでした。
ところが1990年代に入って状況は一変します。計算機の処理速度の向上、インターネットの発展に伴う電子的なテキストデータの増大、統計的機械学習技術の進展により、先ほどの人手で書いていた規則を、膨大なテキストデータから機械学習を使って自動学習する方法が広がっていきました。機械翻訳だけでなく自然言語処理のさまざまな処理で最新の機械学習技術が取り入れられ、最新の機械学習技術の見本市のような状況が生まれました。 この方法により、言語学的知見をそれほど持っていない人でも機械学習の技術を持っていれば、自然言語処理のソフトウェアを開発することが容易になっていきました。機械翻訳の分野では、対訳データさえ用意すれば、一定の精度のものであれば誰でも翻訳器を作ることが可能になりました。
ディープラーニングでさらなる進化
2010年代に入り、自然言語処理はさらなる進化を遂げています。word2vecという単語の分散表現技術が開発され、図2上のように単語をword2vecという手法で空間上の位置ベクトルに変換すると、ベクトルとしてking - man + womanのような計算を行うとそれがqueenのベクトルとほぼ同じになることが発見されました。つまり、「王様」から「男」の要素を引き算して「女」の要素を加えると「女王様」になることが分かり、このやり方で作ったベクトルが、意味をよく表現していることが分かってきました。
また、ニューラルネットを使った「ニューラル翻訳」技術が急速に発展し、とても流ちょうな翻訳が自動的に作れるようになってきています。図2下にニューラル翻訳の様子を簡単に示します。ニューラルネットに翻訳したい外国語の文を入力していくと、文末の信号を入力したところから、翻訳結果が1語ずつ出力されていくようなニューラルネットなどが提案されています。現在のAI技術の中心となっている専門分野の1つです。
自然言語処理は自動翻訳技術にとどまりません。人間と雑談ができるロボットの対話処理部分、Siri、しゃべってコンシェルなどに代表される対話アプリ、映像から映像の中の出来事をテキスト化する、イメージキャプション技術もとの1つです。 IBM Watsonのようにクイズにもこたえられる人工知能、入試問題を解く「東ロボ」プロジェクトなどのAI分野でも広く自然言語処理技術が使われています。
私たち自然言語処理研究室では、この「東ロボ」プロジェクトに取り組み、英語科目でword2vecの技術やディープラーニングを使った言語処理を導入した結果、大幅な精度向上を実現しています（図3上）。また、ディープラーニングを使うことで、いままで難しかった画像処理と言語処理の融合が進んできています。入力された画像から、画像に描かれている内容をテキストに変換するイメージキャプション技術、逆にテキストから画像を生成する技術も自然言語処理の分野で進展しており、私たちの研究室でもこれらのテーマに取り組んでいます（図3下）。
ハッカー達が集まる自然言語処理
自然言語処理についての日本国内の学会で最大のものは「言語処理学会」ですが、毎年行われる年次大会は、多くの注目を集め近年約1,000人規模の大会となっており、専門分野1つの学会としては異例の大きさになっており、大いに盛り上がっています。高度なコーディング技術を持っている若手の研究開発者がしのぎを削り、Google、Yahoo！、Microsoftといった名だたるIT企業が人材獲得に目を光らせています。
言語処理に興味がある人だけでなく、コーディング能力の腕を磨きたい人、機械学習技術、ディープラーニング技術に興味がある人は、ぜひ足を踏み入れてみてください。楽しい世界が待っていると思いますよ。