IT業界で気づいたことをこっそり書くブログ

何とかする系アプリエンジニアが、日々気づいたことを適当に綴っていきます(受託→ベンチャー→フリー→大企業→ベンチャー→起業?)

AIと自然言語の不確かさ

最近話題になったお話

 

togetter.com

 

リーディングスキルテストで測る読解力とは 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所 社会共有知研究センター センター長・新井紀子

http://www.nii.ac.jp/userimg/press_20160726-1.pdf

リーディングスキルテストの実例と結果

http://www.nii.ac.jp/userimg/press_20160726-2.pdf

 

一応、私も大学院で自然言語理解を専攻していたので、ここらへんはよく考えます。

割りと多くの人が、自然言語を「正常に読めて当たり前」としていると思います。しかしよくよく自然言語を紐解いていくと、読めなくて当たり前な構造をしています。

一体どうやって読んでいるのか、文法というもので捉えると限界が来るのです。
英語を理解できないのも、翻訳機が未だに完成しないのも、結局は言葉が完璧ではないからにほかなりません。

 

完全にルール化できないのに、何故か読める

こういった現象、最近ディープラーニングでよく見かけます。
結果は出るが、過程が分からない

曖昧なルールで、ある程度何となく読めるようにできています。
そんなだから、当然ながら読解力の低い子も出てきます。

だって、その子は一度だって母国語について教えてもらっていませんから。むしろ読めるほうが不思議なんです。

 

AI研究を元にした読解力テスト

新井紀子さん、東大ロボの方だったんですね。
この研究は非常に有意義だと思います。これまで、不確かな国語文法という50年以上も前の仕組みでしかテストできなかったものを、AI研究の過程をなぞることでより「読解」にフォーカスしてテストすることが可能になっています。

 

でも、読解力には限界がある

この研究は教育にフォーカスされていますが、私が以前より気にしているのは、AIのゴールについてです。

もしAIが吐き出した文章を読み解ける割合が5割だった場合、AIの出した正しい言葉は5割の確率で勘違いされます。ならその言葉はゴール足り得るでしょうか?

システムに喩えるなら、APIの通信失敗です。これはもちろん間違った方に重い責任がありますが、システムとしては両方に責任が生じます。
あくまで受信側が理解できる言葉を、送信側は送り出さなければなりません。
「正しい言葉を送ったから俺は悪くない」は社会では通用しません。

そうなると、AIは人間の間違いを予測し、間違われたことを判別しなければなりません。そしてそれは、AIが真に人間に近づかなければ成し得ません
更に言えば、そんな状況で100%間違わない言葉など吐けないのです

 

AIと聞くと、どうしても完璧で正しいというイメージをしてしまいますが
本当に人間社会に入っていくには、より人間らしく振る舞う必要が出てきそうです。
(しかしそれはあまりにも難しいことです)