AIと自然言語の不確かさ - IT業界で気づいたことをこっそり書くブログ

最近話題になったお話

リーディングスキルテストの実例と結果

一応、私も大学院で自然言語理解を専攻していたので、ここらへんはよく考えます。

割りと多くの人が、自然言語を「正常に読めて当たり前」としていると思います。しかしよくよく自然言語を紐解いていくと、読めなくて当たり前な構造をしています。

一体どうやって読んでいるのか、文法というもので捉えると限界が来るのです。
英語を理解できないのも、翻訳機が未だに完成しないのも、結局は言葉が完璧ではないからにほかなりません。

こういった現象、最近ディープラーニングでよく見かけます。
結果は出るが、過程が分からない。

曖昧なルールで、ある程度何となく読めるようにできています。
そんなだから、当然ながら読解力の低い子も出てきます。

だって、その子は一度だって母国語について教えてもらっていませんから。むしろ読めるほうが不思議なんです。

新井紀子さん、東大ロボの方だったんですね。
この研究は非常に有意義だと思います。これまで、不確かな国語文法という50年以上も前の仕組みでしかテストできなかったものを、AI研究の過程をなぞることでより「読解」にフォーカスしてテストすることが可能になっています。

この研究は教育にフォーカスされていますが、私が以前より気にしているのは、AIのゴールについてです。

もしAIが吐き出した文章を読み解ける割合が５割だった場合、AIの出した正しい言葉は５割の確率で勘違いされます。ならその言葉はゴール足り得るでしょうか？

システムに喩えるなら、APIの通信失敗です。これはもちろん間違った方に重い責任がありますが、システムとしては両方に責任が生じます。
あくまで受信側が理解できる言葉を、送信側は送り出さなければなりません。
「正しい言葉を送ったから俺は悪くない」は社会では通用しません。

そうなると、AIは人間の間違いを予測し、間違われたことを判別しなければなりません。そしてそれは、AIが真に人間に近づかなければ成し得ません。
更に言えば、そんな状況で100％間違わない言葉など吐けないのです。

AIと聞くと、どうしても完璧で正しいというイメージをしてしまいますが
本当に人間社会に入っていくには、より人間らしく振る舞う必要が出てきそうです。
（しかしそれはあまりにも難しいことです）