AIは嘘をつく

AI活用・検証

AIの進化速度は、ここ数年で一気に加速しました。

数年前と比べても、できることの幅も精度も、明らかに違います。

少なくとも今の一般向けAIは、「使えない」「信用できない」と言われるフェーズは、もう過ぎています。

だからこそ言えます。

AIは、もう十分に賢いです。

少なくとも普通に使っている限り、致命的な事故はほとんど起きない。

コードも書けるし、
説明も整っているし、
それっぽいことを自信満々に言ってくる。

性能が低いとは、正直まったく思いません。

ただ、使っていると、
そのうち誰でも気づく瞬間があるんですよね。

AIは間違ったことを、間違っていると分かっていないまま断言する。

しかもその断言が、かなり堂々としている。

確認してみると、前提がそもそも違っていたり、存在しない仕様や事例を「あるもの」として語っていたりする。

驚くのは、「分かりません」とは言わないことです。

知らないなら知らないでいい。
でもAIは、知らないことをそれっぽい正解で埋めてくる。

この瞬間、ようやく腑に落ちました。

ああ、これは事故じゃない。

仕様だ。

そして、この仕様を理解せずに使うと、こちらが簡単に引きずられる。

20年以上コードを書いてきた自分でも、最初は普通に騙されました。

「えっ、そんな関数あったっけ?」と調べて、なかったときの脱力感。
けっこう、きます。

なぜAIは「分かりません」と言えないのか

なぜAIは、分からないことを分からないと言えず、それっぽい答えを断言してしまうのか。

理由はシンプルです。

AIは「正解を探す存在」ではなく、それらしい回答を生成する存在だからです。

過去に学習した膨大な情報をもとに、「この流れなら、次はこう来るはずだ」という、もっとも確率が高そうな文章をつなげている。

だから、

よく知られている話や、情報が十分に整理されている分野、何度も語られてきた定番の知識。

こういう領域では、人間から見ても「ほぼ正解」に見える回答が出てきます。

一方で、

情報が少なかったり、仕様が最近変わっていたり、実際に試した人がほとんどいなかったり、そもそも答えがまだ固まっていなかったり。

こういう状況になると、AIは急に苦しくなる。

それでもAIは、黙らないんですよね。

「分かりません」と止まるより、それっぽく続きを生成する方が得意だからです。

結果として、実在しない関数、存在しない設定項目、過去の仕様と現在の仕様が混ざった説明。

こういったものが、何の注釈もなく、断言口調で提示される。

ここが一番やっかいです。

文章としては自然。説明としても筋が通っている。だから、こちらが疑わなければ、そのまま信じてしまう。

私も何度やられたか分かりません。「この書き方でいけるはず」と思って試したら動かない。

調べたら、そんな書き方どこにも存在しなかった。

でもこれ、AIが賢くなったから起きている問題でもあるんですよね。

昔のAIなら、明らかにおかしい答えが返ってきて、すぐ気づけた。

今は違う。

うまく嘘をつくようになった。

だからこそ、使う側が意識しないと、簡単に引きずられます。

 

だから、確認が必要になる

こういう体験を何度かすると、自然とやることは一つに絞られてきます。

確認する。

AIの回答を、そのまま信じない。一度立ち止まって、裏を取りにいく。

結局ここで頼るのは、昔から変わらない方法です。

検索。

正直、「AIがここまで賢くなったのに、まだ検索か」と思う人もいるかもしれません。

でも実感としては逆でした。

AIが賢くなったからこそ、検索の重要性が増している。

理由は単純で、AIの回答はきれいにまとまっている分、間違いに気づきにくい。

一方で検索結果は、

  • 一次情報
  • 実際に試した人の記録
  • 公式ドキュメント
  • 日付付きの情報

こういった「生の情報」に触れられる。

だから、「あ、これは違うな」と判断できる材料が揃っているんですよね。

 

AIで検索する、という選択

とはいえ、毎回ゼロから検索結果を追うのも、正直しんどいです。

そこで出てくるのが、AIを検索に使うという選択肢。

ただし、ここでも条件があります。

  • 出典が分かること
  • どこから情報を引いているかが見えること
  • 後追いで確認できること

これができないAI検索は、普通のAIとあまり変わりません。

この点で、現時点で一番使いやすいと感じているのがPerplexityです。

理由はシンプルで、

  • 引用元が明示される
  • 公式ドキュメントに当たりやすい
  • 「それっぽい話」で終わらない

検索結果を要約しつつ、逃げ道を残してくれる。

ここが大きいんですよね。

 

重要なのは「正解」じゃない

ここで一つ、はっきりさせておきたいことがあります。

検索でも、AI検索でも、完璧な正解が欲しいわけじゃないんです。

欲しいのは、

  • 判断できる材料
  • 自分で確かめられる道筋
  • 間違っていたときに戻れる余地

AIが答えを断言する世界より、少し不完全でも、確認できる世界のほうが安全です。

 

結局、問われるのは使う側

ここまで書いてきましたが、結論は意外と地味です。

AIが嘘をつくかどうかより、それをそのまま信じるかどうかのほうが重要。

どのAIを使うか。どの場面で使うか。どこで人間が介入するか。

最終的に問われるのは、AIの性能ではなく、使う側の選別能力です。

まあ、偉そうに書いてますけど、私もしょっちゅう騙されてます。20年やってきてこれです。

そしてこの選別が一番難しくなるのが、次に話す「エージェント系AI」です。

ここでは、AIが勝手に動き、人間が気づかないまま判断が積み重なっていく。

その話は、もう少し後で。

 

第4回
エージェント系AIは、賢くても事故る
ここまで、一般的なAIについて書いてきました。「どれが賢いか、どれが優れているか、そういう話ではない」という前提も置いてきたつもりです。今回は、少し話題を変えます。エージェント系AIの話です。といっても、どのエージェントが一番か、どう使えば...

 

タイトルとURLをコピーしました