AIのハルシネーションとは？【センドマジックの技術情報】

エーアイノハルシネーショントハ？

AI(※1)は、質問に答えたり文章を作ったりできる便利な技術ですが、ときには本当ではない内容を、あたかも正しいかのように説明してしまうことがあります。
このような現象が「ハルシネーション」です。
この記事では、ハルシネーションとは何か、起こる理由、どのような問題があるか、抑えるための工夫などを説明します。

※1：AIとは、「Artificial Intelligence」（人工知能）の略で、人間の知的な能力（学習、推論、判断、言語理解など）をコンピューター上で再現した技術です。

■ 1. ハルシネーションとは

◇ もっともらしい誤情報を生成すること

ハルシネーション（Hallucination）とは、日本語で「幻覚」という意味があり、AIが事実ではない内容を、正しい情報のように答えてしまう現象のことです。
事実に基づかない情報や、誤情報であっても、自然で分かりやすい文章を生成することで、読む人が正しい情報だと誤解してしまうことがあります。
このように、正しくない内容を、もっともらしく生成してしまう現象が、ハルシネーションです。

◇ どんな答えがハルシネーションなのか

例えば、次のようなものがあります。

・実在しない会社名や人名を出してしまう
・本当はないニュースや記事を紹介してしまう
・間違った数字や日付を答えてしまう
・事実と違う説明を、はっきり言い切ってしまう

文章が自然だと、読む人は「正しそう」と感じやすくなります。
そのため、間違いでも気づきにくいのが大きな特徴です。

■ 2. ハルシネーションはなぜ起こるのか

◇ AIは人間と同じように考えていない

AIは文章を生成する際、人と同じように物事を考えているわけではありません。
たくさんの文章データをもとに、「次にどんな言葉が続くと自然か」を確率的にもっともらしい答えを生成しています。
つまり、AIは「意味を完全に理解して答える」のではなく、「言葉のつながりをもとに、自然な文を作る」ことをしているのです。
そのため、正しい情報がはっきりしない場面でも、答えを生成してしまい、結果として間違った内容を出力することがあります。

例えば、当社は2022年より社名を「株式会社ニュークリアス」から「センドマジック株式会社」に変更しましたが、当社の製品である「SENDMAGIC」についてAIに質問したところ、以下の画像のように旧社名で回答されました。
このように、AIの回答は常に正しいわけではありません。

ハルシネーション実例

◇ 質問があいまいだと起こりやすい

質問内容が抽象的だったり、条件が足りなかったりすると、AIは正しい答えを生成しにくくなります。
そのようなときに、ハルシネーションが起こりやすくなります。
例えば、次のような聞き方です。

・「あの会社のことを教えて」
・「最近の制度を説明して」
・「有名な研究を紹介して」

これでは、どの会社なのか、どの制度なのか、どの分野の研究なのかがわかりません。
情報が足りないと、AIは想像に近い形で答えてしまうことがあります。

◇ AIは間違っていても自然に答えてしまう

AIの怖いところは、生成した内容が間違っていたとしても内容が自然にまとまっていることです。
言い方がしっかりしていると、正しいように見えてしまいます。
でも、「はっきり言っていること」と「本当に正しいこと」は別です。
文章の明瞭さに捉われず、内容の正しさを確認することが大事です。

■ 3. どんな問題につながるのか

◇ 仕事においての問題

仕事では、少しの間違いが大きなトラブルになることがあります。
例えば、メール文章や会社のホームページや内容などAIで生成した文章をそのまま使うと、誤った情報を載せてしまうおそれがあります。
例えば、次のような問題が考えられます。

・事実と異なる商品説明を案内してしまう
・誤った数字や日付を記載してしまう
・実在しない情報を参考資料として載せてしまう
・誤った住所・連絡先などを載せてしまう

◇学習においての問題

勉強でも、AIの説明をそのまま信じると、間違った知識を覚えてしまうことがあります。
一度覚えた内容は、あとで直すのが大変です。
特に、次のようなものは注意が必要です。

・歴史の年号
・科学のしくみ
・数学の考え方
・英語の文法や意味

◇ 大事な判断に使うのは危険

医療、法律、お金などの話では、間違いが大きな損失につながることがあります。
そのため、AIの答えだけで決めるのは危険です。
大事なことを判断するときは、公式サイトや専門家の説明を必ず確認する必要があります。

■ 4. ハルシネーションを抑えるための工夫

◇ AIは「下書き」として使う

AIは、最初から完成形の文章を作るために使うよりも、下書きを作るために使う方が安全です。
文章のたたき台を作ってもらい、そのあと人が確認して直す流れが向いています。
この使い方なら、AIの便利さを活かしながら、間違いのリスクを減らせます。

◇ 質問をできるだけ具体的にする

AIに質問するときは、内容をできるだけ具体的にすることが大切です。
何について聞きたいのか、いつの情報なのか、どのくらいの長さで答えてほしいのかを入れると、答えが安定しやすくなります。
例えば質問内容を「●●会社について教えて」ではなく、「●●会社の主な事業内容を、初心者向けに100字で説明してください」にすると、わかりやすく正確な答えを得やすくなります。

◇ 情報源を提示してもらう

ハルシネーションを抑えるには、AIに対して回答の前提となる情報源を明示的に提供してもらうことも有効です。
社内資料、URL、マニュアル、議事録、仕様書など、根拠となる情報を提示してもらうことで、回答の精度を高めやすくなります。

◇ 重要な情報は必ず確認する

AIの答えの中でも、特に次の内容は再度確認が必要です。

・人名や会社名
・数字
・日付
・法律や制度の内容
・出典や参考文献

これらは見た目では正しそうに見えたとしても、間違っていることがあります。
そのまま使わず、公式情報と見比べることが大切です。

■ 5. まとめ

ハルシネーションとは、AIが事実ではない内容を、あたかも正しい情報であるかのように生成してしまう現象のことです。
文章が自然で分かりやすいほど、読む人が誤りに気づきにくいという特徴があります。
AIは、文章作成や要約、アイデア整理などを助ける便利な技術ですが、出力される内容には誤りが含まれる場合もあります。
そのため、結果をそのまま受け入れるのではなく、内容を確認しながら使うことが大切です。
特に、外部に発信する文章や重要な判断に関わる場面では、人による確認が欠かせません。
AIを使うときは、次の点を意識することが重要です。

・曖昧な質問をしない
・重要な情報は再度確認する
・生成結果をそのまま使わず見直す
・最後は人が判断する

AIはとても便利な技術ですが、そのメリットだけでなく注意点も理解したうえで扱うことで、安全かつ適切に活用できます。

技術情報