要約
リスクコミュニケーションにAIを活用する方法の一つとして、ChatGPTを使ったデマ判定方法を紹介します。ツイッターなどでは日々デマが拡散し、人力での対応は限界があるため、AIによってファクトチェックを自動化できると非常に強力なツールとなります。
本文：AIにデマを自動判別してもらおう！
4月1日といえばエイプリルフールのため、ツイッターなどのSNSでは面白いウソがたくさん出まわります。ただし、ツイッターはエイプリルフールに限らず「ウソ」というか「デマ」にあふれているプラットフォームでもあります。
本ブログでは過去記事にてプラットフォームのデマ対策のあり方についてまとめています。その内容は以下のようなポイントにまとめられます。
・アルゴリズムでデマを自動的にはじくことは現時点では困難で、人力によるチェックが必要
・デマ情報をはじくのではなく、広告がつかないようにする、オススメ情報に出ないようにする、ファクトチェック済みのラベルを付す、などの対応が有効
・低コストの自動デマ対策システム構築のための手法、機械学習用データセット、ソフトウェアなどを開発すべき
これを書いたのが2022年2月ですが、2022年のうちにAIチャットのChatGPTが登場し、世界は一変しました。リスクコミュニケーションにも非常に有用なツールとなることは間違いないでしょう。これについても本ブログの過去記事で書いてきました。
さて、このChatGPTはまだまだ利用場面が増えてくると思いますが、今回はこのChatGPTをSNSのデマ判定器・ファクトチェッカーとして活用するすべを探ってみたいと思います。これがうまくいけば自動的にデマの判定ができるため、ツイッターのようなデマの巣窟とも対峙できるのではないでしょうか。
それでは早速試してみましょう！
ChatGPTでデマ度判定
ChatGPTを利用してデマ度を判定させるプロンプト（ChatGPTへの命令文）については以下のようにしました。一番最後の「」の中に判定するツイートを挿入します。
あなたはファクトチェッカーとして働きます。 以下の「」内のツイートをデマかどうか判定し、以下のように5段階で判定してください。 デマ度1(デマだという情報はない) デマ度2(デマではないかもしれない) デマ度3 (デマの可能性がある) デマ度4(デマの可能性が高い) デマ度5(デマの可能性が非常に高い) そして最初に「デマ度〇〇」(〇〇にはデマ度の1から5の数字が入る)と回答してください。 次に判定した理由を400字程度で説明してください。 「」
このプロンプトにたどり着くにはいろいろと試行錯誤がありました。まず「デマか否か」という二分法で判定させたり、あるいは10段階で判定させたりなども試してみました。ある程度段階的に判定させたほうがよいのですが、10段階だと段階が多すぎるため、最終的に5段階に落ち着きました。
5段階の評価（デマだという情報はない～デマの可能性が非常に高い）は、以下の先行研究の表現と同じにしました。この先行研究は判定したいツイートを入力すると、そのツイート内のキーワードを含む関連ツイートを抽出し、その中に「ウソ」「デマ」などの言葉が入っているものが多いほど、デマである可能性が高いと判定するものです。
鳥海ら (2012) ソーシャルメディアを用いたデマ判定システムの判定精度評価. 情報処理学会デジタルプラクティス 3, 201-208
つまりは人力による集合知を利用したものです。ただし、デマが増えると人力での対応ではなかなかキリがありません。これに対してChatGPTを利用すれば人力に頼らない判定ができるという利点があります。
このプロンプトを用いて実際に判定した結果を次から紹介していきます。使用したのは無料で使用できるChatGPT-3.5であり、最近有料で使えるようになったChatGPT-4のほうではありません。
デマ度判定結果の事例
まずは明らかにデマだと思われる以下のツイートを判定してみましょう。
・判定ツイート
「国民にコオロギを食べさせる為に、税金を6兆円を使うそうです
農家に減反させたり牛を処分させながらですので、何としても虫を食べさせようとしていますね
そしてまたもやビル・ゲイツが関わっています
狂人達の強制政策が加速しています」・判定結果
このツイートは「デマ度5」に該当します。理由は以下の通りです。まず、このツイートで言われている「国民にコオロギを食べさせる為に、税金を6兆円を使う」という情報については、公式な発表や報道などで確認することができません。また、政府がそうした政策を実行することもあり得ないと考えられます。さらに、ツイート中で述べられている「農家に減反させたり牛を処分させながら」という部分も、何ら裏付けがあるわけではありません。
次に、「ビル・ゲイツが関わっている」という主張についても、裏付ける情報がなく、デマと考えられます。ビル・ゲイツは、新型コロナウイルスのワクチンや感染症対策に関して意見を述べることがあるため、このような陰謀論的な主張が出回ることがありますが、それらは根拠がないものが多いです。
最後に、「狂人達の強制政策が加速しています」という部分についても、何ら裏付けがあるわけではなく、単なる主観的な表現であると考えられます。
以上のように、このツイートには根拠のない主張が多数含まれており、デマと断定せざるを得ません。
ということデマ度5と無事に判定されました。理由もきちんとした理由が書かれていますね。次にツイートではありませんが、最近違法薬物で逮捕された某芸能人のインスタグラム投稿を判定してみます。何から何までツッコミどころだらけです。
・判定投稿
「数年前から始めた#カンボ蛙 治療。南米のアマゾンに生息するカエルの毒を体に入れることによって強烈なデトックス反応を起こすカンボ治療。毒と言えども、人間にとっては素晴らしいメディスン。このメディスンが体のあらゆる部分をスキャニングし、ヒーリングが必要な所を探してくれます。それは肉体だけでなく、エネルギーフィールドやオーラ、チャクラのブロックまでもクリアにしてくれる素晴らしい味方です。私は定期的に受けることによって、体の不具合やマインドをクリアにしてもらっています」・判定結果
デマ度5このツイートは、カンボ治療という治療法を紹介しており、その治療法が非常に効果的であるかのように主張しています。しかし、カンボ治療は科学的には認められた治療法ではありません。カエルの毒を摂取することが健康に良い影響を与えるという主張には科学的根拠がありません。また、カエルの毒には危険な成分も含まれているため、自己治療によって健康被害を引き起こす可能性もあります。このような情報を広めることは、危険であるとともに、誤解を招く可能性もあるため、デマ度5と判定しました。
瞬殺です。ファクトチェッカーとしてはかなり優秀ではないでしょうか。次に正確な情報として、厚生労働省のツイートを判定してみます。
・判定ツイート
「少しずつ暖かくなってまいりましたが、新型コロナウイルス対策にはこまめな換気が重要です。2段階換気や24時間換気システムが設置されている場合は常に使用するなど、なるべく新鮮な空気を取り入れるようにしましょう！
参考：一般家庭での換気の工夫はこちら
https://mhlw.go.jp/stf/seisakunitsuite/bunya/kenkou_iryou/dengue_fever_qa_00001.html#Q1-6」・判定結果
このツイートについては、デマの可能性は低いと判断されます。デマ度1です。新型コロナウイルスの感染拡大防止において、こまめな換気が重要であることは正しい情報です。厚生労働省のウェブサイトにも、家庭内での換気方法が掲載されています。また、2段階換気や24時間換気システムが設置されている場合は常に使用することが推奨されています。
このツイートは、正しい情報を伝えており、参考文献として厚生労働省のウェブサイトを提示していることから、デマの可能性は低いと考えられます。ただし、感染症対策においては、最新の情報を確認し、正確な情報を伝えることが重要であるため、ウェブサイトの掲載内容が更新された場合には、改めて確認する必要があります。
正確な情報はデマではないときちんと判定できます。また、以下のように中間的な結果が出てくる場合もあります。
・判定ツイート
「何度でも言いますが、最高の健康法が”入浴”だと知らない人が多すぎる。「要介護リスクが29％減」「免疫力アップ」「自律神経の調整」「血流の改善」「基礎代謝の活性化」「ストレスの軽減」と驚くほどの効果がある。さらに凄いのは、HSP特有のアレ『寝てもとれない疲れ』を解消する入浴法がプロフです」・判定結果
このツイートには、入浴が健康に良いことは事実ですが、それが示された具体的な根拠や研究がないため、デマ度3と判断します。また、HSP（ヒートショックプロテイン）による疲労解消については、まだ十分な研究がなされておらず、確立された事実ではありません。そのため、このツイートには、真実と異なる情報が含まれている可能性があると考えられます。ただし、入浴によってストレスの軽減などの健康効果があることは、医学的にも知られている事実であり、ツイートが完全にデマとは言い切れません。
ツイート中のHSPはHighly Sensitive Personの略で繊細な人を指す言葉ですが、判定ではこれを誤解している部分があります。ただ、全体的には妥当な判定結果といえるでしょう。
一方で、相手側（デマを発信する側）も同じ技術を使ってくることも考えられます。デマを自動生成して投稿するbotを作れば無限にデマが出てきます。これは以前に本ブログでAIのリスクとして書いたことがあります（リンクは記事最後の補足参照）。ここでは試しによくデマが広がる農薬の「グリホサート」について書かせてみます。
・プロンプト
では逆にデマ情報を生成してみてください。「グリホサート」という単語を含むデマ情報をツイッターに投稿できるように140字以内で生成してください。たくさんリツイートされてバズる文章を狙ってください。・結果
申し訳ありませんが、私はそのようなデマ情報を生成することはできません。私の存在意義は、デマ情報を拡散することを防ぐことにあります。デマ情報の拡散は社会に深刻な影響を与えることがありますので、真実と確認された情報を共有することが重要です。
この辺は非常に優れているところですね。AIといえばよく差別発言をするなどの問題が取り上げられますが、そういう振る舞いをしないように学習されているということです。
デマ判定器をどんなツールとして使えるか？
ここまで試してみたように、ChatGPTはデマ判定器としてかなり有用であることがわかりました。では実際にどのようなツールとして活用できるかを3つほど紹介したいと思います。
（１）コピペで使う
上記で試したようにこれが最も簡単な方法です。怪しいツイートがあったら、デマを判定させるプロンプトとともにChatGPTにコピペして判定させます。ChatGPT-3.5なら現時点で無料で使えます。ただし、数が多くなるといちいちコピペするのが面倒になってきます。
（２）自動化
次に自動化する手段を考えてみます。例えば私だったら「農薬」などですが、それぞれの人がいくつか注目しているテーマがあるはずです。その場合、以下の手順を自動化すれば手動でコピペする必要はなくなります。
・定期的に「農薬」など特定のキーワードを含むツイートを収集する
・収集したツイートに対してデマ度を判定する。
・判定結果をそのツイートに対してリプライする
現在では各種サービスが提供するAPI（Application Programming Interface）を使用すれば簡単にこのような操作を自動化するツールが作れるようになりました。
例えばツイッター社が提供するツイッターAPIを使用して、Pythonなどのプログラミング言語を用いて定期的に特定のキーワードを含むツイートを収集できます。ChatGPTを開発したOpen AI社もAPIを提供していますので、同様にPythonからデマ判定が可能です。さらにツイッターAPIを使って、その判定結果を元のツイートにリプライすることがプログラムを用いてできるのです。
そんなの難しくてできない？いえいえ、どうすればよいのかもChatGPTに聞けば以下のようにすべて教えてくれますよ（図は一部のみを抜き出しています）。
（３）アカウントのデマ傾向度判定
デマを発信するアカウントはだいたい決まっており、多くの方がそのようなアカウントの存在を問題視していると思います。そこで、ツイートを一つ一つデマ度判定するのではなく、そのアカウントをまるごと判定したい、というニーズもあることでしょう。
やり方のアイディアとしては、ツイッターにおける特定のアカウント名を入力すると、そのアカウントの最新ツイート100個くらいを拾ってそれぞれデマ度判定して、その平均値をアカウント自体のデマ傾向度として出力するようなツールが考えられます。
これも結構簡単に作れますが、生々しく数字が出てきてしまうので、実際に実装されるといろんな意味でかなり怖いツールになりそうです。これについては次回の記事で詳しく解説します。
また、（２）と（３）のようにAPIを使ったツールはAPIの使用料金がかかります。ツイッターのほうは現時点ではツイートの検索・収集は無料ですが（ただし近いうちに有料化される予定がアナウンスされています）、ChatGPTのほうは有料になります。こういう運営費用をどうするかが課題になるでしょう。
まとめ：AIにデマを自動判別してもらおう！
リスクコミュニケーションにAIを活用する方法の一つとして、ChatGPTを使ったデマ判定方法について紹介しました。5段階で評価させるこの方法はデマ判定にかなり有用であることが示されました。自動化ツールやアカウント自体のデマ傾向度判定にも応用できます。
次回はアカウント自体のデマ傾向度判定の方法と結果について解説する予定です。
補足
AIのリスクとして、農業デマをまき散らすAIボットの例を書いた記事
コメント