要約
リスクコミュニケーションにAIを活用する方法の一つとして、ChatGPTを使ったデマ判定方法を紹介する記事の第2弾では、ツイッターのアカウント自体のデマ傾向度を判定する事例を紹介します。SNSプラットフォームが実装すると現状からの大きな改善が期待できます。
本文：AIにデマを自動判別してもらおう！
前回の記事では、リスクコミュニケーションにAIを活用する方法の一つとして、ChatGPTを使ったデマ判定方法を紹介しました。ツイッターなどでは日々デマが拡散し、人力での対応は限界があるため、AIによってファクトチェックを自動化できると非常に強力なツールとなります。
今回はその続きとして、アカウント自体のデマ傾向度判定の方法と結果について紹介します。
アカウントデマ傾向度の判定方法
前回の記事では一つひとつのツイートごとにデマ度を1(デマだという情報はない)から5(デマの可能性が非常に高い)の5段階で判定する方法について紹介しました。
ただし、デマを発信するアカウントはだいたい決まっており、そのようなアカウントの存在が問題になります。そこで、ツイートを一つひとつデマ度判定するのではなく、そのアカウントのデマ傾向度をまるごと判定する方法を試してみます。これは以下の3つの手順により行います。
１．判定するアカウント名を決める
２．そのアカウントの最新ツイートを100収集する
３．収集したツイートをChatGPTでそれぞれデマ度判定して、その平均値をアカウントのデマ傾向度として出力する
２番目のツイート収集においては、本ブログのSNS解析でいつも使用しているRのrtweetパッケージを使用し、ツイッターAPIを叩いて収集しました（詳細は別記事参照。リンクは記事最後の補足にあります）。注意点としてはまず、リツイートやほかのツイートへのリプライは除きます。次に、50語以下の短いツイートは判定が難しいため（たいした内容がないので）これも除きます。
３番目のデマ度判定は前回の方法と同じです。プロンプトとしては以下を用いました。
あなたはファクトチェッカーとして働きます。
以下の「」内のツイートをデマかどうか判定し、以下のように5段階で判定してください。
デマ度1(デマだという情報はない)
デマ度2(デマではないかもしれない)
デマ度3 (デマの可能性がある)
デマ度4(デマの可能性が高い)
デマ度5(デマの可能性が非常に高い)
そして最初に「デマ度〇〇」(〇〇にはデマ度の1から5の数字が入る)と回答してください。
次に判定した理由を400字程度で説明してください。
「」
このとき、判定前にツイート内容からURLの部分だけを削除します。ChatGPTではURLを記載してその内容をまとめさせるとたいだい大嘘を吐きだします。デマ度判定の場合においても、URLを書くとそのURLの内容と称して大嘘を吐きだし、その大嘘に基づいてデマ度を判定してしまうことがありました。
100個のツイートを判定する際にChatGPTのWEBサイトで一つずつコピペして判定するのは大変です。よってChatGPT-3.5turboのAPIを使用してPython上で判定させることで自動化しました。WEBサイトで使用するのは現時点で無料ですがAPIの使用には料金がかかります。
この方法で実際に判定した結果を次から紹介していきます。
アカウントデマ傾向度の判定結果
まず試しに判定してみるアカウントを決める必要があります。
1人目はツイッターで有名なデマ論者、いわゆる「塩の人」です。どんな人かは以下の記事に書かれています。
「コロナは嘘」論者はいかにして「塩の人」になったか
次に反ワクチン・反農薬（特にグリホサート）の持論を展開している医師を名乗るアカウントです。ここでは「トスの人」と呼びましょう。どんな主張をしているかは以下のまとめで雰囲気をつかめることでしょう。
化学知識の欠如を自らバラした自称医師トスターダ
比較対象として厚生労働省のアカウントを判定します。
結果は以下の表のとおりで、１～５の範囲で判定されますが厚生労働省は予想通りほぼ１に近い結果でした。他の二つは２点台の結果になり、思ったより低いかなという感じでした。これを見ると、だいたい２点を超えると相当にヤバいアカウントだと思ってよいでしょう。
| アカウント | デマ傾向度 |
| 塩の人 | 2.1 |
| トスの人 | 2.7 |
| 厚生労働省 | 1.2 |
個別の判定を見ていくと、多数のツイートの判定の中には明らかな判定間違いのような例もまれに出てきます。厚生労働省のツイートでも、明らかに内容を取り違えたとして思えない判定でデマ度４をつけた結果もありました。ただし、100ツイートを判定に使用しているので、このような間違いは全体の判定には大きく寄与しません。
塩の人なども収集したツイートを眺めてみると普通のツイートもそれなりにありますし、デマかどうか判別が難しいものもあるため、全体では2.1と低めの結果になるのでしょう。以下にアカウントごとのデマ度の頻度分布（ヒストグラム）を示します。
また、1アカウントの判定に30分程度の時間がかかり、ChatGPT-3.5turboの利用料金として0.1米ドル程度かかりました。料金は安いですが思ったより時間がかかりましたね。WEBアプリケーションにするにはしんどいです。
AIを用いたアカウントのデマ傾向度判定をどう使うか？
本来はツイッター自体がこのような機能を標準装備して、デマ度が高いツイートはそのツイートの横に要注意マークをつけたり、アカウントのデマ度をプロフィール欄に表示するなどの対策を採るべきではないかと思います。
前回の記事でプラットフォームが取るべき対策のポイントとして以下の3点を示しましたが、1と3番目はChatGPTが解決してしまいました。あとはファクトチェック済みのラベルを付すなどの対策を導入するだけなのです。
・アルゴリズムでデマを自動的にはじくことは現時点では困難で、人力によるチェックが必要
・デマ情報をはじくのではなく、広告がつかないようにする、オススメ情報に出ないようにする、ファクトチェック済みのラベルを付す、などの対応が有効
・低コストの自動デマ対策システム構築のための手法、機械学習用データセット、ソフトウェアなどを開発すべき
以下はツイッターによる誤情報への対応方法です。イーロン・マスク氏による買収により悪化したという記事もありますが、どう変わったかはいまいち実感が湧きません。基本的にはbanするのは最小限になっており、これは上記の2番目のポイントでも同様になっています。
読売新聞：ツイッターでデマ急増、マスク氏買収後「野放し」…［情報偏食］第１部＜下＞
今回は個人でアカウントのデマ傾向度判定を行いましたが、厳しいことにツイッターのAPIが3月末をもって変更になり、ツイートの収集ができない状態になりました。今後はAPIを利用してツイートを収集するには有料プラン（100ドル/月！）に加入する必要があるようです。従量課金ではないためお試しで使うには高すぎます。
ということで今後はコピペで一つずつツイートを判定することしかできませんが、これまでに収集してため込んだツイートもたくさんあるので、そっちの方でなんらかの解析ができれば面白いと考えています。
まとめ：AIにデマを自動判別してもらおう！
AIにデマを自動判別してもらう方法の第2弾として、ツイッターのアカウント自体のデマ傾向度を判定する事例を紹介しました。怪しいアカウントは政府の運用するアカウントに比べて高いデマ傾向度が出てきました。このような機能は本来ならツイッターなどのSNSプラットフォームが標準装備するべきでしょう。
補足
ツイートの収集・解析方法について解説した記事
コメント