要約
リスクコミュニケーションが成功した・失敗したなどと語られることがよくありますが、何をもって成功・失敗と言うのでしょうか？WEBによる情報発信を例にして、計測によってその効果を評価する方法を紹介します。ユーザーによる評価、A/Bテストによる表現方法の違いの評価、SNSを用いた情報発信後の反応を計測する方法を活用します。
本文：WEBによる情報発信の効果の測定方法
コロナ禍においてはツイッターなどのSNSでリスクコミュニケーション（以下、リスコミ）「失敗！」などの文字を目にすること多くなっています。ところで、そもそも何をもってリスコミの成功・失敗と呼べるのでしょうか？ちゃんとした「リスコミの評価」があってこそ成功・失敗と呼ぶべきで、自分の感覚だけで成功・失敗を決めていては今後の改善も望めないでしょう。
まず、リスコミでは適切な目的・ゴールの設定が重要になります。目的のない漠然としたリスコミでは評価ができません。「適切な」というところがポイントでしょうか。
例えばコロナ対策においては、行動変容（人流を抑えるなど）、感染者数を減らす、などの社会的なアウトカムを目的にしがちです。ただし、リスコミとは何かに立ち返ってみると、このような目的の設定は大きすぎです。
リスコミとは、ある特定のリスクについて関係者間(ステークホルダー)で情報を共有したり、対話や意見交換を通じて意思の疎通をすることであって、関係者間の相互理解を深めたり、信頼関係を構築することが目的となります。一方的な情報提供ではなく双方向的であって、情報発信側の思うがままに人々を操る方法ではありません。
もう少し付け加えると、行動変容やリスク低減を計測することは可能かもしれませんが、因果の判断は困難になります。例えばコロナ対策において人流が減った・感染者数が減ったなどの結果が得られた際に、なぜ減ったのか・逆に増えたのかなどの原因は多数考えられるため、リスコミの効果かどうかの判断は簡単ではありません。
ここではWEBでの情報発信を例にとりあげます。アクセス数は最も簡単に計測できる数字ですが、アクセス数だけでわかることはあまり多くありません。単に炎上しているだけかもしれません（炎上上等のコミュニケーションもありえますが、リスク文脈での炎上マーケティングは致命的）。どのような反応があったか、という計測も不可欠です。
さらに、計測結果の良し悪しだけがリスコミの評価軸ではありません。
・目的の設定は適切か？
・情報の受け手を絞り込んでそのニーズにあった情報を提供しているか？
・双方向性が確保されているか？
・リスコミが継続される仕組みが整っているか？
・計測結果に基づく改善を繰り返す仕組みが整っているか？
などなど、リスコミのプロセスの良し悪しを評価することも重要なことです。
つまり、リスコミでも計測＆改善を繰り返すことが重要ですが、一つには計測結果が良いかどうかの成功・失敗があり、もう一つはPDCAサイクルがうまく回っているかどうかなどのプロセスの成功・失敗があります。
今回の記事はリスコミの評価方法その１として、WEBによる情報発信を例に短期的な計測方法に焦点をあてていきます。情報の受け手による情報発信の評価方法、情報発信の改善効果を計測する手法（A/Bテスト）、情報発信後の反応を計測する方法、という順で紹介していきます。次回、その２として計測結果ではなく全体のプロセスや仕組みに焦点をあてていく予定です。
情報の受け手による情報発信の評価方法
自治体のWEBサイトなどを見ていると、ページの最後に
・このページの内容はわかりやすかったですか？
1.分かりやすかった 2.ふつう 3.分かりにくかった
・このページは見つけやすかったですか？
1.見つけやすかった 2.ふつう 3.見つけにくかった
など、訪問者がWEBサイトの評価をする機能がつけられていることが多いです。
例として、熊本県多良木町のページをリンクします。Googleで「このページの内容はわかりやすかったですか？」という検索でトップに出てきたページというだけで、それ以外の何の他意もありません。
このように、情報発信においても一方的ではなく多少の双方向的な仕組みを作ることはできます。面倒な操作なしに簡単に訪問者が評価できることがポイントです。ただし、わざわざボタンを押してくれる人はかなり少ないだろうということ、さらにボタンをわざわざ押してくれる人は訪問者全体を代表しているとは限らない（偏った集団である）、ということが問題となります。
なので「分かりにくかった」という評価が多かったからといって、そのページがダメなページというわけではありません（わかりやすかったと思う人はわざわざボタンを押さない）。このように、WEBサイトの絶対的な評価には向いていませんが、ページごとの比較、ページの改善効果の評価には限定的に使えると思われます。
ここでは「分かりやすかった」を1点、「ふつう」を0点、「分かりにくかった」を-1点などとして、（評価の合計点/ユニークユーザー数）を指標とすると良いでしょう。このような比率のことをCVR（conversion ratio）と呼んだり、重要な指標のことをKPI（key performance index）などと呼んだりします。
さて、本サイトのようなブログでこのような評価ボタンをつける方法も紹介します。ワードプレスで作成したブログサイトで記事の評価をするプラグインとしてreaction buttonsがあります。
試しに本ブログにも設置してみました（記事の一番最後にあります）。記事のわかりやすさ、有用性、信頼性という3つの評価軸を用意してみました。本来それぞれで3段階くらいの評価をする機能をつけたかったのですが、このプラグインでは複数設置することはできないようなので改善が必要ですね。しかも、最近はプラグインが更新されていないようなので、もっと良いものを探してみたいとは思います。
（2021年10月17日追記：記事の評価は利便性向上のため、reaction buttonsからWP-postratingsに変更し、シンプルないいね！ボタンを押すだけの機能にしました。）
情報発信の改善効果を計測する手法（A/Bテスト）
A/Bテストとは、オバマ大統領の選挙戦略で使われて有名になった、WEB表現の改善効果を評価する一般的な手法です。
あの大統領も140%の成果改善。アメリカ大統領とA/Bテストの意外な関係
例えば、情報発信においてAという表現とBという表現の二つの案があり、どちらが良いかを知りたい場面を想像してください。最初の一ヵ月にAという表現を用いて、次の一ヵ月でBという表現に変えて、上記で紹介したKPIを比較すれば良さそうです。
ところがこのような比較では、表現を変えた影響なのか、表現方法以外の影響なのかは一概に言えません。後半一ヵ月ではなにか社会情勢が変わり、サイトを訪れる人も変化した影響かもしれません。そのようなバイアスをなるべく減らす方法として、最初からAとBの二つのサイトを用意し、訪問者が「ランダムに」どちらかのサイトに飛ばされるのがA/Bテストです。時期も同時にテストでき、しかも訪問者がランダムに割りふられるので類似の二つの集団がAとBのサイトを評価することになります。このような方法で表現方法の影響のみを計測することができます。
A/Bテストは疫学で「ランダム化比較試験」と言われている方法と同じなので、エビデンスレベルの高い結果が得られます。直観ではなくエビデンスに基づいてWEBサイトを改善し、細かくPDCAを回すことでさらなる改善が可能です。現在ではWEBサービスの改善法として一般的な手法になっています。
次にA/Bテストを行うツールについて紹介します。調べてみるといろいろなツールがあるのですが、一番便利そうなのがGoogle Optimizeです。ちなみに無料です！解説記事もたくさん出てきますが、例えば以下のような記事があります。
Google Optimize 徹底解剖! 使い方からレポートの見方まで総ざらい
このツールでは、オリジナルのページとは別にもう一つのページを作って、それぞれCVRを比較できます。まだ本ブログには設置していませんが、後日試してその結果も報告してみたいと思います。
情報発信後の反応を計測する方法
続いて、情報発信後の反応を計測する方法について紹介します。インターネット上での情報はシェア・拡散によってどんどん広がっていくところに特徴があります。よって、このシェア・拡散の具合を計測することが重要になります。
そもそも情報のシェア・拡散を促す機能が必要になります。本ブログでもそうですが、ブログには大抵ツイッターやfacebookボタンがついており、それを押すだけでフォロワーに情報をシェアすることができます。そのシェアされた情報がリツイートされるなどでさらに拡散していきます。
情報発信するならぜひツイッターのアカウントを作って、その情報についてつぶやいてリンクをはりましょう。ツイッターでは以下のような計測ができます：
- リツイート数などの量的評価
- いわゆるエゴサーチを行い、引用・感想をモニターする（質的評価）
さらに、感想などのつぶやきを感情分析にかけて、 - ポジティブ・ネガティブ分析（量的評価）
も可能になります。
ツイッターアナリティクスを使うともっといろんなデータがとれますが、私自身まだあまり活用できていません。ツイッターでの検索は大量データの取得にはあまり向いていませんので、専用のツールを使った方が良いでしょう。本ブログでは自分で作成したプログラムを用いてツイッターのデータを収集してきました。
ツイッター解析は有料のツールはたくさんありますが、もう少し手軽に始めてみたいということであれば、東大の鳥海さんが開発したツイート収集ツールは無料で使えるのでオススメです。ただし、ツイッターの仕様により過去1週間までしかさかのぼれません。
ポジティブ・ネガティブ分析（感情分析）についてもいろいろなツールがありますが、その一つにGoogleのNatural Languageというツールがあります。
大量に解析する場合にはRのパッケージ（googleLanguageR）などを使うと便利ですが、とりあえず上記のサイトの「Natural Language APIのデモ」というボックス内にテキストを貼りつけてANALYZEボタンを押してみてください。これだけでも結構使えるでしょう。
試しに本文最初にある以下の文章を解析してみます。ANALYZEボタンを押した後に「sentiment」というタブをクリックし、Score（感情の方向）とMagnitude（感情の強さ）の数字を確認します。Entire Document（文章全体）でScoreが-0.2、Magnitudeは1.1となりました。Scoreがプラスであればポジティブな感情の文章、マイナスであればネガティブな感情の文章になります。MagnitudeはSocreで示される方向への感情の強さを表します。若干ネガティブよりですがニュートラルな範囲内に収まっていますね。
コロナ禍においてはツイッターなどのSNSでリスクコミュニケーション（以下、リスコミ）「失敗！」などの文字を目にすること多くなっています。ところで、そもそも何をもってリスコミの成功・失敗と呼べるのでしょうか？ちゃんとした「リスコミの評価」があってこそ、成功・失敗と呼ぶべきで、自分の感覚だけで成功・失敗を決めていては今後の改善も望めないでしょう。
もちろんSNSでは拡散してくれた人や感想を書いてくれた人と直接コミュニケーションをとることができます。このようにして双方向性も確保していきましょう。
まとめ：WEBによる情報発信の効果の測定方法
リスクコミュニケーションの成功・失敗とは何か？について、WEBによる情報発信を例にして、計測によってその効果を評価する方法を紹介しました。アクセス数は最も簡単に計測が可能な数字ですが、それ以外にもユーザーによる評価機能をつけたり、A/Bテストによって表現方法の違いを評価したり、SNSを用いて発信後の反応を計測する方法などが活用できます。
これらの計測結果と目標としている数字とを比較しすることで、成功か失敗かという判断ができます。ただし、リスコミは評価と改善を繰り返すことが重要です。計測の結果が失敗だったとしても、そこから改善を繰り返すサイクルをうまく回していれば成功につながります。このようなPDCAサイクルがうまく回っているか、などのプロセスを評価することがもう一つの軸です。これについては次回の記事で書いていく予定です。
コメント