ASI Social Scheduler ログイン 無料で始める
分析

Threadsの分析でやりがちな3つの間違い|自分の集計が3倍ズレていた話

結論

自社アカウントの投稿を集計していて、こういう結果が出ました。「問いかけ(?)を含む投稿は、含まない投稿の4.6倍表示されている」
キャッチーな数字です。しかし念のためデータの取り方を確認したところ、これは間違いでした。正しく測り直すと1.4倍。3倍以上ズレていたことになります。
原因は難しい統計の話ではなく、使っていたデータが途中で切れていたという単純なものでした。この記事では、この失敗を含めてThreadsの分析でやりがちな3つの間違いを説明します。他人の記事を読むときに何を疑うべきかの基準にもなります。

間違い1:平均値で語る

最も多い間違いです。当アカウントの実データを見てください。

  • 1投稿あたりの平均表示回数:2,327回
  • 1投稿あたりの中央値948回

2.5倍近い差があります。平均のほうが実態より遥かに大きく見えています。

理由は表示回数の分布が極端に偏っているためです。

  • 最も伸びた1投稿だけで全表示回数の11.7%
  • 上位5投稿で44.9%
  • 上位10投稿で69.6%

54件のうち10件が全体の約7割を稼いでいます。この状態で平均を出しても、「大当たりが混じっていたか」を測っているだけになります。

対策

中央値を使ってください。1本のバズが混じっても中央値はほとんど動きません。逆に、平均値しか載せていない記事は、その時点で割り引いて読む必要があります。

間違い2:件数を確認しない

時間帯別に集計したとき、深夜2時〜4時の平均表示回数が3,835回と突出しました。「深夜が狙い目」と結論づけたくなる数字です。

しかしこの区分は5件しかなく、そのうち1件が14,740回という例外的な投稿でした。中央値で見れば1,798回で、投稿数が最も多い18時台(17件・中央値1,629回)と大差ありません。

件数が少ない区分は、1本の当たりで簡単に順位が入れ替わります。当アカウントでは、曜日別の差も件数が6〜11件しかなく、誤差と区別できませんでした。

対策

n(件数)を必ず併記してください。目安として、3件未満の区分は判断材料にしない。他人の記事を読むときも、件数が書かれていない主張は「1本の当たりを一般化している」可能性を疑ってください。

間違い3:切り詰められたデータで判定する(実際にやりました)

ここが今回の本題です。

投稿本文に問いかけ(?)が含まれるかで分けて集計したところ、こうなりました。

  • 問いかけあり:中央値 1,798回
  • 問いかけなし:中央値 392回
  • 差は4.6倍

「問いかけを入れると伸びる」という分かりやすい結論が出ました。しかし公開前に、使っていたデータの本文が何文字まで入っているかを確認しました。

60文字で切り詰められていました。

つまり実際に判定していたのは「本文に問いかけがあるか」ではなく、「冒頭60文字の中に問いかけがあるか」だったのです。61文字目以降に「?」がある投稿は、すべて「問いかけなし」に分類されていました。

全文で測り直した結果

APIから本文の全文を取得し直して同じ集計をしました。

  • 問いかけあり(35件):中央値 1,053回
  • 問いかけなし(10件):中央値 732回
  • 差は1.4倍

4.6倍が1.4倍になりました。しかも件数の内訳を見ると、問いかけなしは10件しかありません。この差をもって「問いかけを入れると伸びる」と主張するのは無理があります。

同じデータ・同じ集計方法で、本文の取り方だけを変えた結果

本文の扱い問いかけあり問いかけなし結論
冒頭60文字だけ(誤)中央値 1,798中央値 3924.6倍「問いかけは効く」と誤認
全文(正)中央値 1,053中央値 7321.4倍差があるとは言えない

なぜ気づけたか

特別なことはしていません。結論を書く前に、元データの中身を一度目視しただけです。本文の文字数の分布を見たところ、最大が60文字でぴたりと揃っていました。実際の投稿がすべて60文字ちょうどで終わるはずがないので、そこで切り詰めに気づきました。

対策

集計する前に、元データの分布を見てください。最大値が不自然にきれいな数字(60、100、140など)で揃っていたら、そこで切られています。一覧表示用に短くしたデータを、そのまま分析に使うと結論が変わります。

この3つを踏まえた分析の手順

  1. 元データの中身を見る — 切り詰め・欠損・重複がないか。最大値や最小値が不自然に揃っていないか
  2. 中央値で集計する — 平均は1本のバズで壊れる
  3. 件数を併記する — 3件未満の区分では判断しない
  4. 因果を断定しない — 「返信がついた投稿は伸びている」は事実だが、伸びたから返信がついた可能性もある
  5. 10本以上貯めてから判断する — 条件を変えるたびに測り直すと、いつまでも件数が貯まらない

他人の記事を読むときのチェックリスト

SNS運用の記事を読むときは、次を確認してください。1つでも欠けていたら、結論をそのまま信じないほうが安全です。

  • 件数(n)が書かれているか — 書かれていない主張は検証できません
  • 平均か中央値か明記されているか — 「平均◯回」だけの主張は割り引いて読む
  • いつのデータか — 仕様変更でアルゴリズムの挙動は変わります
  • 何アカウントのデータか — 1アカウントの結果が自分に当てはまる保証はありません
  • 言えないことを明記しているか — 限界を書いていない記事は、限界を検討していない可能性があります
この記事の限界

ここで挙げた数字も、アカウント1つ・1か月・50件程度のデータです。他のアカウントに一般化できるものではありません。使えるのは数字そのものではなく、測り方の考え方のほうです。

まとめ

  • 平均値で語らない — 当アカウントでは平均2,327に対し中央値948(上位10件で全体の7割)
  • 件数を確認する — 5件の区分の平均は1本の当たりで簡単に跳ねる
  • 元データの中身を見る — 切り詰められた本文で判定して、4.6倍が実は1.4倍だった
  • 他人の記事もn・中央値・時期・アカウント数・限界の記載で判断する

実際の時間帯別データはスレッズの投稿時間を54投稿で実測した記事に、指標そのものの意味はThreadsインサイトの見方にまとめています。

よくある質問

Q. Threadsの分析は平均と中央値どちらを見るべきですか?
A. 中央値です。当アカウントの実データでは平均2,327回に対し中央値948回で、2.5倍近い差がありました。表示回数は上位10投稿で全体の約7割を占めるほど偏るため、平均は1本のバズで簡単に壊れます。
Q. 何件くらいデータが貯まれば判断できますか?
A. 明確な基準はありませんが、当記事では3件未満の区分は判断材料にしないという方針をとりました。5件しかない時間帯で平均が突出した例では、実際には1件の例外的な投稿が全体を押し上げていました。可能なら10本以上貯めてから判断することをおすすめします。
Q. データが切り詰められているかはどう確認しますか?
A. 集計の前に、本文の文字数などの分布を見てください。最大値が60や100といったきれいな数字でぴたりと揃っていたら、表示用に切り詰められている可能性があります。実際の投稿がすべて同じ長さで終わることは通常ありません。
Q. 「問いかけを入れると伸びる」は嘘ですか?
A. 嘘とは言えませんが、当アカウントのデータでは差は1.4倍にとどまり、問いかけなしの投稿が10件しかないため、差があると結論づけるには根拠が不足しています。切り詰められたデータで測ったときは4.6倍という大きな差に見えていました。同じデータでも取り方で結論が変わる、という点が重要です。
Q. 他人の分析記事はどう読めばいいですか?
A. 件数(n)が書かれているか、平均か中央値か明記されているか、いつのデータか、何アカウント分か、そして「言えないこと」が書かれているかを確認してください。特に件数の記載がない主張は、1本の当たりを一般化している可能性があります。

出典