間違い1:平均値で語る
最も多い間違いです。当アカウントの実データを見てください。
- 1投稿あたりの平均表示回数:2,327回
- 1投稿あたりの中央値:948回
2.5倍近い差があります。平均のほうが実態より遥かに大きく見えています。
理由は表示回数の分布が極端に偏っているためです。
- 最も伸びた1投稿だけで全表示回数の11.7%
- 上位5投稿で44.9%
- 上位10投稿で69.6%
54件のうち10件が全体の約7割を稼いでいます。この状態で平均を出しても、「大当たりが混じっていたか」を測っているだけになります。
中央値を使ってください。1本のバズが混じっても中央値はほとんど動きません。逆に、平均値しか載せていない記事は、その時点で割り引いて読む必要があります。
間違い2:件数を確認しない
時間帯別に集計したとき、深夜2時〜4時の平均表示回数が3,835回と突出しました。「深夜が狙い目」と結論づけたくなる数字です。
しかしこの区分は5件しかなく、そのうち1件が14,740回という例外的な投稿でした。中央値で見れば1,798回で、投稿数が最も多い18時台(17件・中央値1,629回)と大差ありません。
件数が少ない区分は、1本の当たりで簡単に順位が入れ替わります。当アカウントでは、曜日別の差も件数が6〜11件しかなく、誤差と区別できませんでした。
n(件数)を必ず併記してください。目安として、3件未満の区分は判断材料にしない。他人の記事を読むときも、件数が書かれていない主張は「1本の当たりを一般化している」可能性を疑ってください。
間違い3:切り詰められたデータで判定する(実際にやりました)
ここが今回の本題です。
投稿本文に問いかけ(?)が含まれるかで分けて集計したところ、こうなりました。
- 問いかけあり:中央値 1,798回
- 問いかけなし:中央値 392回
- 差は4.6倍
「問いかけを入れると伸びる」という分かりやすい結論が出ました。しかし公開前に、使っていたデータの本文が何文字まで入っているかを確認しました。
60文字で切り詰められていました。
つまり実際に判定していたのは「本文に問いかけがあるか」ではなく、「冒頭60文字の中に問いかけがあるか」だったのです。61文字目以降に「?」がある投稿は、すべて「問いかけなし」に分類されていました。
全文で測り直した結果
APIから本文の全文を取得し直して同じ集計をしました。
- 問いかけあり(35件):中央値 1,053回
- 問いかけなし(10件):中央値 732回
- 差は1.4倍
4.6倍が1.4倍になりました。しかも件数の内訳を見ると、問いかけなしは10件しかありません。この差をもって「問いかけを入れると伸びる」と主張するのは無理があります。
同じデータ・同じ集計方法で、本文の取り方だけを変えた結果
| 本文の扱い | 問いかけあり | 問いかけなし | 差 | 結論 |
|---|---|---|---|---|
| 冒頭60文字だけ(誤) | 中央値 1,798 | 中央値 392 | 4.6倍 | 「問いかけは効く」と誤認 |
| 全文(正) | 中央値 1,053 | 中央値 732 | 1.4倍 | 差があるとは言えない |
なぜ気づけたか
特別なことはしていません。結論を書く前に、元データの中身を一度目視しただけです。本文の文字数の分布を見たところ、最大が60文字でぴたりと揃っていました。実際の投稿がすべて60文字ちょうどで終わるはずがないので、そこで切り詰めに気づきました。
集計する前に、元データの分布を見てください。最大値が不自然にきれいな数字(60、100、140など)で揃っていたら、そこで切られています。一覧表示用に短くしたデータを、そのまま分析に使うと結論が変わります。
この3つを踏まえた分析の手順
- 元データの中身を見る — 切り詰め・欠損・重複がないか。最大値や最小値が不自然に揃っていないか
- 中央値で集計する — 平均は1本のバズで壊れる
- 件数を併記する — 3件未満の区分では判断しない
- 因果を断定しない — 「返信がついた投稿は伸びている」は事実だが、伸びたから返信がついた可能性もある
- 10本以上貯めてから判断する — 条件を変えるたびに測り直すと、いつまでも件数が貯まらない
他人の記事を読むときのチェックリスト
SNS運用の記事を読むときは、次を確認してください。1つでも欠けていたら、結論をそのまま信じないほうが安全です。
- 件数(n)が書かれているか — 書かれていない主張は検証できません
- 平均か中央値か明記されているか — 「平均◯回」だけの主張は割り引いて読む
- いつのデータか — 仕様変更でアルゴリズムの挙動は変わります
- 何アカウントのデータか — 1アカウントの結果が自分に当てはまる保証はありません
- 言えないことを明記しているか — 限界を書いていない記事は、限界を検討していない可能性があります
ここで挙げた数字も、アカウント1つ・1か月・50件程度のデータです。他のアカウントに一般化できるものではありません。使えるのは数字そのものではなく、測り方の考え方のほうです。
まとめ
- 平均値で語らない — 当アカウントでは平均2,327に対し中央値948(上位10件で全体の7割)
- 件数を確認する — 5件の区分の平均は1本の当たりで簡単に跳ねる
- 元データの中身を見る — 切り詰められた本文で判定して、4.6倍が実は1.4倍だった
- 他人の記事もn・中央値・時期・アカウント数・限界の記載で判断する
実際の時間帯別データはスレッズの投稿時間を54投稿で実測した記事に、指標そのものの意味はThreadsインサイトの見方にまとめています。