アンケートの平均値を比較する。
前年差を検定する。
有意差を確認する。
分析としては、正しい手順です。
しかし、その前にひとつ確認すべきことがあります。
そのデータは、何を代表していますか？
平均値は「集め方」に強く依存する
平均値は、数値の集まりの中心を示します。
しかし、
- 誰が回答したのか
- 誰が回答していないのか
- どのタイミングで回収したのか
- どんな文脈で答えられたのか
によって、大きく変わります。
つまり、平均値は「母集団の姿」ではなく、「その集め方の結果」です。
有意差があっても、意味があるとは限らない
例えば、
- 今年：4.12
- 昨年：3.98
- 有意差あり（p<0.05）
これで、「改善した」と言い切れるでしょうか？
もし、
- 回答者層が変わっていたら？
- 回収方法が変わっていたら？
- 不満層が回答しなくなっていたら？
統計的な差はあっても、実質的な意味があるとは限りません。
サンプリング設計のないデータの限界
本来、データから一般化するには、
- 母集団を定義し
- 抽出方法を設計し
- 偏りを統制する
という前提が必要です。
しかし、実務では、多くの場合、
- 任意回答
- 自己選択型
- 特定層に偏った回収
になっています。
それ自体が決して悪いわけではありません。
ただ、そのデータは「全体」を語るためのものではない、という自覚が必要です。
では、どう扱うべきか
サンプリング設計のないデータは、「正解を導くための根拠」ではなく、
「仮説を立てるための手がかり」として扱うべきです。
平均値は、
- 状況の断面
- 変化のヒント
にはなります。
しかし、
- 原因
- 構造
- 意味
までは教えてくれません。
私たちが大切にしていること
データは、強い説得力を持ちます。
だからこそ、
- 集め方
- 偏り
- 前提
を確認せずに解釈することは、誤った確信を生む危険があります。
私たちは、データを「結論」にするのではなく、
「問いを深めるための材料」として扱うことを大切にしています。