Local Optima

数理最適化を趣味的に楽しむ。

平均を取って満足しちゃダメ!

前回、統計を話題にしましたが、ただの愚痴でした。今回は、もう少し具体的な話をさせていただきます。

さて、平均を取って満足していないでしょうか?

平均を取って、満足してはいけません!

算術平均は、母平均に対して不偏な推定量であり、とくに母集団が正規分布に従う場合には最尤推定量を兼ねているという、とても優れた統計量です。これは疑いようもない。だからこそ、いろいろな場面で使われます。

  • 算術平均
    •  n 個のデータ  x_1, x_2, ..., x_n の総和を標本数  n で割った値で、  \bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i
  • 最尤推定
    • 観測データが得られる確率(尤度)が最も大きくなるように、分布のパラメータを推定する方法で得られる推定量
  • 不偏推定量
    • 定量の期待値が真の母数に等しい推定量、すなわち  E(\hat{\theta}) = \theta を満たすもの。

しかしそんな平均にも、いろいろな落とし穴があるのです。

落とし穴ひとつめ。外れ値に引っ張られやすいことです。 測定がマズかったり、そもそも対象のバラツキのコントロールが未熟すぎたりすると、平均値はすぐに母集団の中心を代表しない値に引っ張られてしまいます。

落とし穴ふたつめ。分布の非対称性(歪み)に関するものです。 よくある例え話ですが、「年収」の分布は、高所得者の外れ値もありますが、ボリュームゾーン中流以下に偏っています。このとき、「平均年収」は必ずしも「中流」を体現しておらず、中流よりもやや大きな値になりがちです。

いずれの落とし穴に対しても、サンプルの分布を直接確認することが大切です。

ヒストグラム はそんなときの強力なツールになります。ヒストグラムを使って、外れ値はないか、測定レンジは適当だったか、分布の形は左右対称なのかそうではないのか、中心が妙に尖っていたり、裾が重かったりしないかを、まず視覚的に判断しましょう。

これらの「きれいなデータ」の要件を満たしていれば、最低限、安心して平均を眺めることができます。

しかし、現実世界から上がってくるデータは、上記の「きれいなデータ」の要件から往々にして外れてしまうものです。

対処方法はさまざまです。平均値のかわりに中央値を見るなど。しかし、これ以外にも、本当にさまざまな方法があります。よって、ここが分析者の腕の見せ所なわけです。

もちろん、非正規分布の当てはめなどをするに当たり、パラメータとして算術平均が必要になるシーンもあり、そういうときは平均を使うこともあります。

ヒストグラムを描いて、算術平均を取るくらい、現行学習指導要領の高校数学IAにも入っていますからね。仕事の道具として統計を使う方は、もう少し高みを目指したいものです。