機械学習で使う【統計】

機械学習で使う統計について、初学者向けに整理しました！

統計(Statistics)

統計とはデータの収集、解析、解釈に関する方法の一種で、不確実性を取り扱うための科学分野です。
統計には記述統計と推測統計の2つの分野があります。

また、統計にはパラメトリック手法とノンパラメトリック手法があります。

期待値とは、確率変数の平均値を表し、確率分布の中心的な傾向を表す指標のことです。
確率変数(X)が離散値の場合、期待値E(X) は以下の式で表されます。

$$ E(X) = \displaystyle \sum_{k=1}^{n} P_i x_i $$

連続値の場合は下記です。

$$ E(X) = \displaystyle \int_{-\infty}^{\infty} xf(x) dx $$

分散とは、データの値が期待値からどれだけずれているかという、ばらつきの大きさを表す指標です。
確率変数Xの分散Var(X)は、期待値E(X)を用いて以下の式で表されます。

$$ Var(X) = E(X^2) – (E(X))^2 $$

共分散は、２つのデータ系列の傾向の違いを表す指標です。
2つの確率変数X, Yの共分散は、期待値E(X),E(Y)を用いて以下の式で表されます。

$$ Cov(X,Y) = E(XY) – E(X)E(Y) $$

共分散の数値によって、２つの確率変数には以下の関係があります。

分散はデータのばらつきの大きさを表す指標ですが、２乗して計算しているので、元のデータと単位が変わっています。

そのため、分散に対して平方根を取り、元の単位を合わせたものを標準偏差といいます。

$$ \sigma = \sqrt{Var(X)} = \sqrt{E(X^2)-(E(X))^2} $$

標準偏差は、分散と同じくデータのばらつきの大きさを表す指標になります。

分散は値が大きく、データのばらつきがわかりにくい場合があります。
そのため、データのばらつきを視覚的にに理解しやすく、単位も等しい標準偏差を用いる場合が多いです。

推定とは、母集団から標本を取得して、その標本を元に母集団のパラメータを推測することを指します。

例えば、ある工場の製品寿命を測定する場合、全製品（母集団）を測定することは困難です。
そこで、ランダムにサンプルを取得（標本）して、その標本を元に母集団の平均や分散などのパラメータを推測するなどに使われます。

推定には点推定と区間推定の２種類があります。

また、推定における数値は推定量（estimator）と推定値（estimate）の２つに分けられています。

統計については以上になります。お疲れ様でした。