序説log

備忘録兼動機付け

確率分布・統計分布絡みのメモ

・共分散

x,yが同時に変動する度合いを表す。x,yが独立なら0。

 

 

・確率密度

変数xが(x,x+δx)に入る確率が、δx→0のときp(x)δxで与えられる時、p(x)をx上の確率密度という。確率密度の最大値は変数の選び方に依存する。

→(-∞,x)に入る確率を累積分布という。

→xが離散変数の時、確率質量関数ともいう。xの取りうる値のところに、確率の質量が集中しているため。

 

・P(A|B)

Bが起きたと分かっている場合のAが起きた確率

 

・古典的確率とベイズ的確率

古典的確率=ランダムな繰り返し試行の頻度

ベイズ的確率=不確実性の度合い

ベイズでは、事前知識(=事前分布)と尤度(=データ)をかけ合わせて確率を更新する(=事後確率を求める)。人間の試行と同様のプロセスを踏むイメージ。

事前情報がないor使いたくないときは無情報事前分布を使って計算する。

 

ベイズの定理

P\left( w| D\right) =\dfrac{p\left( D|w\right) p\left( w\right) }{p\left( D\right)} 

事後確率は尤度×事前確率に比例する。条件付き確率2本から証明可能。

つまり、事前確率を事後確率に変換する式。

 

・独立同分布(i.i.d.)

データが同じ分布から独立に生成されること

 

・0.01-100の間にある指数分布に従う乱数を生成

1. 一様分布で-2〜2の乱数を作成

rui=np.random.rand() - 2  # from -2 to 2

 

2. 1.で作った乱数を10に累乗する

10 ** rui  # 0.01 ~ 100