Rao-Blackwellの定理は十分統計量と不偏推定量に関する定理である。

Rao-Blackwellの定理

 U(¥bf X)¥thetaに対する不偏推定量であり、

 T(¥bf X)は十分統計量であるとする。

このとき、V=V(¥bf X)=E¥left¥[U|T¥right¥]は以下を満たす、

(1)V¥thetaに関数する不偏推定量

(2){¥rm Var}(V) ¥leq {¥rm Var}(U)

この定理の意味を考える前に、まず、不偏推定量、十分統計量について復習してみる。

まず、状況としてはある分布に対して、統計的モデルとして

分布族 ¥left¥{f(x;¥theta) | ¥theta ¥in ¥Theta¥right¥}

を考えている。ここで、パラメータの真値¥theta_0が存在するとして、

この¥theta_0f(x,¥theta_0)からの観測データX_1,X_2,¥ldots,X_nから推定したい。

推定量を¥hat¥theta(X_1,X_2,¥ldots,X_n)と表すことにする。

目標としては平均二乗誤差

E¥left¥[¥left(¥hat¥theta(X_1,¥ldots,X_n)-¥theta_0¥right)^2¥right¥]が小い¥hat¥thetaを求めたい。

ここで、平均二乗誤差は¥theta_0の関数であるから、どの¥theta_0についても良い推定になるように、どの¥theta_0についても平均二乗誤差が小さくなるようにしたい。

そこで、登場するのが不偏推定量である。

¥hat¥theta(¥bf X)が不偏推定量¥Longleftrightarrow E_{¥theta}¥left¥[¥hat¥theta(¥bf X)¥right¥] = ¥theta,¥forall ¥theta ¥in ¥Theta

(以降は書きかけ)