统计反问题

统计反问题1 介绍1.1 正向问题1.2 反问题1.3 工具2 反问题中的可识别性和一致性2.1 估计量 estimator （决策规则）2.1.1 平均距离误差和偏差2.1.2 估计量一致性2.2 线性正向问题2.3 线性反问题中线性参数的可识别性2.4 线性反问题中的一致性3 统计决策理论3.1 决策理论框架3.2. 决策估计

1 介绍

对于统计学家来说，反问题是推理或估计问题。
数据数量是有限的，并且包含误差，未知参数通常是无限维的。
数据仅与未知数间接相关。
统计反问题：统计估计和推断问题的反问题，标准统计概念，例如偏差，方差，均方误差，可识别性，一致性，效率和各种形式的最优性bias, variance, mean-squared error, identifiability, consistency, efficiency and various forms of optimality适用于反问题。

1.1 正向问题

$\Theta$ $\mathcal{T}$ 的凸子集。

$\theta \in \Theta \mapsto \mathbb{P}_{\theta}$

这个映射可以有合理的分析性质，例如连续性。

$\mathcal{P}=\left\{\mathbb{P}_{\theta}: \theta \in \Theta\right\}$

线性正向问题

$\mathbb{P}_{\theta}$ $K \theta+\epsilon$ $K$ $\epsilon$ $\theta$ 的随机变量。

$g(\theta)$ $\theta \in \Theta$ 的参数，其可以是恒等变换。

1.2 反问题

$\mathbb{P}_{\theta}$ $X$ $\theta \in \Theta$ $\theta$ $g(\theta)$ 。

$\Theta$ 包括至少两个点

1.3 工具

泛函分析，凸分析，优化理论，非光滑分析，逼近理论，调和分析和测度论等。

2 反问题中的可识别性和一致性

$\Theta$ $\mathcal{T}$ 的非空子集。
$\Theta$ $X$ $\theta$ 。
$X$ $\mathcal{X}$ $\mathcal{X} = \mathbb{R}_n$ $X = \{X_j \}^n_{j =1}$ 。
$\mathcal{F}$ $\mathcal{X}$ $\sigma$ $\mathcal{P}=\left\{\mathbb{P}_{\theta}: \theta \in \Theta\right\}$ $\mathcal{F}$ 上的概率测度。
$\theta \in \Theta$ $X$ $\mathbb{P}_{\theta}$ $X \sim \mathbb{P}_{\theta}$ 。
$\theta \in \Theta$ $X$ $\theta$ $X$ 相同的概率分布。在应用数学领域称其为非唯一性问题，在统计领域称其为非可识别性问题。
$X$ $\theta$ 。
$(\Theta, \mathcal{P}, \mathcal{X}, \mathcal{F})$ $\Theta$ 索引的统计实验。

$\theta$ $\theta$ $g: \Theta \rightarrow \mathcal{G}$ $\mathcal{G}$ $g(\Theta)$ $\Theta$ $g$ $\Theta$ $g(\theta)$ $\theta$ $\mathcal{G}=\mathcal{T}$ $\theta$ $\theta$ 的范数或其它函数或泛函。

可识别性 $g(\theta)$ $\theta_{1}, \theta_{2} \in \Theta$ ，有

\left\{g\left(\theta_{1}\right) \neq g\left(\theta_{2}\right)\right\} \Longrightarrow\left\{\mathbb{P}_{\theta_{1}} \neq \mathbb{P}_{\theta_{2}}\right\}

$g(\theta)=\theta$ $\theta$ 的线性泛函是不可识别的，这里提供了关于线性反问题中参数可识别性的一些结论。

2.1 估计量 estimator （决策规则）

（随机）决策规则

\begin{array}{l} \delta: \mathcal{X} \rightarrow \mathcal{M}_{1}(\mathcal{A}) \\ x \mapsto \delta(x)(\cdot) \end{array}

$\mathcal{X}$ $\mathcal{A}$ $\mathcal{M}_{1}(\mathcal{A})$ $\mathcal{A}$ $\sigma$ $\sigma$ $\mathcal{X}$ $\mathcal{A}$ $\delta$ $\theta \in \Theta$ $\delta(x)(A)$ $A \subseteq \mathcal{A}$ $x$ $\mathbb{P}_{\theta}$ -可测的函数）

非随机决策规则 $x \in \mathcal{X}$ $a=a(x) \in \mathcal{A}$ $\mathcal{A}$ $\mathcal{M}_{1}(\mathcal{A})$ -valued。

（非随机）估计量 $g(\theta)$ $\mathcal{A}$ $\mathcal{G}$ $g(\theta)$ $\hat{g}$ $\mathcal{G}$ $\mathcal{M}_{1}(\mathcal{G})$ -valued。

随机估计量举例 $p$ $p=1 / 3$ $2 / 3$ $10$ $X$ $\hat{p}(X)$ $W$ $1 / 2$ $0$ $1 / 2$ $1$ $X$ 的随机变量。定义

\hat{p}(X)=\left\{\begin{array}{lll} 1 / 3, & X<5 \\ 1 / 3, & X=5 & \text { and } \quad W=0 \\ 2 / 3, & X=5 & \text { and } \quad W=1 \\ 2 / 3, & X>5 \end{array}\right.

$p$ 的可能估计值，但是实际上当数据没有偏好时投掷一枚均匀的硬币去决定使用哪个可能的值。

2.1.1 平均距离误差和偏差

衡量估计量的表现

有许多常用的测度去评估估计量可能的表现，其中两个最简单的是平均距离误差平均距离偏差 $d_{\mathcal{G}}(\cdot, \cdot)$ $\mathcal{G}$ $\hat{g}$ $g(\theta)$ $\theta$ 处的平均距离误差为

\operatorname{MDE}_{\theta}(\hat{g}, g)=\mathbb{E}_{\theta}[d(\hat{g}, g(\theta))]

$\theta$ $\mathcal{G}$ $\mathbb{R}^{+}$ $\mathcal{G}$ $\|\cdot\|$ ，则其均方误差mean squared error (MSE)为

\operatorname{MSE}_{\theta}(\hat{g}, g)=\mathbb{E}_{\theta}\left[\|\hat{g}-g(\theta)\|^{2}\right]

$\mathcal{G}$ $\hat{g}$ $\theta$ 处的偏差为

\operatorname{bias}_{\theta}(\hat{g}, g)=\mathbb{E}_{\theta}[\hat{g}-g(\theta)]

若这期望是良定义的。

$\operatorname{bias}_{\theta}(\hat{g}, g)=0$ $\hat{g}$ $g$ $\theta$ 是无偏的。

偏差是系统误差，偶然的误差在每一次测量中都不同，但是偏差会使得测量值偏向同一反向。

$\hat{g}$ $g$ $g$ $U$ $g$ $\bar{g}_{\theta} \equiv \mathbb{E}_{\theta}[\hat{g}]$ $\operatorname{bias}_{\theta}(g)=\bar{g}_{\theta}-g(\theta)$ $\mathcal{G}$ $\hat{g}$ 的方差为

\operatorname{Var}_{\theta}(g) \equiv \mathbb{E}_{\theta}\left[\left\|\hat{g}-\bar{g}_{\theta}\right\|^{2}\right]

$\hat{g}$ $\hat{g}$ 的偏差的范数的平方。即

\begin{aligned} \mathbb{E}_{\theta}\left[\|\hat{g}-g(\theta)\|^{2}\right] &=\mathbb{E}_{\theta}\left[\left\|\hat{g}-\bar{g}_{\theta}\right\|^{2}\right]+\left\|\bar{g}_{\theta}-g(\theta)\right\|^{2} \\ &=\operatorname{Var}_{\theta}(\hat{g})+\left\|\operatorname{bias}_{\theta}(\hat{g})\right\|^{2} \end{aligned}

平均距离误差和均方误差都可以作为风险函数。

2.1.2 估计量一致性

在实际问题中，数据数量是有限的并且经常是固定的。然而，至少在概念上，通常有可能将特定问题嵌入假设的hierarchical序列中，在该假设的hierarchical序列中，进行更多类似类型的实验或进行更多测量。如果可以收集更多数据，就可以以任意精度估算参数，那是极好的。

$n$ $\mathcal{X}_{n}$ $\Theta$ $g$ $\mathcal{X}_{m}$ $\mathcal{X}_{n}$ $m \leqslant n$ $\mathcal{X}_{m}=\mathbb{R}^{m}$ $\mathcal{X}_{n}=\mathbb{R}^{n}$ $m$ $\mathcal{X}_{m}$ $\mathbb{P}_{\theta, m}$ $\mathcal{X}_{n}$ $\mathbb{P}_{\theta, n}$ 的边缘测度。因此，问题的不同之处在于区别有多少可用数据量。若对于任何参数值，当使用更多的数据，参数的估计值都能收敛到它的真实值，那么称其估计值序列为一致的。

注记2.2. $d_{\mathcal{G}}$ $\mathcal{G}$ 上的度量。

定义2.3. 一致性 $\left\{\left\{\mathbb{P}_{\theta, n}: \theta \in \Theta\right\}\right\}_{n=1}^{\infty}$ $g: \Theta \rightarrow \mathcal{G}$ $\left\{\hat{g}_{n}\right\}_{n=1}^{\infty}, g_{n}: \mathcal{X}_{n} \rightarrow \mathcal{G}$ $g$ 一致 $\theta \in \Theta$ $g(\theta) \in \mathcal{G}$ $U$ ，有

\lim _{n \rightarrow \infty} \mathbb{P}_{\theta, n}\{\hat{g} \notin U\}=0。

$g$ $g$ $g$ $g(\theta)=\theta$ $\Theta$ $\mathcal{T}$ 上的范数拓扑）是一致可估计的，则称这个模型是一致可估计的。

2.2 线性正向问题

注记2.4. $\mathcal{T}$ $\mathcal{T}^{*}\left(\mathcal{T}^{* *}\right)$ $\mathcal{T}$ $\mathcal{T}^{*}$ $\mathcal{T}$ $\mathcal{T}^{* *}$ $\mathcal{T}^{*}$ $\langle\cdot, \cdot\rangle: \mathcal{T}^{*} \times \mathcal{T} \rightarrow \mathbb{R}\left(\langle\langle\cdot, \cdot\rangle\rangle: \mathcal{T}^{* *} \times \mathcal{T}^{*} \rightarrow \mathbb{R}\right)$ $\mathcal{T}, \mathcal{T}^{*}$ $\mathcal{T}^{* *}$ $\|\cdot\|,\|\cdot\|_{*}$ $\|\cdot\|_{* *}$ 。

定义2.5. $\Theta$ $\mathcal{T}$ $\mathcal{T}^{*}$ $\left\{\kappa_{j}\right\}_{j=1}^{n}$ $X=\left\{X_{j}\right\}_{j=1}^{n}$ 成立

X_{j}=\left\langle\kappa_{j}, \theta\right\rangle+\epsilon_{j}, \quad \theta \in \Theta

$\epsilon=\left\{\epsilon_{j}\right\}_{j=1}^{n}$ 不 $\theta$ $\mathcal{X}=\mathbb{R}^{n}$ 。）

$\left\{\kappa_{j}\right\}_{j=1}^{n}$ $\mathbb{P}_{\theta}$ $X$ $\mathcal{P}$ $\theta$ $\Theta$ $\operatorname{dim}(\Theta)=\infty$ $n<\operatorname{dim}(\Theta)$ $\theta$ 是一个欠定问题。定义

K: \Theta \rightarrow \mathbb{R}^{n} \quad \theta \mapsto\left\{\left\langle\kappa_{j}, \theta\right\rangle\right\}_{j=1}^{n}

则可以将定义2.5中的式子写作

X=K \theta+\epsilon, \quad \theta \in \Theta

$X=K \theta+\epsilon$ $\theta \in \Theta$ $g(\theta)$ $X$ $K\theta$ $\theta$ $\theta_{1}, \theta_{2} \in \Theta$ $K \theta_{1}=K \theta_{2}$ $g\left(\theta_{1}\right) \neq g\left(\theta_{2}\right)$ $g(\theta)$ $K, \Theta$ $g$ $K \theta$ $\Theta$ $g(\theta)$ 。

2.3 线性反问题中线性参数的可识别性

$\#(\Theta) \geqslant 2$ $\left\{g_{i}\right\}_{i=1}^{m}$ $\Theta$ $a_{1}, a_{2} \in \mathbb{R}$ $\theta_{1}, \theta_{2} \in \Theta$ $g_{i}\left(a_{1} \theta_{1}+a_{2} \theta_{2}\right)=a_{1} g_{i}\left(\theta_{1}\right)+a_{2} g_{i}\left(\theta_{2}\right), i=1,2, \ldots, m$ $a_{1} \theta_{1}+a_{2} \theta_{2} \in \Theta$ $X=K \theta+\epsilon$ 对线性参数向量进行估计

g(\theta) \equiv\left\{g_{i}(\theta)\right\}_{i=1}^{m}。

$\Lambda$ $\lambda_{i j}$ $m \times n$ 矩阵。我们定义

\begin{array}{l} \Lambda \cdot K: \mathcal{T} \rightarrow \mathbb{R}^{m} \\ t \mapsto\left(\sum_{j=1}^{n} \lambda_{1 j}\left\langle\kappa_{j}, t\right\rangle, \sum_{j=1}^{n} \lambda_{2 j}\left\langle\kappa_{j}, t\right\rangle, \ldots, \sum_{j=1}^{n} \lambda_{m j}\left\langle\kappa_{j}, t\right\rangle\right) \end{array}

$Y$ $n$ $a \in \mathbb{R}, a \neq 0$ $Y$ $a+Y$ $K \theta_{1} \neq K \theta_{2}$ $\mathbb{P}_{\theta_{1}} \neq \mathbb{P}_{\theta_{2}}$ $g$ $g\left(\theta_{1}\right) \neq g\left(\theta_{2}\right)$ $K \theta_{1} \neq K \theta_{2}$ $\theta_{1}, \theta_{2} \in \Theta$ 。

引理A.4（变换的可识别性）. $Y$ $n$ $a \in \mathbb{R}^{n}$ $a \neq 0$ $Y$ $a+Y$ 不同。

证明. $\mathbb{E}[\exp (\mathrm{i} z \cdot(a+Y))]$ $=\exp (\mathrm{i} z \cdot a) \mathbb{E}[\exp (\mathrm{i} z \cdot Y)]$ $z \in \mathbb{R}^{n}$ $z \mapsto \mathbb{E}[\exp (\mathrm{i} z \cdot Y)]$ $0$ $1$ $0$ $0$ $z \in \mathbb{R}^{n}$ $\mathbb{E}[\exp (\mathrm{i} z \cdot(a+Y))] \neq$ $\mathbb{E}[\exp (\mathrm{i} z \cdot Y)]$ ，由Fourier唯一性得证结论。

定理2.6. $g: \Theta \rightarrow \mathbb{R}$ $\bar{\Theta} \subseteq \mathcal{T}$ $\bar{\Theta} \subseteq \Theta$ $g(-\theta)=-g(\theta), \theta \in \bar{\Theta}$ $g\left(a_{1} \theta_{1}+a_{2} \theta_{2}\right)=a_{1} g\left(\theta_{1}\right)+a_{2} g\left(\theta_{2}\right), \theta_{1}, \theta_{2} \in \bar{\Theta}, a_{1}, a_{2} \geqslant 0, a_{1}+a_{2}=1$ $\sup _{\theta \in \bar{\Theta}}|g(\theta)|<\infty$ $1 \times n$ $\Lambda$ $g$ $\bar{\Theta}$ $\Lambda \cdot K$ $\bar{\Theta}$ 上的限制。

证明. $\bar\Theta=\Theta$ $\Theta$ $\mathcal{T}$ $\mathcal{T}$ $\Theta$ $\mathcal{T}$ $\mathcal{T}$ $g$ $\Theta$ $\mathcal{T}$ $g$ 。

$\Lambda$ $g$ $\kappa_{1}, \ldots, \kappa_{n}$ $T \subset \Theta$ $g$ $T$ $\kappa_{1}, \ldots, \kappa_{n}$ $T$ $\{\langle g, \theta\rangle\}_{\theta \in T}$ $\left\{\left\langle\kappa_{i}, \theta\right\rangle\right\}_{\theta \in T}, 1 \leqslant i \leqslant n$ $\left\{a_{\theta}\right\}_{\theta \in T}$ $\sum_{\theta \in T} a_{\theta}\langle g, \theta\rangle \neq 0$ $\sum_{\theta \in T} a_{\theta}\left\langle\kappa_{i}, \theta\right\rangle=0,1 \leqslant i \leqslant n$ $\left\{\gamma a_{\theta}\right\}_{\theta \in T}$ $\left\{a_{\theta}\right\}_{\theta \in T}$ $\gamma$ $\sum_{\theta \in T} a_{\theta} \theta \in \Theta$ 。观察到

g\left(\sum_{\theta \in T} a_{\theta} \theta \in \Theta\right)=\sum_{\theta \in T} a_{\theta}\langle g, \theta\rangle \neq 0=g(0)

然而

K\left(\sum_{\theta \in T} a_{\theta} \theta \in \Theta\right)=\left(\sum_{\theta \in T} a_{\theta}\left\langle\kappa_{i}, \theta\right\rangle\right)_{i=1}^{n}=0=K(0)

$\theta_{0} \in \Theta$ $\bar{\Theta} \subseteq \mathcal{T}$ $c \in \mathbb{R}$ $\bar{g}: \bar{\Theta} \rightarrow \mathbb{R}$ $\theta_{0}+\bar{\Theta} \subseteq \Theta$ $g\left(\theta_{0}+\bar{\theta}\right)=c+\bar{g}(\bar{\theta}), \bar{\theta} \in \bar{\Theta}$ $\bar{g}(-\bar{\theta})=-\bar{g}(\bar{\theta}), \bar{\theta} \in \bar{\Theta}$ $\bar{g}\left(a_{1} \bar{\theta}_{1}+a_{2} \bar{\theta}_{2}\right)=a_{1} \bar{g}\left(\bar{\theta}_{1}\right)+a_{2} \bar{g}\left(\bar{\theta}_{2}\right), \bar{\theta}_{1}, \bar{\theta}_{2} \in \bar{\Theta}, a_{1}, a_{2} \geqslant 0, a_{1}+a_{2}=1$ $\sup _{\bar{\theta} \in \bar{\Theta}}|\bar{g}(\bar{\theta})|<\infty$ $1 \times n$ $\Lambda$ $g$ $\bar{\Theta}+\theta_{0}$ $\Lambda \cdot K\left(\cdot-\theta_{0}\right)+c$ $\bar{\Theta}+\theta_{0}$ 上的限制。定理2.6给出可识别性的一个必要条件，后面给出相应的充分条件。

定理2.7. $g=\left\{g_{i}\right\}_{i=1}^{m}$ $\mathbb{R}^{m}$ $\Lambda \cdot K$ $\Theta$ $\Lambda$ $m \times n$ $g$ $\mathbb{E}[\epsilon]=0$ $\Lambda \cdot X$ $g$ $\epsilon$ $\Sigma=\mathbb{E}\left[\epsilon \epsilon^{T}\right]$ $\Lambda \cdot X$ $\mathbb{P}_{\theta}$ $\Lambda \cdot \Sigma \cdot \Lambda^{T}$ 。

证明. $g$ $\mathbb{E}[\epsilon]=0$ ，我们计算

\begin{aligned} \mathbb{E}_{\theta}[\Lambda \cdot X] &=\mathbb{E}_{\theta}[\Lambda \cdot K \theta+\Lambda \cdot \epsilon] \\ &=\mathbb{E}_{\theta}[\Lambda \cdot K \theta]+\mathbb{E}_{\theta}[\Lambda \cdot \epsilon] \\ &=\Lambda \cdot K \theta+\Lambda \cdot \mathbb{E}_{\theta}[\epsilon] \\ &=\Lambda \cdot K \theta \\ &=g(\theta) \end{aligned}

$\Lambda \cdot X$ $g(\theta)$ $\epsilon$ $\Sigma$ 。可计算

\begin{aligned} \mathbf{C o v}_{\theta}(\Lambda \cdot X) &=\mathbb{E}\left[\Lambda \cdot \epsilon \cdot \epsilon^{T} \cdot \Lambda^{T}\right] \\ &=\Lambda \cdot \Sigma \cdot \Lambda^{T} \end{aligned}

推论 2.8 (the fundamental theorem of Backus and Gilbert). $\mathcal{T}$ $\Theta=\mathcal{T}$ $g \in \mathcal{T}=\mathcal{T}^{*}$ $\left\{\kappa_{j}\right\}_{j=1}^{n} \subseteq \mathcal{T}^{*}$ $g(\theta)$ $1 \times n$ $\Lambda$ $g=\Lambda \cdot K$ $\mathbb{E}[\epsilon]=0$ $\hat{g}=\Lambda \cdot X$ $g$ $\epsilon$ $\Sigma=\mathbb{E}\left[\epsilon \epsilon^{T}\right]$ $\hat{g}$ $\Lambda \cdot \Sigma \cdot \Lambda^{T}$ 。

2.4 线性反问题中的一致性

$\theta$ 可以被一致估计的充分条件。

$\epsilon$ $n$ $\mu$ $\mu$ 没有要求。

$\Theta$ $K$ $\left\{\mathbb{P}_{\theta}: \theta \in \Theta\right\}$ 的“大小”来界定。

定义2.9. $\mu_{a}, a \in \mathbb{R}$ $x \mapsto x+a$ $\mu$ $\mu_{a}(B)=\mu(B-a)$ $\delta(a, b)$ $\mathbb{R}$ 上度量

\begin{aligned} 0 \leqslant \delta(a, b) & \equiv\left\{\frac{1}{2} \int\left(\sqrt{\mathrm{d} \mu_{a}}-\sqrt{\mathrm{d} \mu_{b}}\right)^{2}\right\}^{\frac{1}{2}} \\ &=\left\{\frac{1}{2} \int\left(\sqrt{\frac{\mathrm{d} \mu_{a}}{\mathrm{~d}\left(\mu_{a}+\mu_{b}\right)}}-\sqrt{\frac{\mathrm{d} \mu_{b}}{\mathrm{~d}\left(\mu_{a}+\mu_{b}\right)}}\right)^{2} \mathrm{~d}\left(\mu_{a}+\mu_{b}\right)\right\}^{\frac{1}{2}} \leqslant 1 \end{aligned}

$\mu_{a}$ $\mu_{b}$ $\delta(a, b)$ $|a-b|$ ）。

定义2.10. $\epsilon>0$ $(S, \rho)$ $\epsilon$ $R \subseteq S$ $s \in S$ $r \in R$ $\rho(r, s)<\epsilon$ $(S, \rho)$ $\epsilon>0$ $\epsilon$ -网。紧性总是意味着全有界，反向在完备空间中反向成立（反向并不总是成立）。

伪度量空间是度量空间的一般化，其中两个不同点之间的距离可以为零。就像每个范数空间都是一个度量空间一样，每个半范数空间都是一个伪度量空间。

注记2.11. $\left\{C_{n}\right\}_{n=1}^{\infty}$ $\mathcal{T}$ $d_{n}, n \in \mathbb{N}$

d_{n}\left(x^{\prime}, x^{\prime \prime}\right)=\left\{\frac{1}{C_{n}} \sum_{i=1}^{n} \delta^{2}\left(\left\langle\kappa_{i}, x^{\prime}\right\rangle,\left\langle\kappa_{i}, x^{\prime \prime}\right\rangle\right)\right\}^{\frac{1}{2}}

定理2.12. $\lim _{n} C_{n}=\infty$ $\Theta_{1} \subseteq \Theta_{2} \cdots \subseteq \Theta$ $\Theta=\bigcup_{h} \Theta_{h}$ $d_{n}$ $\Theta_{h} \times \Theta_{h}$ $\Theta$ $d$ $\Theta_{h}$ $d$ $d$ -topology中是一致可估的。

证明. $d_{n}$ $\Theta$ $d$ $\Theta$ $d$ $k \in \mathbb{N}$ $\left\{\theta_{k, 1}, \ldots, \theta_{k, K_{k}}\right\}$ $\Theta$ $2^{-k}$ -网。

$n \in \mathbb{N}$ $\left(k, \ell^{\prime}\right),\left(k, \ell^{\prime \prime}\right)$ $a>0$ $b>0$ $\mathbb{R}^{n}$ $\{0,1\}$ $\psi_{n, k, \ell^{\prime}, \ell^{\prime \prime}}$ $\inf \left\{\mathbb{P}_{\theta}\left\{\psi_{n, k, \ell^{\prime}, \ell^{\prime \prime}}\left(X_{1}, \ldots, X_{n}\right)=1\right\}: d_{n}\left(\theta, \theta_{k, \ell^{\prime}}\right) \leqslant a d_{n}\left(\theta_{k, \ell^{\prime}}, \theta_{k, \ell^{\prime \prime}}\right)\right\}$

\geqslant 1-\exp \left(-b C_{n} d_{n}^{2}\left(\theta_{k, \ell^{\prime}}, \theta_{k, \ell^{\prime \prime}}\right)\right)

$\sup \left\{\mathbb{P}_{\theta}\left\{\psi_{n, k, \ell^{\prime}, \ell^{\prime \prime}}\left(X_{1}, \ldots, X_{n}\right)=1\right\}: d_{n}\left(\theta, \theta_{k, \ell^{\prime \prime}}\right) \leqslant a d_{n}\left(\theta_{k, \ell^{\prime}}, \theta_{k, \ell^{\prime \prime}}\right)\right\}$

\leqslant \exp \left(-b C_{n} d_{n}^{2}\left(\theta_{k, \ell^{\prime}}, \theta_{k, \ell^{\prime \prime}}\right)\right)

$k$ $N_{k} \in \mathbb{N}$ $n \geqslant N_{k}$ ，有

d_{n}\left(\theta_{k, \ell^{\prime}}, \theta_{k, \ell^{\prime \prime}}\right) \geqslant \frac{1}{2} d\left(\theta_{k, \ell^{\prime}}, \theta_{k, \ell^{\prime \prime}}\right), \quad 1 \leqslant \ell^{\prime} \neq \ell^{\prime \prime} \leqslant K_{k}

$1 \leqslant \ell^{\prime} \leqslant K_{k}$ ，记

L_{k}\left(\ell^{\prime}\right)=\left\{\ell^{\prime \prime}: d\left(\theta_{k, \ell^{\prime}}, \theta_{k, \ell^{\prime \prime}}\right) \geqslant a^{-1} 2^{-(k-2)}\right\}

设

\chi_{k, n, \ell^{\prime}}=\prod_{\ell^{\prime \prime} \in L_{k}\left(\ell^{\prime}\right)} \psi_{n, k, \ell^{\prime}, \ell^{\prime \prime}}\left(X_{1}, \ldots X_{n}\right)

$L_{k}\left(\ell^{\prime}\right)=\emptyset$ $1$ $n \geqslant N_{k}$ $d_{n}\left(\theta, \theta_{k, \ell^{\prime}}\right)<2^{-(k-1)}$ ，那么

d_{n}\left(\theta, \theta_{k, \ell^{\prime}}\right)<2^{-(k-1)} \leqslant \frac{a}{2} d\left(\theta_{k, \ell^{\prime}}, \theta_{k, \ell^{\prime \prime}}\right) \leqslant a d_{n}\left(\theta_{k, \ell^{\prime}}, \theta_{k, \ell^{\prime \prime}}\right), \quad \ell^{\prime \prime} \in L_{k}\left(\ell^{\prime}\right)

因此有

\begin{aligned} \mathbb{P}_{\theta}\left\{\chi_{k, n, \ell^{\prime}}=1\right\} & \geqslant 1-\sum_{\ell^{\prime \prime} \in L_{k}\left(\ell^{\prime}\right)} \exp \left(-b C_{n} d_{n}^{2}\left(\theta_{k, \ell^{\prime}}, \theta_{k, \ell^{\prime \prime}}\right)\right) \\ & \geqslant 1-\sum_{\ell^{\prime \prime} \in L_{k}\left(\ell^{\prime}\right)} \exp \left(-b C_{n} 2^{-2} d^{2}\left(\theta_{k, \ell^{\prime}}, \theta_{k, \ell^{\prime \prime}}\right)\right) \\ & \geqslant 1-K_{k} \exp \left(-b C_{n} a^{-2} 2^{-2(k-1)}\right) \end{aligned}

$\ell^{\prime \prime} \in L_{k}\left(\ell^{\prime}\right)$ 我们有

\begin{aligned} \mathbb{P}_{\theta}\left\{\chi_{k, n, \ell^{\prime \prime}}=1\right\} & \leqslant \exp \left(-b C_{n} d_{n}^{2}\left(\theta_{k, \ell^{\prime}}, \theta_{k, \ell^{\prime \prime}}\right)\right) \\ & \leqslant \exp \left(-b C_{n} 2^{-2} d^{2}\left(\theta_{k, \ell^{\prime}}, \theta_{k, \ell^{\prime \prime}}\right)\right) \\ & \leqslant \exp \left(-b C_{n} a^{-2} 2^{-2(k-1)}\right) \end{aligned}

$\left\{1 \leqslant \ell \leqslant K_{k}: \chi_{k, n, \ell}=1\right\}$ $\hat{\theta}_{k, n}$ $\theta_{0} \in \Theta$ $\hat{\theta}_{k, n}=\theta_{k, p(k, n)}$ $p(k, n)=\min \left\{1 \leqslant \ell \leqslant K_{k}: \chi_{k, n, \ell}=1\right\}$ $\theta \in \Theta$ $\theta_{k, \ell^{\prime}}$ $d\left(\theta, \theta_{k, \ell^{\prime}}\right)<2^{-k}$ 。由上

\begin{aligned} \mathbb{P}_{\theta}\left\{d\left(\hat{\theta}_{k, n}, \theta\right)\right.&\left.>a^{-1} 2^{-(k-2)}+2^{-k}\right\} \\ & \leqslant \mathbb{P}_{\theta}\left(\left\{\chi_{k, n, \ell^{\prime}}=0\right\} \cup \bigcup_{\ell^{\prime \prime} \in L_{k}\left(\ell^{\prime}\right)}\left\{\chi_{k, n, \ell^{\prime \prime}}=1\right\}\right)+\mathbf{1}\left\{d_{n}\left(\theta, \theta_{k, \ell^{\prime}}\right) \geqslant 2^{-(k-1)}\right\} \\ & \leqslant 2 K_{k} \exp \left(-b C_{n} a^{-2} 2^{-2(k-1)}\right)+\mathbf{1}\left\{d_{n}\left(\theta, \theta_{k, \ell^{\prime}}\right)-d\left(\theta, \theta_{k, \ell^{\prime}}\right)>2^{-(k-1)}-2^{-k}\right\} \end{aligned}

$1=n_{1}<n_{2}<\cdots \in \mathbb{N}$ 为

\begin{aligned} n_{k+1}=\min \left\{n>n_{k}: 2 K_{k+1}\right.& \exp \left(-b C_{n} a^{-2} 2^{-2 k}\right) \leqslant 2^{-(k+1)} \\ &\left.\sup _{\theta^{\prime}, \theta^{\prime \prime}}\left|d_{n}\left(\theta^{\prime}, \theta^{\prime \prime}\right)-d\left(\theta^{\prime}, \theta^{\prime \prime}\right)\right| \leqslant 2^{-k}-2^{-(k+1)}\right\} \end{aligned}

并令

\hat{\theta}_{n}=\hat{\theta}_{k, n}, \quad n_{k} \leqslant n<n_{k+1}

$\eta>0$

\lim _{n} \sup _{\theta \in \Theta} \mathbb{P}_{\theta}\left\{d\left(\hat{\theta}_{n}, \theta\right)>\eta\right\}=0

$\Theta$ $\Theta_{h}$ $\Theta$ $\left\{\hat{\theta}_{n}^{h}\right\}_{n=1}^{\infty}$ $1=m_{1}<m_{2}<\cdots \in \mathbb{N}$ 满足

m_{k+1}=\min \left\{m>m_{k}: \sup _{\theta \in \Theta_{k+2}} \mathbb{P}_{\theta}\left\{d\left(\hat{\theta}_{p}^{k+2}, \theta\right)>2^{-(k+1)}\right\}<2^{-(k+1)}, \forall p \geqslant m\right\}

并令

\hat{\theta}_{n}=\hat{\theta}_{m}^{k+1}, \quad m_{k} \leqslant m<m_{k+1}

$\theta \in \Theta$ $\left\{\hat{\theta}_{n}\right\}_{n=1}^{\infty}$ $\mathbb{P}_{\theta}$ $d$ $\theta$ 。

推论2.17. $C_{n}=n$ $\Theta_{1} \subseteq \Theta_{2} \subseteq \cdots \subseteq \Theta$ $\Theta=\bigcup_{h} \Theta_{h}$ $d_{n}$ $\Theta_{h} \times \Theta_{h}$ $\Theta$ $d$ $\mu$ $\sup _{i}\left\|\kappa_{i}\right\|_{*}<\infty$ $d$ -topology中是一致可估的。

证明 $d_{n}$ $\Theta_{h}$ $d$ 。观察到

d_{n}\left(x^{\prime}, x^{\prime \prime}\right) \leqslant \sup \left\{\delta(0, t):|t| \leqslant \sup _{i}\left\|\kappa_{i}\right\|_{*}\left\|x^{\prime}-x^{\prime \prime}\right\|\right\}

且注意到

\left|d_{n}\left(y^{\prime}, y^{\prime \prime}\right)-d_{n}\left(z^{\prime}, z^{\prime \prime}\right)\right|=\left|d_{n}\left(0, y^{\prime}-y^{\prime \prime}\right)-d_{n}\left(0, z^{\prime}-z^{\prime \prime}\right)\right| \leqslant d_{n}\left(y^{\prime}-y^{\prime \prime}, z^{\prime}-z^{\prime \prime}\right)

$\mu$ 是绝对连续的，

\lim _{t \rightarrow 0} \delta(0, t)=0

$\left\{d_{n}\right\}_{n=1}^{\infty}$ $\Theta_{h} \times \Theta_{h}$ 中是等度连续的，则由紧性和逐点收敛知这是一致收敛的（见下补充证明）。

$\Theta_{h}$ $d_n$ $\Theta_{h}$ $d$ $d$ 可以被范数控制）

补充证明. $\{f_n\}$ $K$ 上等度连续、逐点收敛，则一致收敛。

证明. $\epsilon > 0$ $n_0=n_0(\epsilon)$ $n\geq n_0$ $x\in K$ 有

\left|f_{n}(x)-f(x)\right|<\varepsilon

$\left\{f_{n}\right\}$ $\forall n\in\mathbb N$ $\delta>0$ $d(x, y)<\delta$ 时有

\left|f_{n}(x)-f_{n}(y)\right|<\frac{\varepsilon}{3}

$n \rightarrow \infty$ ，有

|f(x)-f(y)| \leq \frac{\varepsilon}{3}

$K$ $k \in \mathbb{N}$ $z_{1}, \ldots, z_{k} \in K$ 满足

K \subset B\left(z_{1}, \delta\right) \cup \cdots \cup B\left(z_{k}, \delta\right)

$f_{n}\left(z_{j}\right) \rightarrow f\left(z_{j}\right)$ $j=1, \ldots, k$ $n_{0}$ $n \geq n_{0}$ 有

\left|f_{n}\left(z_{j}\right)-f\left(z_{j}\right)\right|<\frac{\varepsilon}{3},\ j=1, \ldots, k

$x \in K$ $j \in\{1, \ldots, k\}$ $x \in B\left(z_{j}, \delta\right)$ $n \geq n_{0}$ 有

\begin{array}{c} \left|f_{n}(x)-f(x)\right| \leq\left|f_{n}(x)-f_{n}\left(z_{j}\right)\right|+\left|f_{n}\left(z_{j}\right)-f\left(z_{j}\right)\right|+\left|f\left(z_{j}\right)-f(x)\right|<\frac{\varepsilon}{3}+\frac{\varepsilon}{3}+\frac{\varepsilon}{3}=\varepsilon \end{array}

例子2.18. $\mathcal{T}=C([0,1])$ $[0,1]$ $0<\alpha \leqslant 1$ $\Theta$ $\alpha$ $\Theta$ $x \in C([0,1])$ 满足

\sup \left\{|x(s)-x(t)| /|s-t|^{\alpha}, 0 \leqslant s \neq t \leqslant 1\right\}<\infty

$\Theta$ $\mu$ $C_{n}=n$ $\zeta$ $\kappa_{i}$ $i\zeta$ $\left\langle\kappa_{i}, x\right\rangle=x(\mathrm{i} \zeta-\lfloor\mathrm{i} \zeta\rfloor)$ $x^{\prime}, x^{\prime \prime} \in C([0,1])$ ，有

\lim _{n} d_{n}\left(x^{\prime}, x^{\prime \prime}\right)=\left\{\int_{0}^{1} \delta^{2}\left(x^{\prime}(t), x^{\prime \prime}(t)\right) \mathrm{d} t\right\}^{\frac{1}{2}}=d\left(x^{\prime}, x^{\prime \prime}\right)

$d$ -拓扑中是一致可估计的。

补充说明 令

H=\left\{x \in C[0,1]: \forall s, t \in[0,1]:|x(s)-x(t)| \leq b|s-t|^{\alpha}\right\}

$C[0,1]$ $[0,1]$ $x(0)=0$ $\alpha \in(0,1 / 2)$ $\left(x_{n}\right) \in H$ $\delta<\left(\frac{\varepsilon}{b}\right)^{1 / \alpha}$ $\left\{x_{n}\right\}$ $|x(t)| \leq b t^{\alpha}$ $x_{n}$ $x_{0}$ $s, t \in[0,1]$ 我们有

\begin{aligned} \left|x_{0}(s)-x_{0}(t)\right| & \leq\left|x_{0}(s)-x_{n}(s)\right|+\left|x_{0}(t)-x_{n}(t)\right|+\left|x_{n}(s)-x_{n}(t)\right| \\ & \leq\left|x_{0}(s)-x_{n}(s)\right|+\left|x_{0}(t)-x_{n}(t)\right|+b|s-t|^{\alpha} \\ & \rightarrow b|s-t|^{\alpha} \end{aligned}

$x_0\in H$ $H$ $C[0,1]$ $\sup\{...\}<\infty$ $\left.\bigcup_{n=1}^{\infty}\{\mid x(s)-x(t)\left|\leq n\right| s-\left.t\right|^{\alpha}\right\}$ $n$ 对应的集合是紧的，所以这个集合是可列个紧集的并。

3 统计决策理论

3.1 决策理论框架

$\theta \in \Theta$ $\theta$ $X$ $\mathbb{P}_{\theta}$ $\delta$ $X$ $\theta$ $\delta(X)$ $\theta$ $\ell(\theta, \delta)$ $\mathcal{X}$ $\mathcal{P}=\left\{\mathbb{P}_{\theta}: \theta \in \Theta\right\}$ $\Theta$ $\mathcal{T}$ $\mathcal{P}$ $\mathcal{D}$ $\mathcal{X}$ $\mathcal{A}$ $\mathcal{D}$ $\ell: \Theta \times \mathcal{A} \rightarrow \mathbb{R}^{+}$ $\ell(\theta, a)$ $\theta$ $a$ 。

$X \sim \mathbb{P}_{\theta}$ $\delta \in \mathcal{D}$ $\theta \in \Theta$ $\delta \in \mathcal{D}$ 的风险：

r(\theta, \delta) \equiv \mathbb{E}_{\theta}\left[\int_{\mathcal{A}} \ell(\theta, a) \delta(X)(\mathrm{d} a)\right]

$\delta$ $\delta$ $\mathcal{A}$ $\mathcal{A}$ 上概率测度构成的集合

r(\theta, \delta) \equiv \mathbb{E}_{\theta}[\ell(\theta, \delta(X))]

$\delta \in \mathcal{D}$ $r(\theta, \delta)$ 尽可能小。

两个常用的选择最佳决策规则策略为

极小化极大准则 $\delta \in \mathcal{D}$ $\theta$ 最大风险最小。

定义3.1. $\delta \in \mathcal{D}$ $\Theta$ 上的最大风险为

\rho(\delta) \equiv \sup _{\theta \in \Theta} r(\theta, \delta)

则称极小化极大风险为

\rho^{*}=\rho^{*}(\mathcal{D})=\inf _{\delta \in \mathcal{D}} \rho(\delta)

$\delta^{*} \in \mathcal{D}$ $\rho\left(\delta^{*}\right)=\rho^{*}$ $\delta^{*}$ 为极小化极大决策规则。

贝叶斯准则 $\pi$ $\Theta$ $\theta$ ，极小化带权重的风险。

定义 3.2. $\pi$ $\Theta$ $\pi$ $\delta$ 的后验风险为

\rho_{\pi}(\delta)=\int_{\mathcal{T}} r(\theta, \delta) \pi(\mathrm{d} \theta)

则称最小后验风险为贝叶斯风险

\rho_{\pi}^{*}=\inf _{\delta \in \mathcal{D}} \rho_{\pi}(\delta)

$\left.\rho_{\pi}\left(\delta^{*}\right)=\rho_{\pi}^{*}\right)$ $\pi$ 的贝叶斯决策。

$\theta \in \Theta$ 表现更好。

定义3.3. $\delta$ $\ell$ $\delta^{\prime}$ 满足

r\left(\theta, \delta^{\prime}\right) \leqslant r(\theta, \delta), \quad \forall \theta \in \Theta

$\theta \in \Theta$ $r\left(\theta, \delta^{\prime}\right)<r(\theta, \delta)$ $\theta \in \Theta$ $\delta^{\prime}$ $\delta$ $\delta$ 不是可容许的则称其为不可容许的（inadmissible）。

例子3.4. $m$ $g$ $g=\Lambda \cdot \kappa$ $\Lambda$ $m \times n$ $\Lambda \cdot X$ $g$ $m \geqslant 3$ $\Sigma$ $\Lambda \cdot X$ 对于MSE是不容许的。

$m<3$ $\mathbb{R}^{m}$ 中increasingly 'flat'的贝叶斯估计量的极限。

定义3.5. $\mathcal{X}$ $T$ $\mathcal{P}$ $T(X)$ $\mathbb{P}_{\theta}$ $X$ $\theta \in \Theta$ $X$ $\mathcal{P}$ 的充分统计量，这是平凡正确的。

对于凸损失函数，以下结果表明，充分统计量作为估计量，没有任何信息损失。

定理3.6. $X$ $\mathbb{P}_{\theta} \in \mathcal{P}=\left\{\mathbb{P}_{\theta^{\prime}}: \theta^{\prime} \in \Theta\right\}$ $T$ $\mathcal{P}$ $\hat{g}$ $g(\theta)$ $\ell(\theta, a)$ $a$ $\hat{g}(X)$ $\mathbb{P}_{\theta}$ 可积，

r(\theta, \delta)=\mathbb{E}_{\theta}[\ell(\theta, \hat{g}(X)]<\infty

且

\bar{g}(X)=\mathbb{E}_{\theta}[\hat{g}(X) \mid T(X)]

$T(X)$ $\theta$ $\theta$ ）。那么

r(\theta, \bar{g})<r(\theta, \hat{g})

$\hat{g}(X)=\bar{g}(X)$ $\mathbb{P}_{\theta}$ $\theta \in \Theta$ 。

3.2. 决策估计

$g(\theta)$ $g: \Theta \rightarrow \mathcal{G}$ $\mathcal{G}$ $\|\cdot\|$ $\mathcal{A}$ $\mathcal{G}$ $\delta$ $\mathcal{D}$ $\mathcal{X}$ $\mathcal{G}$ $\mathbb{P}$ $\ell(\theta, a)$ $\|g(\theta)-a\|$ $r(\theta, \delta)$ $\mathcal{G}$ $\ell(\theta, a)=1_{g(\theta) \notin B_{c}(a)}$ $B_{c}(a)=\{\eta \in \mathcal{G}:\|\eta-a\| \leqslant c\}$ $\mathcal{G}$ $\|a-g(\theta)\|^{2}$ $\mathcal{G}=\mathbb{R}$ $\ell(\theta, a)=|g(\theta)-a|^{p}$ $\ell(\theta, a)=1_{|g(\theta)-a|>c}$ 。