Lecture 5

Monotone Circuits for the Majority Function

定理：存在大小为 $poly(n)$ ，深度为 $O(\log n)$ 的单调多数决电路。

多数决： $n$ 为奇数， $Maj(x_1,x_2,\ldots,x_n)=1$ 当且仅当其中 $1$ 的个数超过一半。

单调电路：只由单调门构成：and或者or。

为什么研究单调电路？

核心动机：广义电路下界证明（即证明不存在小的普通电路能计算某函数）非常困难。而证明“不存在小的单调电路”相对简单，这是计算复杂性科学中对这一艰深问题的一种弱化尝试。

证明核心思路：概率方法与Union Bound

如果我们无法直接画出这个电路，我们可以通过证明 “随机生成一个电路，它完全算对的概率大于 0”，来间接证明这种完美电路客观存在。

想证明：

$$ \Pr[\forall \mathbf{x}, f(\mathbf{x}) = Maj(\mathbf{x})] > 0 $$

这也等价于证明它在 $2^n$ 个所有可能的输入组合 $\mathbf{x} = x_1, x_2, \ldots, x_n$ 中，哪怕在仅仅一个输入上出错的综合概率也要严格小于 1：

$$ \Pr[\exists \mathbf{x}, f(\mathbf{x}) \neq Maj(\mathbf{x})] < 1 $$

充分条件（Union Bound）：

只看某任意一个特定的输入组合 $\mathbf{x}$ ，只要我们能把这个随机电路 $f$ 算错它的概率压低到严格小于 $\frac{1}{2^n}$ ：

$$ \forall \mathbf{x}, \Pr[f(\mathbf{x}) \neq Maj(\mathbf{x})] < \frac{1}{2^n} $$

那么，根据联合界的所有犯错可能累加：总犯错概率 $< 2^n \times \frac{1}{2^n} = 1$ 。

算错的概率小于 1，说明全算对的概率大于 0，完美单调多数决电路必然存在！

如何随机构造这个电路

基础元件：借用3个变量的多数决小电路 $Maj_3(x_1, x_2, x_3)$。因为 $Maj_3$ 可以简单表示为 $(x_1 \land x_2) \lor (x_2 \land x_3) \lor (x_1 \land x_3)$，它天然只包含 $\land (\text{AND})$ 和 $\lor (\text{OR})$，是个纯正的单调门。
随机连线网络：构建一棵深度为 $D$ 的树形网络。
- 在第一层（Level 1），每一颗 $Maj_3$ 都在原始的 $n$ 个输入里，独立、随机地任意抽取 3 个比特（允许重复）作为自己的输入。
- 后续每一层，也都独立、随机地从下一层的所有输出中抽取 3 根线接入。

信号发酵放大推导

设 $p_t$ = 在第 $t$ 层，如果我们随机拿住一根输出线，它的信号恰好是 1 的概率。

由于每个 $Maj_3$ 在 $t$ 层随机抓取了 3 根线，它在 $t+1$ 层输出 1（即至少抓到两个 1）的概率可以用概率递推表示为：

$$ p_{t+1} = g(p_t) =3p_t^2(1 - p_t) + p_t^3 $$

这在数学上是一个S型放大曲线：

当底层 $p_t > 0.5$ （微弱多数为1）时，因为处于 $y=x$ 对角线上方，输出概率会被放大（ $p_{t+1} > p_t$ ），迅速极化逼近 $1$ 。
当底层 $p_t < 0.5$ （微弱少数为1）时，同理它在曲线下方，输出概率会迅速衰减逼近 $0$ 。

结论引理

我们从最底层（Level 0）看真实多数决输入情况，如果真实多数是 1，那么最原始去抓线的概率 $p_0 \ge 0.5 + \frac{1}{2n}$ ，这个微弱大于 0.5 的优势是种子。

引理：为了让顶层正确率极高（达到 $1 - \frac{1}{2^{n+1}}$），我们需要证明 $D = O(\log n)$ 层的放大就足够了。证明过程物理上分为两个阶段：

第一阶段：从微弱优势 $\frac{1}{2}+\frac{1}{2n}$ 爬坡到显著优势 $\frac{3}{4}$

这一阶段概率 $p_t$ 还在 0.5 附近徘徊。此时公式特性体现为 “距离放大的指数级发散”。
经过数学恒等变换可证，概率偏离中间值 $\frac{1}{2}$ 的差值在每一层都会放大： $\left(p_{t+1} - \frac{1}{2}\right) \ge \frac{11}{8} \left(p_t - \frac{1}{2}\right)$ 。
因为每次放大约 1.375 倍（即 $\frac{11}{8}$ ），初始差值是 $\frac{1}{2n}$ ，要让这个差值放大到 $\frac{1}{4}$（即到达 $\frac{3}{4}$ 的阈值），根据等比数列，只需要迭代 $\log_{\frac{11}{8}}(\frac{n}{2}) = O(\log n)$ 步即可达到。

第二阶段：从显著优势 $\frac{3}{4}$ 狂飙到极度逼近 $1$

一旦 $p_t$ 跨过 $\frac{3}{4}$ 大关，放大特征就从指数发散变成了更可怕的 “二次收敛”。
关注错误率：设出错概率为 $1-p_t$。数学推导得知：第二阶段每上升一层，错误率满足 $(1 - p_{t+1}) \le 3(1 - p_t)^2$ 。这说明每一层的错误率是前一层的平方级别。就像 $0.1 \to 0.01 \to 0.0001 \to 0.00000001$ ，错误率在极速坍缩。
设到达 $\frac{3}{4}$ 的那一层为 $t_0$ 。继续迭代，错误率形如 $\le (3/4)^{2^{\Delta t}}$ 甚至极速衰落。为了让错误率被压缩到 $\frac{1}{2^{n+1}}$ ，要求指数上的二次方级别赶上 $n$ 级别，这只需要 $2^{\Delta t} \approx n+1 \Rightarrow \Delta t = O(\log n)$ 步。

总结：第一阶段爬坡走 $O(\log n)$ 步，第二阶段狂飙也只需要走 $O(\log n)$ 步。这也就是为什么整个树深度总共只需 $D = O(\log n)$ 次迭代即可，从而达成引理：

$$ Maj(\mathbf{x}) = 1 \Rightarrow p_t > 1 - \frac{1}{2^{n+1}} $$

$$ Maj(\mathbf{x}) = 0 \Rightarrow p_t < \frac{1}{2^{n+1}} $$

此时，这个 $O(\log n)$ 深度的网络针对单一输入算错的概率已经被放大/压缩到了 $< \frac{1}{2^{n+1}}$ ，且 $\frac{1}{2^{n+1}} < \frac{1}{2^n}$ 。

这完美满足了我们在第 2 步设定的 Union Bound 充分条件！至此，我们利用极化随机电路网络，证明了多项式体积、对数深度的完美元件一定存在！

随机电路大小分析

电路的“大小”是指它包含的基础逻辑门（AND、OR）的总数。

我们构造的这个随机电路是一棵完全的 3 叉树：

节点结构：由于 $Maj_3$ 有 3 个输入，所以这就对应一棵每个非叶节点有 3 个子节点的树。每个 $Maj_3$ 本身只需要几个简单的 AND 和 OR 门（门数是常数 $O(1)$ ）。
树的深度：我们在第 5 步已经得出，树的高度（层数） $D = c \log_2 n$ 。
计算总数：一棵深度为 $D$ 的满 3 叉树，它的节点总数为等比数列求和：

$$ 1 + 3 + 3^2 + \dots + 3^D = \frac{3^{D+1} - 1}{2} = O(3^D) $$

代入化简极限值：把深度 $D = c \log_2 n$ 代入，我们可以变形：

$$ 3^{c \log_2 n} = (2^{\log_2 3})^{c \log_2 n} = (2^{\log_2 n})^{c \log_2 3} = n^{c \log_2 3} $$

结论：由于 $c$ 是在引理中固定下来的常数， $\log_2 3$ 也是常数。所以最终电路门的数量是关于输入规模 $n$ 的某一个固定的幂次方。也就是 $\mathbf{O(n^k)}$ （其中 $k = c\log_2 3$ ）。

只要是 $n$ 的常数次幂形式，大小就是多项式级别 (polynomial in $n$，即 $poly(n)$) 啦。

4-Cliques/Triangles

应用了一阶矩与二阶矩方法，分别借助马尔科夫不等式和切比雪夫不等式，证明随机图中子图结构存在的相变阈值 (Threshold)。

题目 1：求包含三角形 (Triangle) 的阈值

问题：在一个由 $n$ 个点构成的随机图 $G_{n,p}$ 中，每条边存在的概率为 $p$。求该图包含至少一个三角形的阈值 $p(n)$ 。

解答：设 $X = \sum I_i$ 为图中三角形的个数。选择 3 个顶点有 $\binom{n}{3} \approx n^3$ 种方法，这 3 个点连成三角形需要 3 条边，概率为 $p^3$ 。

寻找阈值：预期三角形个数 $\mathbb{E}[X] \approx n^3 p^3$ 。令期望等于常数，则临界点为 $p(n) = 1/n$。
小于阈值 ($p \ll 1/n$)：此时 $\mathbb{E}[X] \to 0$ 。根据一阶矩方法（马尔可夫不等式）：

$\Pr[X \ge 1] \le \mathbb{E}[X] \to 0$。故几乎不包含三角形。
大于阈值 ($p \gg 1/n$)：此时 $\Pr[X = 0] \le \Pr[|X - \mathbb{E}[X]| \ge \mathbb{E}[X]] \le \frac{\text{Var}[X]}{\mathbb{E}[X]^2}$ 。

由于

$$\begin{aligned} \text{Var}[X] &= \sum_C \text{Var}[X_C] + \sum_{C, D} \text{Cov}[X_C, X_D] \\ &\le \Theta(n^3 p^3) + \binom{n}{4}\binom{4}{2}p^5 \\ &= \Theta(n^3 p^3) + \Theta(n^4 p^5) \end{aligned}$$

在这里：

第一项 $\sum_C \text{Var}[X_C]$ 指的是所有单个三角形的方差，由于有 $\binom{n}{3}$ 种可能的三角形，概率为 $p^3$，所以量级是 $\Theta(n^3 p^3)$ 。
第二项 $\sum_{C, D} \text{Cov}[X_C, X_D]$ 指的是不同三角形之间的协方差。只有当两个三角形共用边（即重叠 2 个点）时，它们才不独立，协方差才大于 0。重叠两点时，两个三角形共涉及 $4$ 个顶点，其中公共边有 $\binom{4}{2}$ 种取法。且两个三角形共涉及 $5$ 条边（原本应是 $3+3=6$ 条，但减去公共的 $1$ 条边为 $5$ 条边），对应概率为 $p^5$ 。

从而 $\frac{\text{Var}[X]}{\mathbb{E}[X]^2} = \Theta(n^{-3}p^{-3}) + \Theta(n^{-2}p^{-1}) \to 0$ 。

因此 $\Pr[X = 0] \to 0$ ，即极大可能包含三角形。

题目 2：求包含 4-Clique（大小为4的完全图）的阈值

问题：同上条件，求图包含至少一个 4-Clique 的极大似然阈值 $p(n)$ 。

解答：设 $X$ 为 4-Clique 的个数。挑 4 个人有 $\binom{n}{4}$ 种，组成完全图需要 $\binom{4}{2} = 6$ 条边，同时存在的概率为 $p^6$ 。

寻找阈值：期望 $\mathbb{E}[X] = \binom{n}{4} p^6 = \Theta(n^4 p^6)$ 。令其等于常数（脱离0，引发相变），解得 $p(n) = n^{-2/3}$ 。
小于阈值 ($p \ll n^{-2/3}$)：由于 $\mathbb{E}[X] \to 0$ ，因此 $\Pr[X \ge 1] \le \mathbb{E}[X] \to 0$ 。故几乎不包含 4-Clique。
大于阈值 ($p \gg n^{-2/3}$)：此时 $\Pr[X = 0] \le \Pr[|X - \mathbb{E}[X]| \ge \mathbb{E}[X]] \le \frac{\text{Var}[X]}{\mathbb{E}[X]^2}$ 。

由于

$$\begin{aligned} \text{Var}[X] &= \sum_C \text{Var}[X_C] + \sum_{C, D} \text{Cov}[X_C, X_D] \\ &\le \Theta(n^4 p^6) + \binom{n}{6}\binom{6}{2}p^{11} + \binom{n}{5}\binom{5}{3}p^9 \\ &= \Theta(n^4 p^6) + \Theta(n^6 p^{11}) + \Theta(n^5 p^9) \end{aligned}$$

在这里：

第一项 $\sum_C \text{Var}[X_C]$ 是单个 4-Clique 的方差的总和。4-Clique 的数量是 $\binom{n}{4}$ ，包含 6 条边，对应概率是 $p^6$ ，因此量级为 $\Theta(n^4 p^6)$ 。
第二协方差项中，只有当两个 4-Clique 至少重叠一条边时才不为 0（仅重叠一个点，由于边之间独立，协方差仍为 0）。两个 4-Clique 发生重叠有两种情况：
- 重叠 2 个点（共用 1 条边）：此时共涉及 6 个顶点（共有 $\binom{n}{6}$ 取法），在其中选 2 点作为公共部分（$\binom{6}{2}$ 种选法）。总边数为 $6+6-1=11$ 条边，发生概率为 $p^{11}$ 。
- 重叠 3 个点（共用 3 条边即一个三角形）：此时共涉及 5 个顶点（ $\binom{n}{5}$ ），从中选 3 点作为公共三角形（ $\binom{5}{3}$ 种选法）。总边数为 $6+6-3=9$ 条边，发生概率为 $p^9$ 。

从而 $\frac{\text{Var}[X]}{\mathbb{E}[X]^2} = \Theta(n^{-4}p^{-6}) + \Theta(n^{-2}p^{-1}) + \Theta(n^{-3}p^{-3}) \to 0$ 。

因此 $\Pr[X = 0] \to 0$ ，即极大可能包含 4-Clique。