欢迎光临散文网 会员登陆 & 注册

随机秩揭方法的理论分析(一)

2023-04-18 23:17 作者:安汉少侠  | 我要投稿

本文是对 Joel A. Tropp 教授所写的 Randomized Numerical Linear Algebra: Foundations & Algorithms 中第 11 章 the randomized rangefinder 的阅读笔记.  这一章给出了随机秩揭方法的理论分析,其中的部分结论十分有趣且富有启发性,故作此笔记. 

首先给出秩揭问题的定义. 设 %5Cmathbf%7BB%7D%5Cin%20%5Cmathbb%7BF%7D%5E%7Bm%5Ctimes%20n%7D 是输入矩阵,l%5Cle%20%5Cmin%5Cleft%5C%7B%20m%2Cn%20%5Cright%5C%7D是子空间维数. 找出一个列正交阵 %5Cmathbf%7BQ%7D%5Cin%20%5Cmathbb%7BF%7D%5E%7Bm%5Ctimes%20l%7D,使得 %5Cmathbf%7BQ%7D 恰好对应于 %5Cmathbf%7BB%7D 的前 l 个左奇异向量. 对于我们求出的 %5Cmathbf%7BQ%7D,用 %5C%7C%20%5Cmathbf%7BB%7D%20-%20%20%5Cmathbf%20%7BQ%7D%5Cmathbf%7BQ%7D%5E%7B*%7D%20%5Cmathbf%7BB%7D%20%20%5C%7C%20%3D%20%5C%7C%20(%5Cmathbf%7BI%7D%20-%20%20%5Cmathbf%20%7BQ%7D%5Cmathbf%7BQ%7D%5E%7B*%7D)%5Cmathbf%7BB%7D%20%20%5C%7C 来度量结果的准确度,这里所用的范数为谱范数(也就是 2-范数).  由 Eckhart-Young 定理,不难得到该最小值应为 %5Csigma_%7Bl%2B1%7D

解决这个问题的一种方法是用测试矩阵 %5Cmathbf%7B%5COmega%7D%5Cin%5Cmathbb%7BF%7D%5E%7Bn%5Ctimes%20l%7D 右乘 %5Cmathbf%7BB%7D,得到 %5Cmathbf%7BY%7D%20%3D%20%20%5Cmathbf%7BB%7D%5Cmathbf%20%7B%5COmega%7D,对 %5Cmathbf%20%7BY%7D 做 QR 分解得到 %5Cmathbf%20%7BY%7D 的正交基 %5Cmathbf%20%7BQ%7D,将 %5Cmathbf%20%7BQ%7D 作为我们要求的正交阵. 接下来我们将探究该方法在理论上的可靠性. 

首先引入一些记号. 设 %5Cmathbf%7BX%7D 表示测试矩阵,即 %5Cmathbf%7BY%7D%20%3D%20%5Cmathbf%7BB%7D%5Cmathbf%7BX%7D. 设 %5Cmathbf%7BP%7D_%5Cmathbf%7BY%7D 表示到 %5Cmathbf%7BY%7D 张成的子空间上的正交投影,即 %5Cmathbf%7BP%7D_%7B%5Cmathbf%20%7BY%7D%7D%20%3D%20%5Cmathbf%20%7BQ%7D%5Cmathbf%20%7BQ%7D%5E%7B*%7D. 用 %5Cmathbf%20%7BA%7D%2F%5Cmathbf%20%7BX%7D 表示对称(半)正定阵 %5Cmathbf%20%7BA%7D 关于 %5Cmathbf%7BX%7D 的 Schur 补,即

%5Cbegin%7Balign%7D%0A%5Cmathbf%20%7BA%7D%2F%5Cmathbf%20%7BX%7D%20%3D%20%5Cmathbf%20%7BA%7D%20-%20(%5Cmathbf%20%7BA%7D%5Cmathbf%20%7BX%7D)(%5Cmathbf%20%7BX%7D%5E%7B*%7D%5Cmathbf%20%7BA%7D%5Cmathbf%20%7BX%7D)%5E%7B%5Cdagger%7D(%5Cmathbf%20%7BA%7D%5Cmathbf%20%7BX%7D)%5E%7B*%7D.%0A%5Cend%7Balign%7D

%5Cdagger 表示广义逆. 定义 %5Cmathbf%7BE%7D%20%3A%3D%20%5Cmathbf%7BE%7D(%5Cmathbf%7BB%7D%2C%20%5Cmathbf%7BX%7D)%20%3A%3D%20(%5Cmathbf%7BI%7D%20-%20%5Cmathbf%7BP%7D_%7B%5Cmathbf%7BY%7D%7D)%5Cmathbf%7BB%7D%20

据上述定义,有如下关系成立

%7C%5Cmathbf%7BE%7D%7C%5E2%20%5Ccolon%3D%20%5Cmathbf%7BE%7D%5E%7B*%7D%5Cmathbf%7BE%7D%20%3D%20(%5Cmathbf%7BB%7D%5E%7B*%7D%5Cmathbf%7BB%7D)%2F%5Cmathbf%7BX%7D.

证明  注意到 %5Cmathbf%7BP%7D_%7B%5Cmathbf%7BY%7D%7D%20%3D%20(%5Cmathbf%7BB%7D%5Cmathbf%7BX%7D)((%5Cmathbf%7BB%7D%5Cmathbf%7BX%7D)%5E%7B*%7D%20%5Cmathbf%7BB%7D%5Cmathbf%7BX%7D%20)%5E%7B%5Cdagger%7D%20(%5Cmathbf%7BB%7D%5Cmathbf%7BX%7D)%5E%7B*%7D. 将 %5Cmathbf%7BB%7D%5E%7B*%7D%5Cmathbf%7BB%7D 记为 %5Cmathbf%7BA%7D,则

%5Cmathbf%7BE%7D%5E%7B*%7D%5Cmathbf%7BE%7D%20%3D%20%5Cmathbf%7BB%7D%5E%7B*%7D(%5Cmathbf%7BI%7D%20-%20%5Cmathbf%7BP%7D_%7B%5Cmathbf%7BY%7D%7D%0A%20)%5Cmathbf%7BB%7D%20%3D%20%5Cmathbf%20%7BA%7D%20-%20(%5Cmathbf%20%7BA%7D%5Cmathbf%20%7BX%7D)(%5Cmathbf%20%7BX%7D%5E%7B*%7D%5Cmathbf%20%7BA%7D%5Cmathbf%20%7BX%7D)%5E%7B%5Cdagger%7D(%5Cmathbf%20%7BA%7D%5Cmathbf%20%7BX%7D)%5E%7B*%7D..

由定义可知结论成立.

接着,我们给出一个引理. 首先仍要定义一些记号. 设 %5Cmathcal%7BH%7D 是有限维欧式空间,M 是 %5Cmathcal%7BH%7D 的一个子空间且 %5Cmathcal%7BH%7D%20%3D%20M%20%2B%20M%5E%7B%5Cbot%7D. 则半正定阵 %5Cmathbf%7BA%7D 可表示为

%5Cmathbf%7BA%7D%20%3D%20%0A%5Cbegin%7Bbmatrix%7D%0A%5Cmathbf%7BA%7D_%7B11%7D%20%26%20%5Cmathbf%7BA%7D_%7B12%7D%20%5C%5C%0A%5Cmathbf%7BA%7D_%7B21%7D%20%26%20%5Cmathbf%7BA%7D_%7B22%7D%0A%5Cend%7Bbmatrix%7D,

其中 %5Cmathbf%7BA%7D_%7B11%7D 和 %5Cmathbf%7BA%7D_%7B22%7D 分别是 %5Cmathcal%7BM%7D 和 %5Cmathcal%7BM%7D%5E%7B%5Cbot%7D 上的线性算子,%5Cmathbf%7BA%7D_%7B21%7D 和 %5Cmathbf%7BA%7D_%7B12%7D 分别是从 %5Cmathcal%7BM%7D 到 %5Cmathcal%7BM%7D%5E%7B%5Cbot%7D 和从 %5Cmathcal%7BM%7D%5E%7B%5Cbot%7D 到 %5Cmathcal%7BM%7D 的线性算子. 定义 

%5BM%5D%5Cmathbf%7BA%7D%20%3D%20%5Cmathbf%7BA%7D_%7B11%7D%20-%20%5Cmathbf%7BA%7D_%7B12%7D%5Cmathbf%7BA%7D_%7B22%7D%5E%7B%5Cdagger%7D%5Cmathbf%7BA%7D_%7B21%7D.

用 %5Cleft%20%5Clangle%5Ccdot%2C%5Ccdot%20%20%5Cright%20%5Crangle 表示两向量的标准内积,用 %5Cleft%20%5Clangle%20%5Ccdot%2C%5Ccdot%20%20%5Cright%20%5Crangle_%7B%5Cmathbf%7BA%7D%7D%20 表示由 %7B%5Cmathbf%7BA%7D%7D%20 定义的准内积 (因为 %7B%5Cmathbf%7BA%7D%7D%20 不一定正定,因此只能要求是准内积). 则有

引理1  对任意半正定阵 %5Cmathbf%7BA%7D 和子空间 %5Cmathcal%7BM%7D%5Csubset%20%5Cmathcal%7BH%7D

%5Cleft%20%5Clangle%20(%5B%5Cmathcal%7BM%7D%5D%5Cmathbf%7BA%7D)x%20%2Cx%20%5Cright%20%5Crangle%20%3D%20%5Cinf%5Cleft%20%5C%7B%20%5Cleft%20%5C%7C%20x%20-%20y%20%20%5Cright%20%5C%7C_%7B%5Cmathbf%7BA%7D%20%7D%5C%20%5Ccolon%5C%20y%5Cin%20%5Cmathcal%7BM%7D%5E%7B%5Cbot%7D%20%20%20%5Cright%20%5C%7D%20.

下面给出一个重要推论. 

推论1 设 %20%5Cmathbf%7BB%7D%5E%7B*%7D%5Cmathbf%7BB%7D%20%5Cle%20%5Cmathbf%7BC%7D%5E%7B*%7D%5Cmathbf%7BC%7D%20,这里 %5Cle 表示 %5Cmathbf%7BC%7D%5E%7B*%7D%5Cmathbf%7BC%7D%20-%20%5Cmathbf%7BB%7D%5E%7B*%7D%5Cmathbf%7BB%7D 半正定. 则对任一测试矩阵 %5Cmathbf%7BX%7D,有

%7C%5Cmathbf%7BE%7D(%5Cmathbf%7BB%7D%2C%20%5Cmathbf%7BX%7D)%7C%5E%7B2%7D%20%3D%20(%5Cmathbf%7BB%7D%5E%7B*%7D%5Cmathbf%7BB%7D)%2F%5Cmathbf%7BX%7D%20%5Cle%20(%5Cmathbf%7BC%7D%5E%7B*%7D%5Cmathbf%7BC%7D)%2F%5Cmathbf%7BX%7D%20%3D%20%7C%5Cmathbf%7BE%7D(%5Cmathbf%7BC%7D%2C%20%5Cmathbf%7BX%7D)%7C%5E2.

证明   %5Cmathbf%7BS%7D%20%3D%20%5Cmathbf%7BB%7D%5E%7B*%7D%5Cmathbf%7BB%7D 及 %5Cmathbf%7BT%7D%20%3D%20%5Cmathbf%7BC%7D%5E%7B*%7D%5Cmathbf%7BC%7D. 则 %5Cmathbf%7BS%7D%20 和 %5Cmathbf%7BT%7D%20 半正定. 构造 

%5Ctilde%7B%5Cmathbf%7BT%7D%7D%20%3D%20%20%5Cbegin%7Bbmatrix%7D%0A%5Cmathbf%7BT%7D%20%26%20%5Cmathbf%7BT%7D%5Cmathbf%7BX%7D%20%20%20%5C%5C%0A(%5Cmathbf%7BT%7D%5Cmathbf%7BX%7D)%5E%7B*%7D%20%26%20%5Cmathbf%7BX%7D%5E%7B*%7D%5Cmathbf%7BT%7D%5Cmathbf%7BX%7D%20%20%0A%5Cend%7Bbmatrix%7D 及 %5Ctilde%7B%5Cmathbf%7BS%7D%7D%20%3D%20%5Cbegin%7Bbmatrix%7D%0A%5Cmathbf%7BS%7D%20%26%20%5Cmathbf%7BS%7D%5Cmathbf%7BX%7D%20%20%20%5C%5C%0A(%5Cmathbf%7BS%7D%5Cmathbf%7BX%7D)%5E%7B*%7D%20%26%20%5Cmathbf%7BX%7D%5E%7B*%7D%5Cmathbf%7BS%7D%5Cmathbf%7BX%7D%20%20%0A%5Cend%7Bbmatrix%7D,

易验证 %5Ctilde%7B%5Cmathbf%7BT%7D%20%7D 和 %5Ctilde%7B%5Cmathbf%7BS%7D%20%7D 都是半正定的,且 %5Ctilde%7B%5Cmathbf%7BS%7D%20%7D%5Cle%5Ctilde%7B%5Cmathbf%7BT%7D%20%7D.  取 %5Cmathcal%7BM%7D 为算子 %5Cmathbf%7BT%7D (或 %5Cmathbf%7BS%7D) 对应的子空间,则对任意的  y%5Cin%20%5Cmathcal%7BM%7D%5E%7B%5Cbot%7D 及 x%5Cin%20%5Cmathcal%7BH%7D ,有

%5Cleft%20%5C%7C%20x%20-%20y%20%5Cright%20%5C%7C_%7B%5Ctilde%7B%5Cmathbf%7BS%7D%7D%7D%20%5Cle%20%5Cleft%20%5C%7C%20x%20-%20y%20%5Cright%20%5C%7C_%7B%5Ctilde%7B%5Cmathbf%7BT%7D%7D%20%7D.

由引理1 可知对任意 x%5Cin%20%5Cmathcal%7BH%7D,都有

%5Cleft%20%5Clangle%20(%5B%5Cmathcal%7BM%7D%5D%5Cmathbf%7BS%7D)x%20%2Cx%20%5Cright%20%5Crangle%20%5Cle%20%5Cleft%20%5Clangle%20(%5B%5Cmathcal%7BM%7D%5D%5Cmathbf%7BT%7D)x%20%2Cx%20%5Cright%20%5Crangle%20.

据 %5BM%5D%5Cmathbf%7BA%7D 的定义可知结论成立. 

随机秩揭方法的理论分析(一)的评论 (共 条)

分享到微博请遵守国家法律