PCA算法原理及实现（Python）

粲珠

文章目录一、基变换二、数据降维2.1为什么要进行数据降维？2.2优化目标三、PCA算法步骤四、求解特征值、特征向量4.1特征值分解（ED）4.2奇异值分解（SVD）五、KernelPCA六、Python代码6.1读取数据6.2PCA实现6.3运行结果七、结论一、基变换成为一组基的唯一要求是：线性无关（非正交基也可以，但由于正交基有较好的性质，所以通常使用正交基。）基变换的矩阵表示：一般地，如果我们有M个N维向量，想将其变换为由R个N维向量表示的新空间中，那么首先将R个新基按行组成矩阵A，然后将向量按列组成矩阵B，那么两矩阵的乘积AB就是基变换的结果，其中AB的第m列为B中第m列变换后的结果，数学表示为：(p1p2...pR)(a1a2...aM)=(p1a1p1a2⋯p1aMp2a1p2a2⋯p2aM⋮⋮⋱⋮pNa1pNa2⋯pNaM)(p1p2...pR)(a1a2...aM)=(p1a1p1a2⋯p1aMp2a1p2a2⋯p2aM⋮⋮⋱⋮pNa1pNa2⋯pNaM)​p1​p2​...pR​​​(a1​​a2​​...​aM​​)=​p1​a1​p2​a1​⋮pN​a1​​p1​a2​p2​a2​⋮pN​a2​​⋯⋯⋱⋯​p1​aM​p2​aM​⋮pN​aM​​​其中，R决定了基变换后的数据维度，且R可以小于M，当R