偏最小二乘回归法是通过将预测变量及观测变量分别通过投影的方式，投影到一个新的空间中去寻找线性回归模型。由于其成分之间相互正交，因此可以在一定程度上消除多重共线性。偏最小二乘回归法的本质是依照协方差极大化的准则，分解自变量数据矩阵X同时也分解因变量数据矩阵Y，最终建立解释隐变量与反映隐变量之间的回归方程式。

偏最小二乘回归法用于查找两个矩阵X和Y的基本关系。偏最小二乘回归模型会尝试找寻到X空间的多维方向来解释Y空间中方差最大的多维方向。偏最小二乘回归更适用于于预测矩阵比观测矩阵变量更多的数据或X的值中多重共线性较明显的情况。

为了实现偏最小二乘回归的基本思想，要求 t1 和 u1 的协方差最大，即求解：

max{Cov(t1,u1)}=max〈E0w1,F0c1〉

s.t {wT1w1=1cT1c1=1

利用拉格朗日乘数法求出 w1 和 c1 满足：

ET0F0FT0E0w1=θ21w1

ET0F0FT0E0w1=θ21w1

其中， E0 、 F0 分别为X与Y的标准化数据， w1 是 ET0F0FT0E0 的单位特征向量， θ21 是对应的特征值，同时也是目标函数值的平方， c1 是 FT0E0ET0F0 最大特征值 θ21 的单位特征向量。先求出 w1 和 c1 即可求得成分 t1 和 u1，然后分别求得 E0 和 F0 对 t1 的回归方程：

E0=t1pT1+E1

F0=t1rT1+F1

回归系数向量为：

p1=ET0t1‖t1‖2， r1=FT0t1‖t1‖2

其中， E1， F1 为回归方程的残差矩阵。

用残差矩阵 E1， F1 取代 E0 和 F0，求出 w2 和 c2 以及第二个主成分 t2， u2 有：

t2=E1w2， u2=F1c2

建立回归方程：

E1=t2pT2+E2， F1=t2rT2+F2

回归系数为：

p2=ET1t2‖t2‖2， r2=FT1t2‖t2‖2

如此计算得到：

F0=t1rT1+⋯+tArTA+FA=E0[A∑j=1w*jrTj]+FA

其中 w*j=j−1∏i=1(I−wipTi)wj，则 A∑j=1w*jrTj 是偏最小二乘回归系数向量，A为X的秩。