线性回归正规方程详细推导过程

最近在学习吴恩达的机器学习，讲到里面了比较简单的求出的方法：正规方程。

视频里只告诉我们这个公式，但是没有具体告诉我们推到过程，对于我这种数学学渣来说实在一眼看不出来是什么意思，查了很久才稍微懂了点点，所以在此记录一下推导过程，也希望能帮助到和我一样的数学学渣。

首先列出代价函数，其中X，Y，是向量或者矩阵。

接下来我们要对代价函数Ĵ中预测值与真实值的差的平方的累加进行求导。

首先第一步,, 消除累加

这时候可能有朋友会和我有一样的问题：???什么情况

简单来复习一下现代知识：假设向量，则*=

知道如何消去累加之后再将式子做进一步化简：

好了现在终于把原式子化简完成，接下来就要进行求导了。大家应该都知道多项式求导等于对各项求导相加。

我们将上式对求导：

第一项：是一个标量，所以是标量对向量求导得

第二项：同样是标量对向量求导得

第三项：

第四项：0

综上，对上式求导的结果是：

为了取到代价函数对最小值，所以让导函数等于零。

就得到了

本文中省略了每一项具体求导的方法，因为博客里的公式实在是太难打了（大家有什么推荐的编辑公式的方法吗）。具体的求导公式在这里可以看：
https://wenku.baidu.com/view/70e4a60ff90f76c660371a28.html
<https://wenku.baidu.com/view/70e4a60ff90f76c660371a28.html>

参考文章：https://blog.csdn.net/chenlin41204050/article/details/78220280
<https://blog.csdn.net/chenlin41204050/article/details/78220280>

热门工具换一换

线性回归 正规方程详细推导过程