在我们拟合的时候,根据我们选择函数的不同可能会出现欠拟合,拟合程度较好,过拟合。
1.欠拟合和过拟合
欠拟合,上面第一张图就是欠拟合情况,欠拟合表现为所选的函数没有很好的拟合所给的数据,从图像上看就是很多数据都不在函数上,偏差大。
过拟合,上面第二张图就是过拟合,过拟合表现为很好的拟合了所给的数据,几乎都在函数上,但是所选函数仅仅是对已给定的数据表现为很好的拟合,对于之后对新数据的预测没有帮助,预测结果很有可能是错误的,方差大。
第三张图就是比较好的拟合。
2.解决方式
1)解决欠拟合
解决欠拟合可以通过增加特征
2)解决过拟合---正则化
添加正则化项 。
线性回归:
线性回归的时候,在后面添加(j与i不同,i表示从第一个数据开始算起,最小值是1;而θ是从θ_0开始,所以j的最小值是0。这里从j=1开始是因为,θ_0对应的是x_0,它是一个常数1,所以不需要正则化)
梯度下降公式修改:
逻辑回归也是一样的,只是h(x)所代表的式子不一样。