[W3]逻辑回归以及正则化

布尔分类

在这样的分类种,只有两种情况,0或者1,类似于计算机中常用的布尔变量

逻辑回归

前面已经提到过线性回归,那么什么是逻辑回归呢,其实是一个关于自然底数e的函数,其定义和图像如下图

qq%e6%88%aa%e5%9b%be20161118165037

决策边界

有了上面两个部分的介绍,我们可以引出一个新的概念——决策边界
当一个数大于我们的决策边界的时候,其结果就是1,否则为0,具体可以参看下图

qq%e6%88%aa%e5%9b%be20161118165734
在这里我们取决策边界为0.5

逻辑回归的代价函数

那么,对于逻辑回归问题,它的代价函数又是怎样的呢?我们需要分两种情况讨论
y = 1 以及 y = 0
具体见下图

qq%e6%88%aa%e5%9b%be20161118170228
上面的两种情况我们可以合并为同一个公式,如下
qq%e6%88%aa%e5%9b%be20161118170548

逻辑回归的梯度下降公式

有了逻辑回归的公式和其代价函数的表达式,我们现在就可以得到其梯度下降的方法了,如下

qq%e6%88%aa%e5%9b%be20161118172003

当然要记住,我们依旧要同步更新所有的参数

高级寻找最佳参数的方法

除了梯度下降之外,我们还可以用另外的方法来寻找最佳的参数序列。
但是这些方法的实现都非常非常复杂,不过已经有人帮我们实现了,我们只需要调用库里面的方法就可以了,下面大概介绍一下有哪些
1.”Conjugate gradient”
2.”BFGS”
3.”L-BFGS”

一对多预测

到目前为止,我们的结果只有一个数,0或者1,那么我想一次预测多个结果呢?
我们可以使用一对多的向量化方法来实现,见下图

qq%e6%88%aa%e5%9b%be20161118172638

正则化

对代价函数的正则化

正则化可以防止我们的问题解决方案过度的拟合测试数据,让其对未来需要预测的数据具有更加的预测效果
对逻辑回归代价函数的正则化如下图,注意,不正则化第一个参数θ0

qq%e6%88%aa%e5%9b%be20161118172859

我们可以看到,我们的公式多了一个尾巴,这就是我们的正则化了,非常的简单
增大λ会让我们的公式拟合度变低,普适性增加
减小λ则会让我们的公式更加的拟合现有数据

梯度下降中的正则化

在梯度下降中,我们也用同样的方式来进行正则化,如下图,同样记住,不正则化第一个参数θ0

qq%e6%88%aa%e5%9b%be20161118173236

u3coding

A software developer

Leave a Comment

Your email address will not be published. Required fields are marked *

*