“回归”就是“回归本质”的意思。用一个函数去拟合一组数据 (xi,yi) ，随着数据越来越多，用来拟合的这个曲线就越来越接近真实的情况。这里 xi 可以是一个向量, 假设 xi∈Rn , 若用线性回归的方法, 首先把它扩展为 n+1 维, 用来拟合的参数 θ∈Rn+1 ; 其中 x0=1 , 对应 θ0 为截距. , 所以函数拟合的是一个 n+2 维的超平面( θT⋅x−y=0 ). 拟合后得到的超平面, 输出前 n+1 维的输入, 可以得到一个输出 y . * linear regression：用直线拟合 * logistci regression：用一种曲线拟合（曲线的形状和sigmoid有什么联系?）
θT⋅x是linear regression，套一层sigmoid将输出映射到 (0,1) 。
假设训练集为 (x(1),y(1)),(x(2),y(2)),...,(x(m),y(m)) ；输入特征为 x(i)∈Rn+1 （我们对符号的约定如下：特征向量 x(i) 的维度为 n+1 ，其中 x0=1 ，对应截距项）。由于logistic回归是针对二分类问题的，因此类标记 y(i)∈{0,1} 。假设函数(hypothesis function) 如下：
hθ(x)=11+e−θT⋅x,θ∈Rn+1 Interpretion： hθ(x(i))=Sigmoid(θT⋅x(i)) 是 y(i)=1 的概率， 1−hθ(x(i)) 是 y(i)=0 的概率( 吴恩达，Logistic Regression: Optimization Objective I)训练 θ ，使其能最小化代价函数：
J(θ)=−1m[∑i=1mloghθ(x(i))+(1−y(i))log(1−hθ(x(i)))] 为什么cost function定义为这样？ * 首先的确可以定义为squared error的形式，即 J(θ)=1m∑i=1m(hθ(x)−y(i))2 但是该曲线not convex，即很难找到全局最优。定义为上面的形式则convex。 * 对某个 (x(i),y(i)) 分类讨论： 1. 当 y(i)=1 时， cost→∞ when hθ(x(i))→0 ; cost→0 when hθ(x(i))→1(i.e. y(i)) 2. 当 y(i)=0 时， cost→0(i.e. y(i)) when hθ(x(i))→0 ; cost→∞ when hθ(x(i))→1 * 用 log 函数的意义在于，它就是好用，而且convex。（这里我也不明白，就先这么记着）