机器学习(吴恩达)

week1-1:概述

机器学习概念:经验E,训练T,评价P

监督学习

回归Regression:连续

预测房价

compose epic...

分类Classification:离散,概率

预测是否是肿瘤

判断垃圾邮件

无监督学习

聚类

网络新闻自动分类

社交平台自动分类好友

非聚类

鸡尾酒会算法?

compose epic...

week1-2:单变量的线性回归算法

常用符号:样本数m,输入x,输出y,第几个i

假设函数:h(x)

是x,y的本身,拟合训练数据的

compose epic...

成本函数cost fuction:J(θ)

用于衡量假设函数的准确性

常见:均方误差

是参数θ的函数,找到一个θ使得J(θ)最小

梯度下降Gradient Descent

梯度下降的公式

学习速率learning rate:下山步子的大小

成本函数的导数;切线的斜率:下山步子的方向

同步更新参数θ1、θ2:代码实现时注意

局部最低点

随着越到低点,导数值越小,总步长越小,因此不用特地减少学习速率的值

线性回归中的梯度下降算法

凸函数convex,没有局部最优解

批量梯度下降:batch gradient descent

局部最优解

全局最优解:线性回归只有全局最优解

线性代数复习

机器学习 week 2

week2-1

m:样本数

n:特征数

compose epic...

梯度学习技巧

数据预处理

特征缩放

归一化

更新规则

首先判断梯度下降算法能用及是否收敛:绘制J(θ)曲线,x轴-迭代步数,平缓

J(θ)收敛常用判据:一次迭代差距不大于0.001,这招不好用

学习率设置

如果梯度不下降:减小学习率

梯度周期性波动:减小学习率

收敛慢:增加学习率

compose epic...

特征与多项式回归

如何改善

多个功能组合成1个

改变函数曲线形式

特征选择:好的特征可以简化模型,2个例子:用面积代替长和宽,用根号代替平方和立方

模型的选择:预估函数形状

如果变换了特征x,勿忘对x进行特征缩放

compose epic...

分析计算参数

正态方程:求解最优θ的新方法,解析解,不用迭代,一步到位

求解方法:让导数=0

矩阵的逆

无需归一化

梯度下降*正规方程之优缺点比较

梯度下降

优点:n很大的情况下可以working

缺点:需要设置学习率,需要迭代

正规方程

优点:以上相反

缺点:n很大时不好用,需要计算n*n维的逆矩阵,计算量是n的3次方

n怎么算大?大概1万以上算大

正态方程不可逆怎么办

去掉多余的特征redundant features

特征太多:m大于n,删去一些特征

使用pinv函数

使用“正则化”

编程

compose epic...

机器学习

机器学习

2019-06-01 22:43:27 0 91
这里是评论

相关推荐