Category: 机器学习课程随笔

人工神界网络 定义 分为多层的机器学习算法，将上一层的输出作为下一层的输入，直到最后一层输出 结构 用途 用于基本的分类或者预测学习，是一种基础的神经网络机器学习算法 卷积神经网络（CNN) 定义 同样为多层的神经网络，每次使用relu激励函数加上卷积层和池化层进行处理，最后通过[……] Rea...

推荐算法分类 1.基于内容的推荐算法 2.协同过滤推荐算法 基于内容推荐 1.需要知道每个项目的特征，以及详细的特征值，比如一个电影的爱情元素占比，动作成分占比等 2.需要用户事先评价几部电影，得到用户的评分特征向量，比如，对动作电影的偏好程度等 3.把特征和用户偏好相乘，得到预估得分，得到推[…̷...

常见的几种方法 1.收集更多样本 2.使用更小规模的方法 3.增加方法的规模 4.使用多项式 5.增加正则化参数λ 如何判断下一步该采用什么方法 引入概念，误差（error），可用下面公式求得 对于线性回归： 对于分类算法： 如何划分我们的样本 按照比例6：2：2划分为三个样本，训[……] Re...

使用Octave软件进行编辑 1.代价函数以及其正则化 function [J grad] = nnCostFunction(nn_params, ... input_layer_size, ... hidden_layer_size, ... num_labels, ... X, y, lambda) Theta1 ...

算法步骤 1.确定算法层次模型，有几层，几个隐藏层，每层有多少节点 2.使用feedforward算法计算出，a2,a3,z2,z3 3.写出代价函数J,并对其进行正则化 4.写出激励函数sigmoid的导数表达式 5.随机初始化参数Theta 6.使用向后递推法获取[……] Read more

大数据学习 我的学习算法有时候会面对大数据的考验，我们需要做一些优化才能保证速度 随机梯度下降 传统的梯度下降法每次会遍历整个集合，效率较低，随机梯度下降不必每次都遍历，效率较高 首先引入几个公式 算法步骤 1.随机排序数据集合 2.遍历随机的数据，使用如下公式进行学习 [……] Read mo...

异常检测动机 当我们有新的数据样本的时候，我们希望通过一个模型p(x)以及一个门槛值ϵ来判定这个样本是否是异常的。 高斯分布 高斯分布是一种可以被描述为的类钟型线。 具体公式是 其中几个参数的计算如下 普遍公式 只有公式部分不同，其余部分均与高斯分布相同 [……] Read more

非监督学习：介绍 非监督学习和监督学习相反，是一种无标签学习。 换而言之，我们不知道y的具体分类。 非监督学习适用于： 1.市场分割 2.社交网络分析 3.组织电脑集群 4.天文数据分析 K-Means算法 K-Means算法是最广泛应用的自动分类算法。 具体过程如下 1.随机在数据集合中初始[…̷...

SVM支持向量机 支持向量机是一种监督学习算法，有时比现有算法更加简洁高效。 回顾一下逻辑回归的代价函数 注意展开后的第一项 当 θTx远远大于1的时候，此项接近于0 当 θTx远远小于1的时候，我们可以用一条直线来替代sigmoid曲线，最终图形如下 对于第[……] Read more

采取什么措施来进一步优化 主要有五种措施 1.获取更多训练样本 2.尝试使用更小规模的特称 3.尝试增加特征 4.尝试使用多项式特征 5.增加或者减小正则参数λ 评估假设 我们如何评估一个已经做出的假设是否合理呢？也许我们的假设在训练集合上面有较好的表现，但是对于其他的数据却表现得不好。 这[……...