协同过滤推荐算法相关步骤和细节

推荐算法分类 1.基于内容的推荐算法 2.协同过滤推荐算法 基于内容推荐 1.需要知道每个项目的特征,以及详细的特征值,比如一个电影的爱情元素占比,动作成分占比等 2.需要用户事先评价几部电影,得到用户的评分特征向量,比如,对动作电影的偏好程度等 3.把特征和用户偏好相乘,得到预估得分,得到推[......]Re...

机器学习算法性能的检测和调优方法【方法+代码】

常见的几种方法 1.收集更多样本 2.使用更小规模的方法 3.增加方法的规模 4.使用多项式 5.增加正则化参数λ 如何判断下一步该采用什么方法 引入概念,误差(error),可用下面公式求得 对于线性回归: 对于分类算法: 如何划分我们的样本 按照比例6:2:2划分为三个样本,训[......]Re...

[W10]大数据学习

大数据学习 我的学习算法有时候会面对大数据的考验,我们需要做一些优化才能保证速度 随机梯度下降 传统的梯度下降法每次会遍历整个集合,效率较低,随机梯度下降不必每次都遍历,效率较高 首先引入几个公式 算法步骤 1.随机排序数据集合 2.遍历随机的数据,使用如下公式进行学习 [......]Rea...

[W9]异常检测

异常检测动机 当我们有新的数据样本的时候,我们希望通过一个模型p(x)以及一个门槛值ϵ来判定这个样本是否是异常的。 高斯分布 高斯分布是一种可以被描述为的类钟型线。 具体公式是 其中几个参数的计算如下 普遍公式 只有公式部分不同,其余部分均与高斯分布相同 [......]Read ...

[W8]聚集

非监督学习:介绍 非监督学习和监督学习相反,是一种无标签学习。 换而言之,我们不知道y的具体分类。 非监督学习适用于: 1.市场分割 2.社交网络分析 3.组织电脑集群 4.天文数据分析 K-Means算法 K-Means算法是最广泛应用的自动分类算法。 具体过程如下 1.随机在数据集合中初始[......]Re...

[W7]支持向量机SVM

SVM支持向量机 支持向量机是一种监督学习算法,有时比现有算法更加简洁高效。 回顾一下逻辑回归的代价函数 注意展开后的第一项 当 θTx远远大于1的时候,此项接近于0 当 θTx远远小于1的时候,我们可以用一条直线来替代sigmoid曲线,最终图形如下 对于第[......]Re...

[W6]机器学习应用建议

采取什么措施来进一步优化 主要有五种措施 1.获取更多训练样本 2.尝试使用更小规模的特称 3.尝试增加特征 4.尝试使用多项式特征 5.增加或者减小正则参数λ 评估假设 我们如何评估一个已经做出的假设是否合理呢?也许我们的假设在训练集合上面有较好的表现,但是对于其他的数据却表现得不好。 这[......]Re...

[W5]神经网络的学习

代价函数 首先需要定义几个变量 L = 这个神经网络的总层数 sl= 第L层的单元数量 K = 输出层的单元数量 在神经网络中,我们的输出节点不止一个,我们用hΘ(x)k 来表示第k个输出 还记得逻辑回归的代价函数吗? 对于神经网络来说,代价函数更加复杂一些 反向传播算法[......]Rea...