x-jeff blog

Make progress every day.

【深度学习基础】第十九课:Adam优化算法

Adam优化算法

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.Adam优化算法 Adam优化算法(Adaptive Moment Estimation)和RMSprop、Momentum梯度下降法是被广泛应用并且经受了大量考验的优化算法,适用于不同的深度学习结构。 Adam优化算法实际上就是将R...

【机器学习基础】第十二课:决策树的划分选择

信息熵,信息增益,增益率,基尼值,基尼指数

【机器学习基础】系列博客为参考周志华老师的《机器学习》一书,自己所做的读书笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.前言 在【机器学习基础】第十一课:决策树的基本流程一文中,我们可以看出决策树学习的关键是如何选择最优划分属性。 一般而言,随着划分过程不断进行,我们希望决策树的分支结点所包含的样本尽可能属于同一类别,即结点的“纯度”(purity)越来...

【深度学习基础】第十八课:RMSprop

RMSprop

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.RMSprop RMSprop全称是root mean square prop算法。除了momentum梯度下降法,RMSprop也可以加速梯度下降法。 接下来我们来看下RMSprop的实现过程。 假设我们的神经网络只有两个参数:$...

【C++基础】第十五课:标准库类型vector

标准库vector,定义和初始化vector对象,push_back,vector内对象的索引

【C++基础】系列博客为参考《C++ Primer中文版(第5版)》(C++11标准)一书,自己所做的读书笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.前言 标准库类型vector表示对象的集合,其中所有对象的类型都相同。 集合中的每个对象都有一个与之对应的索引,索引用于访问对象。 vector也常被称作容器(container)。 要想使用vect...

【Tensorflow基础】第三课:回归模型

非线性回归模型,numpy.linspace,numpy.random.rand,numpy.random.randn,numpy.random.normal,tf.random_normal,tf.reduce_mean,tf.train.GradientDescentOptimizer

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.前言 本文通过构建一个回归模型来进一步熟悉tensorflow在实际中的应用。 2.准备训练数据 1 2 3 x_data=np.linspace(-0.5,0.5,200,axis=0).reshape(1,200) noise=np.random.normal(0,0.02,x_data.shape) y_da...

【深度学习基础】第十七课:Momentum梯度下降法

Momentum梯度下降法

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.Momentum梯度下降法 Momentum梯度下降法的运行速度几乎总是快于标准的梯度下降法。 Momentum梯度下降法的基本思路就是计算梯度的指数加权平均数,并利用该梯度更新你的权重。 接下来我们来详细介绍下Momentum梯度...

【OpenCV基础】第九课:图像模糊

均值模糊,高斯模糊,中值模糊,双边模糊,高斯分布

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.图像模糊 图像模糊是图像处理中最简单和常用的操作之一。 ⚠️使用该操作的原因之一是为了给图像预处理时降低噪声。 图像模糊操作背后是数学的卷积计算。 卷积操作的原理: 常用的图像模糊的方法: 均值模糊 高斯模糊 中值模糊 双边模糊 这四种模糊方式有时也被称为:均值滤波...

【深度学习基础】第十六课:指数加权平均

指数加权平均,偏差修正

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.指数加权平均 指数加权平均在统计中也叫做指数加权移动平均。通过它可以计算局部的平均值,来描述数值的变化趋势。 接下来通过一个例子来了解指数加权平均。 假设我们现在有一年中每一天的温度数据,将其绘制为散点图如下: 构造等式如下:...

【Python基础】第十一课:处理缺失值

缺失值的产生,缺失值的表示,检测缺失值,舍弃缺失值,填补缺失值

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.侦测缺失值 1.1.缺失值的产生 通常缺失值的产生有两个原因: 机械缺失:例如机械故障,导致数据无法被完整保存。 人为缺失:例如受访者拒绝透漏部分信息。 缺失值通常不设置为空值,而表示为NaN。 1.2.缺失值的表示 通常可用numpy.nan表示缺失值。 1 2 import numpy as...

【深度学习基础】第十五课:mini-batch梯度下降法

batch gradient descent,stochastic gradient descent,mini-batch gradient descent,mini-batch,epoch

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.mini-batch梯度下降法 向量化能让我们有效地对所有m个训练样本进行计算,允许我们处理整个训练集。 例如,训练样本X和训练样本标签Y: \[X_{(n_x,m)}=[x^{(1)} \ x^{(2)} \ x^{(3)} ...