x-jeff blog

Make progress every day.

【Python基础】第十二课:类

类,创建类,类的基本用法,继承,导入类

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.前言 Python中的类(Class)用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。⚠️对象是类的实例。 2.创建类 1 2 3 4 5 6 7 8 9 10 11 12 13 14 class Employee: 'class information' em...

【Tensorflow基础】第四课:手写数字识别

MNIST数据集,手写数字识别模型

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.MNIST数据集 MNIST数据集来自美国国家标准与技术研究所(National Institute of Standards and Technology)。数据集由来自250个不同人手写的数字构成,其中50%是高中学生,50%是人口普查局的工作人员。 MNIST官网:http://yann.lecun.com/e...

【深度学习基础】第二十课:学习率衰减

什么是学习率衰减,为什么要进行学习率衰减,怎么进行学习率衰减

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.学习率衰减 加快学习算法的一个办法就是随时间慢慢减小学习率,我们称之为学习率衰减。 2.为什么要使用学习率衰减 我们通过一个例子来解释。 如果我们不使用学习率衰减,那么算法会在最小值附近大幅度的摆动,而不能收敛。如下图蓝线所示: ...

【数学基础】第十二课:随机变量

随机变量,随机变量的矩,切比雪夫不等式,随机变量的特征函数,大数定律,中心极限定理

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.随机变量 随机变量(random variable)表示随机试验各种结果的实值单值函数。随机事件不论与数量是否直接有关,都可以数量化,即都能用数量化的方式表达。 随机事件数量化的好处是可以用数学分析的方法来研究随机现象。例如某一时间内公共汽车站等车乘客人数,电话交换台在一定时间内收到的呼叫次数,灯泡的寿命等等,都是随...

【深度学习基础】第十九课:Adam优化算法

Adam优化算法

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.Adam优化算法 Adam优化算法(Adaptive Moment Estimation)和RMSprop、Momentum梯度下降法是被广泛应用并且经受了大量考验的优化算法,适用于不同的深度学习结构。 Adam优化算法实际上就是将R...

【机器学习基础】第十二课:决策树的划分选择

信息熵,信息增益,增益率,基尼值,基尼指数

【机器学习基础】系列博客为参考周志华老师的《机器学习》一书,自己所做的读书笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.前言 在【机器学习基础】第十一课:决策树的基本流程一文中,我们可以看出决策树学习的关键是如何选择最优划分属性。 一般而言,随着划分过程不断进行,我们希望决策树的分支结点所包含的样本尽可能属于同一类别,即结点的“纯度”(purity)越来...

【深度学习基础】第十八课:RMSprop

RMSprop

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.RMSprop RMSprop全称是root mean square prop算法。除了momentum梯度下降法,RMSprop也可以加速梯度下降法。 接下来我们来看下RMSprop的实现过程。 假设我们的神经网络只有两个参数:$...

【C++基础】第十五课:标准库类型vector

标准库vector,定义和初始化vector对象,push_back,vector内对象的索引

【C++基础】系列博客为参考《C++ Primer中文版(第5版)》(C++11标准)一书,自己所做的读书笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.前言 标准库类型vector表示对象的集合,其中所有对象的类型都相同。 集合中的每个对象都有一个与之对应的索引,索引用于访问对象。 vector也常被称作容器(container)。 要想使用vect...

【Tensorflow基础】第三课:回归模型

非线性回归模型,numpy.linspace,numpy.random.rand,numpy.random.randn,numpy.random.normal,tf.random_normal,tf.reduce_mean,tf.train.GradientDescentOptimizer

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.前言 本文通过构建一个回归模型来进一步熟悉tensorflow在实际中的应用。 2.准备训练数据 1 2 3 x_data=np.linspace(-0.5,0.5,200,axis=0).reshape(1,200) noise=np.random.normal(0,0.02,x_data.shape) y_da...

【深度学习基础】第十七课:Momentum梯度下降法

Momentum梯度下降法

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.Momentum梯度下降法 Momentum梯度下降法的运行速度几乎总是快于标准的梯度下降法。 Momentum梯度下降法的基本思路就是计算梯度的指数加权平均数,并利用该梯度更新你的权重。 接下来我们来详细介绍下Momentum梯度...