welcome to x-jeff blog

【深度学习基础】第二十三课：Batch Normalization

Batch Normalization

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.什么是Batch Normalization 原文：链接；博客讲解：链接。在【深度学习基础】第十二课：归一化输入一文中，我们提到了归一化输入可以加速学习过程。根据这个思路，同样的我们也可以将每个隐藏层的输入$a^{[0]...

Posted by x-jeff on April 28, 2020

【机器学习基础】第十三课：决策树的剪枝处理

剪枝，预剪枝，后剪枝

【机器学习基础】系列博客为参考周志华老师的《机器学习》一书，自己所做的读书笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.前言剪枝(pruning)是决策树学习算法对付“过拟合”的主要手段。决策树剪枝的基本策略有“预剪枝(prepruning)”和“后剪枝(postpruning)”。 👉预剪枝是指在决策树生成过程中，对每个结点在划分前先进行估计，若...

Posted by x-jeff on April 23, 2020

【深度学习基础】第二十二课：超参数调试

超参数调试，随机取值，精细搜索，搜索策略

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.前言通过前面的学习，我们了解到了深度学习中会涉及到很多超参数，那么该如何确定这些超参数的值呢？本文就来简单的探讨一下这个问题。 2.超参数的重要性排序在开始调试超参数之前，我们需要知道哪些超参数是需要优先被调整的，而哪些超参数是...

Posted by x-jeff on April 19, 2020

【C++基础】第十六课：迭代器

迭代器，迭代器的使用，迭代器运算

【C++基础】系列博客为参考《C++ Primer中文版（第5版）》（C++11标准）一书，自己所做的读书笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.前言我们已经知道可以使用下标运算符来访问string对象的字符或vector对象的元素，还有另外一种更通用的机制也可以实现同样的目的，这就是迭代器(iterator)。 ⚠️所有标准库容器都可以使用迭代...

Posted by x-jeff on April 16, 2020

【OpenCV基础】第十课：形态学操作

膨胀，腐蚀，开操作，闭操作，形态学梯度，顶帽，黑帽

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.形态学操作图像形态学操作：基于形状的一系列图像处理操作的合集，主要是基于集合论基础上的形态学数学。形态学有四个基本操作：膨胀、腐蚀、开、闭。 2.膨胀与腐蚀 2.1.膨胀跟卷积操作类似，假设有图像A和结构元素B，结构元素B在A上面移动，其中B定义其中心为锚点，计算B覆盖下A的最大像素值用来替换锚点的像素，...

Posted by x-jeff on April 8, 2020

【深度学习基础】第二十一课：局部最优问题

局部最优问题

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.局部最优问题人们总是担心优化算法会被困在局部最优。人们通常认为cost function的图像会像上图一样，存在很多局部最优点。而优化算法会被困在其中一个局部最优点，而无法达到全局最优点。但实际情况是，上述现象只在参数很少...

Posted by x-jeff on April 3, 2020

【Python基础】第十二课：类

类，创建类，类的基本用法，继承，导入类

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.前言 Python中的类(Class)用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。⚠️对象是类的实例。 2.创建类 1 2 3 4 5 6 7 8 9 10 11 12 13 14 class Employee: 'class information' em...

Posted by x-jeff on April 2, 2020

【Tensorflow基础】第四课：手写数字识别

MNIST数据集，手写数字识别模型

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.MNIST数据集 MNIST数据集来自美国国家标准与技术研究所（National Institute of Standards and Technology）。数据集由来自250个不同人手写的数字构成，其中50%是高中学生，50%是人口普查局的工作人员。 MNIST官网：http://yann.lecun.com/e...

Posted by x-jeff on March 26, 2020

【深度学习基础】第二十课：学习率衰减

什么是学习率衰减，为什么要进行学习率衰减，怎么进行学习率衰减

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.学习率衰减加快学习算法的一个办法就是随时间慢慢减小学习率，我们称之为学习率衰减。 2.为什么要使用学习率衰减我们通过一个例子来解释。如果我们不使用学习率衰减，那么算法会在最小值附近大幅度的摆动，而不能收敛。如下图蓝线所示： ...

Posted by x-jeff on March 23, 2020

【数学基础】第十二课：随机变量

随机变量，随机变量的矩，切比雪夫不等式，随机变量的特征函数，大数定律，中心极限定理

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.随机变量随机变量（random variable）表示随机试验各种结果的实值单值函数。随机事件不论与数量是否直接有关，都可以数量化，即都能用数量化的方式表达。随机事件数量化的好处是可以用数学分析的方法来研究随机现象。例如某一时间内公共汽车站等车乘客人数，电话交换台在一定时间内收到的呼叫次数，灯泡的寿命等等，都是随...

Posted by x-jeff on March 22, 2020

x-jeff blog