welcome to x-jeff blog

【深度学习基础】第八课：神经网络的梯度下降法

神经网络的梯度下降法，网络参数的随机初始化

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.神经网络的梯度下降法在【深度学习基础】第四课：正向传播与反向传播一文中我们了解了反向传播的原理，学习了梯度下降法在logistic回归中的应用。其实，logistic回归模型就可以看作是一个没有隐藏层的神经网络结构。那么，梯度下降法在...

Posted by x-jeff on December 24, 2019

【数学基础】第九课：协方差和相关系数

数学期望，方差，协方差，协方差矩阵，相关系数

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.期望在概率论和统计学中，数学期望是试验中每次可能结果的概率乘以其结果的总和，即概率加权下的“平均值”。 👉离散型随机变量的期望：$E(X)=\sum^\infty_{k=1} x_k p_k$ 👉连续型随机变量的期望：$E(X)=\int^\infty _{-\infty}xf(x)dx$ 1.1.期望的性质 ...

Posted by x-jeff on December 18, 2019

【深度学习基础】第七课：激活函数

激活函数，sigmoid函数，tanh函数，ReLU函数，Leaky ReLU函数，线性激活函数，非线性激活函数

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.前言目前为止，我们所用的激活函数都是sigmoid函数，但有时其他函数的效果要更好，本文将介绍其他常用的激活函数。 2.常用的激活函数 2.1.tanh函数 tanh函数又叫双曲正切函数：有： \[a=g(z)=\ta...

Posted by x-jeff on December 11, 2019

【机器学习基础】第九课：多分类学习

多分类任务，一对一，一对其余，多对多，纠错输出码，海明距离

【机器学习基础】系列博客为参考周志华老师的《机器学习》一书，自己所做的读书笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.前言现实中常遇到多分类学习任务，通常有两种解决办法：直接将二分类学习方法推广到多分类。基于一些基本策略，利用二分类学习器解决多分类问题。其中第2种方法更为常用，也是本文所要介绍的内容。 ‼️不失一般性，考虑N个类...

Posted by x-jeff on December 5, 2019

【深度学习基础】第六课：浅层神经网络

双层神经网络

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.神经网络表示我们在【深度学习基础】第三课：什么是神经网络中已经初步接触了神经网络的表示方式。我们在这里再复习一下：如上图所示，这是一个神经网络图。接下来我们对网络图中各个部分进行命名：其中，“隐藏层”的含义是：在训练集...

Posted by x-jeff on December 3, 2019

【C++基础】第十二课：自定义数据结构

struct，预处理器，头文件保护符

【C++基础】系列博客为参考《C++ Primer中文版（第5版）》（C++11标准）一书，自己所做的读书笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.前言 C++语言允许用户以类的形式自定义数据类型。 2.定义Sales_data类型我们可以尝试定义一个Sales_data类，把书本的ISBN编号、售出量及销售收入等数据组织在一起，并使用户能直接访...

Posted by x-jeff on November 26, 2019

【深度学习基础】第五课：向量化

vectorization，numpy，broadcasting，logistic regression code

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.前言向量化(vectorization)可以消除代码中显式的for循环，大大提升代码的运行效率。因此，只要有可能，就尽量避免在代码中使用显式的for循环。 2.什么是向量化假设有：$z=w^Tx+b$，其中， \[w=\b...

Posted by x-jeff on November 22, 2019

【OpenCV基础】第六课：图像混合

线性混合操作，addWeighted，add，multiply

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.线性混合操作 $g(x)=(1-\alpha)f_0(x)+\alpha f_1(x)$ 其中$\alpha$的取值范围为0～1之间。 2.addWeighted OpenCV中实现图像混合功能的API： 1 2 3 4 5 6 7 8 9 void cv::addWeighted( inputArray s...

Posted by x-jeff on November 12, 2019

【深度学习基础】第四课：正向传播与反向传播

学习率，计算图，正向传播，反向传播，梯度下降法在logistic回归中的应用

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.符号约定在正式开始接触深度学习之前，首先约定一些数学符号，适用于整个【深度学习基础】系列博客。用一对$(x,y)$表示一个单独的样本，其中$x\in \mathbb R^{n_x},y\in \{0,1 \}$。x是$n_x$维的...

Posted by x-jeff on November 9, 2019

【Python基础】第八课：网络爬虫

网络爬虫架构，开发者工具，BeautifulSoup

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.网络爬虫架构 👉网页编写的几个重要元素：【html】中文全称为超文本标记语言，类似于xml格式。超文本：指页面内的图片、链接，甚至音乐、程序等非文字元素。 html的结构包括“头(head)”部分和“主体(body)”部分，其中“头”部分提供关于网页的信息，“主体”部分提供...

Posted by x-jeff on November 4, 2019

x-jeff blog