x-jeff blog

Make progress every day.

【数学基础】第十七课:奇异值分解

奇异值分解

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.奇异值分解 奇异值分解(Singular Value Decomposition,简称SVD):对于任何一个矩阵$B_{m\times n}$,存在正交矩阵$P_{m\times m},Q_{n\times n}$,使得$B=PDQ^T$。其中,$D_{m\times n}$是一个只有对角元素不为零的矩阵。 矩阵$P...

【深度学习基础】第四十课:循环神经网络

循环神经网络

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.循环神经网络 依旧使用【深度学习基础】第三十九课:序列模型中第2部分的例子。假设我们用一个标准的神经网络结构来解决这个问题: 其中,$x^{<n>}$为输入句子中的第n个单词;$y^{<n>}$为第n个单词...

【机器学习基础】第十七课:支持向量机之对偶问题

求解支持向量机,二次规划

【机器学习基础】系列博客为参考周志华老师的《机器学习》一书,自己所做的读书笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.对偶问题 我们希望求解 \[\begin{align*} &\min \limits_{\mathbf w,b} \quad \frac{1}{2} \lVert \mathbf w \rVert ^2 \\ & \be...

【深度学习基础】第三十九课:序列模型

序列模型

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.序列模型 序列模型的常用领域举例: 语音识别:输入为一段音频,输出为文字。输入和输出均为序列数据。 音乐生成:输入可以是任何类型的数据(甚至为空)。输出为序列数据,比如为一段音乐。 情感分类:输入为序列数据,比如一句话。...

【算法基础】【排序】冒泡排序

冒泡排序

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.冒泡排序 冒泡排序(Bubble Sort)也是一种简单直观的排序算法。它重复地走访过要排序的数列,一次比较两个元素,如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行,直到没有元素再需要交换,也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。 2.算法步骤 ...

【C++基础】第二十课:表达式基础

表达式基本概念,重载运算符,左值,右值,优先级,求值顺序

【C++基础】系列博客为参考《C++ Primer中文版(第5版)》(C++11标准)一书,自己所做的读书笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.基本概念 表达式(expression)由一个或多个运算对象(operand)组成,对表达式求值将得到一个结果(result)。 ⚠️字面值和变量是最简单的表达式,其结果就是字面值和变量的值。 把一个运...

【深度学习基础】第三十八课:1D数据和3D数据

1D数据和3D数据的卷积运算

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.1D数据和3D数据的卷积运算 我们通常所用的图像为2D数据。其实除了2D数据,我们还会用到1D或者3D数据(甚至更高维度的数据)。 先回顾下之前2D数据的卷积运算: 假设input的维度:$14\times 14 \times ...

【深度学习基础】第三十七课:神经风格迁移

神经风格迁移,卷积网络的可视化,内容代价函数,风格代价函数

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.什么是神经风格迁移 以上便是神经风格迁移的两个例子。在本文中,我们将用C表示原始图像,S表示要迁移的图像风格,G表示最终合成的图像。 2.卷积网络的可视化 本部分内容主要引自论文:Zeiler M D, Fergus R....

【OpenCV基础】第十四课:自定义线性滤波

算子,robert算子,sobel算子,拉普拉斯算子,filter2D

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.常见算子 有关卷积和滤波的基本概念解释:【OpenCV基础】第九课:图像模糊。 卷积计算在图像处理中常见的三种用途: 检测边缘。 图像模糊。 图像锐化。 卷积核也常被称为“算子”。 假设有原图如下: 👉Robert算子: \[\begin{bmatrix} +1 & 0 ...

【论文阅读】Gradient-Based Learning Applied to Document Recognition

卷积神经网络开山之作:LeNet-5

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.INTRODUCTION 传统的模式识别(traditional pattern recognition)通常分为两步: 即:1)从原始数据中提取特征;2)用提取的特征训练分类器。 在LeNet-5发表的那个年代,提取特征需要大量的先验知识,并且需要人为设计,这是一个非常耗时耗力的工作。除此之外,分类器的精度也...