x-jeff blog

Make progress every day.

【深度学习基础】第四十五课:自然语言处理与词嵌入

词嵌入,Word2Vec,skip-gram模型,CBOW模型,GloVe,词嵌入除偏

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.前言 在自然语言处理(Natural Language Processing,NLP)任务中,文本是一种非结构化的数据信息,模型无法直接使用,需要对其进行转换。之前我们一直用one-hot编码表示词汇表中的单词(one-hot repr...

【机器学习基础】第十八课:支持向量机之核函数

核函数,直积

【机器学习基础】系列博客为参考周志华老师的《机器学习》一书,自己所做的读书笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.核函数 在之前的博客中,我们假设训练样本是线性可分的,即存在一个划分超平面能将训练样本正确分类。然而在现实任务中,原始样本空间内也许并不存在一个能正确划分两类样本的超平面。例如下图中的“异或”问题就不是线性可分的: 对这样的问题,可...

【算法基础】【排序】插入排序

插入排序

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.插入排序 插入排序的工作原理是通过构建有序序列,对于未排序数据,在已排序序列中从后向前扫描,找到相应位置并插入。 2.算法步骤 将第一待排序序列第一个元素看做一个有序序列,把第二个元素到最后一个元素当成是未排序序列。从头到尾依次扫描未排序序列,将扫描到的每个元素插入有序序列的适当位置。(如果待插入的元素与有序序列中...

【深度学习基础】第四十四课:深层循环神经网络

深层循环神经网络

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.深层循环神经网络 在解决比较复杂的问题时,我们通常会把RNN的多个层堆叠在一起来构建更深的模型: 这是一个三层的循环神经网络。对于RNN来说,三层就已经不少了,因为时间的维度会使得RNN网络变得相当大。但是我们可以在较深的层中取消...

【C++基础】第二十一课:算术运算符

算术运算符

【C++基础】系列博客为参考《C++ Primer中文版(第5版)》(C++11标准)一书,自己所做的读书笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.算术运算符 上表按照运算符的优先级将其分组。一元运算符的优先级最高,接下来是乘法和除法,优先级最低的是加法和减法。上面的所有运算符都满足左结合律,意味着当优先级相同时按照从左向右的顺序进行结合。 算术...

【深度学习基础】第四十三课:BRNN

双向循环神经网络

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.双向循环神经网络 假设我们有如下命名体识别模型用于识别句子中的人名: 此时有两个句子: He said,”Teddy bears are on sale!”. He said,”Teddy Roosevelt was ...

【OpenCV基础】第十五课:边缘处理

图像边缘处理

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.卷积边界问题 图像卷积时边界像素不能被卷积操作,原因在于边界像素没有完全跟kernel重叠,所以当使用3×3卷积核时有1个像素的边缘没有被处理,使用5×5卷积核时有2个像素的边缘没有被处理。此时我们便需要处理下图像的边缘。 2.边缘处理方法 在卷积开始之前增加边缘像素,比如使用3×3卷积核时在四周各填充1个像素的边...

【深度学习基础】第四十二课:GRU和LSTM

GRU,LSTM

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.RNN中的梯度消失问题 以【深度学习基础】第四十一课:RNN应用之语言模型中的语言模型为例,假设我们有句子:“The cat , which …… , was full.”,其中“cat”和“was”需要对应起来。如果使用复数“cats...

【Python基础】第十七课:正则表达式

正则表达式,re

本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.正则表达式 re模块使Python语言拥有全部的正则表达式功能。 1.1.re.search() re.search扫描整个字符串并返回第一个成功的匹配。 1 2 3 4 5 6 import re a = '23123' re.search('1', a)#输出为:<re.Match object; sp...

【深度学习基础】第四十一课:RNN应用之语言模型

语言模型

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章,未经本人允许,禁止转载。转载请注明出处。 1.什么是语言模型 例如我们需要构建一个语音识别系统。随机输入一段语音,这段语音听起来像是“The apple and pair salad.”或者是“The apple and pear salad.”,通过人为判断,很显然后者更符合逻辑...