welcome to x-jeff blog

【论文阅读】GAUSSIAN ERROR LINEAR UNITS (GELUS)

Gaussian Error Linear Unit（GELU）激活函数，Sigmoid Linear Unit（SiLU）激活函数

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.ABSTRACT 本博文只介绍原文的部分章节，原文链接在本文末尾。我们提出Gaussian Error Linear Unit（GELU），一种高性能的神经网络激活函数。GELU可表示为$x\Phi (x)$，其中$\Phi (x)$为标准高斯累积分布函数（即概率分布函数）。我们将GELU和ReLU、ELU...

Posted by x-jeff on April 9, 2022

【论文阅读】FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)

exponential linear unit（ELU）激活函数，Shifted ReLU（SReLU）激活函数

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.ABSTRACT 本博文只介绍原文的部分章节，原文链接在本文末尾。我们提出“exponential linear unit”（ELU），它可以加快深层神经网络的学习并提高分类精度。与ReLU、Leaky ReLU（LReLUs）和parametrized ReLU（PReLUs）一样，ELU也可以缓解梯度消...

Posted by x-jeff on April 8, 2022

【Tensorflow基础】第十三课：Word2Vec

os.path.exists，urllib.request.urlretrieve，os.stat，zipfile.ZipFile，ZipFile.namelist，tf.compat.as_str，collections.deque，random.randint，numpy.random.choice，tf.nn.embedding_lookup，tf.nn.nce_loss，xrange，argsort，TSNE降维可视化，tf.random_uniform

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.Word2Vec Word2Vec相关知识请见：【深度学习基础】第四十五课：自然语言处理与词嵌入。 2.代码实现 👉载入包： 1 2 3 4 5 6 7 8 9 10 import collections import math import os import random import zipfile im...

Posted by x-jeff on April 7, 2022

【论文阅读】Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks

Faster R-CNN，Region Proposal Networks（RPN）

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.INTRODUCTION 对于region-based的CNN目标检测模型来说（比如R-CNN），虽然SPPnet和Fast R-CNN已经显著降低了CNN部分的检测时间，但是其均没有考虑生成proposal带来的耗时。相比Fast R-CNN优化后的CNN部分的检测时间，生成proposal的耗时会高出几个数量级...

Posted by x-jeff on April 3, 2022

【C++基础】第三十九课：函数匹配

函数匹配，候选函数，可行函数

【C++基础】系列博客为参考《C++ Primer中文版（第5版）》（C++11标准）一书，自己所做的读书笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.函数匹配在大多数情况下，我们容易确定某次调用应该选用哪个重载函数。然而，当几个重载函数的形参数量相等以及某些形参的类型可以由其他类型转换得来时，这项工作就不那么容易了。例如： 1 2 3 4 5 voi...

Posted by x-jeff on April 1, 2022

【OpenCV基础】第三十课：点多边形测试

cv::pointPolygonTest

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.概念介绍点多边形测试：测试一个点是否在给定的多边形内部、边缘或者外部。 2.cv::pointPolygonTest 1 2 3 4 5 double pointPolygonTest( InputArray contour, Point2f pt, bool measureDist ); 如果...

Posted by x-jeff on March 27, 2022

【论文阅读】Attention Is All You Need

Transformer，Multi-Head Attention

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.Introduction RNN，尤其是LSTM，已经成为了序列模型和转化问题（如机器翻译）的最优方法。此后的很多研究也都致力于推动循环语言模型和编码-解码框架的发展。 RNN固有的序列属性阻碍了训练的并行化。虽然后续有些研究通过一些方法提升了模型计算效率，但是序列属性固有的限制依然存在。此外，注意力机制也逐渐成...

Posted by x-jeff on March 26, 2022

【Python基础】第三十五课：ROC曲线

LabelEncoder，predict_proba，roc_curve，auc

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.使用Python计算ROC曲线 ROC和AUC的相关介绍见：ROC与AUC。 👉载入必要的包： 1 2 3 4 5 from sklearn.datasets import load_iris from sklearn.tree import DecisionTreeClassifier from sklearn ...

Posted by x-jeff on March 24, 2022

【机器学习基础】第三十五课：聚类之原型聚类

原型聚类，k均值算法，学习向量量化（LVQ），Voronoi剖分，高斯混合聚类

【机器学习基础】系列博客为参考周志华老师的《机器学习》一书，自己所做的读书笔记。本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.原型聚类 “原型”是指样本空间中具有代表性的点。原型聚类亦称“基于原型的聚类”（prototype-based clustering），此类算法假设聚类结构能通过一组原型刻画，在现实聚类任务中极为常用。接下来介绍几种著名的原型...

Posted by x-jeff on March 21, 2022

【论文阅读】Layer Normalization

Layer Normalization

本文为原创文章，未经本人允许，禁止转载。转载请注明出处。 1.Abstract 本博文只介绍原文的摘要和第3部分，原文链接在本文末尾。训练SOTA的深度神经网络的计算成本都非常高。一个减少训练时间的方法是normalize神经元的激活值（activities）。比如Batch Normalization就显著减少了前馈神经网络的训练时间。但是Batch Normali...

Posted by x-jeff on March 19, 2022

x-jeff blog