• GluonNLP 0.3.3 新功能及重现报告

    谨以此文纪念为 GluonNLP 的模型重现赴汤蹈火,积极踩坑的小哥们。 GluonNLP 第一弹中炼丹师小A的遭遇和深度学习那些坑扎了许多朋友的心,比如知乎网友RickZ评论称 “正在被中文数据预处理教做人🙃”。在第一弹发布后,我们 GluonNLP 的小哥们马上又投入到紧张的论文复 (cai) 现 (keng) 工作中。今天,我们新发布的 GluonNLP 0.3.3 为大家带来了...

  • MXNet Gluon 上实现跨卡同步 Batch Normalization

    很多用户在论坛上,GitHub 上,甚至是不同的深度学习平台上,都要求提供跨卡同步(Cross-GPU Synchronized) Batch Normalization 或称为同步BN (SyncBN)。 我们团队率先提供了 MXNet 的实现。 写在前面:为什么要跨卡同步 Batch Normalization 现有的标准 Batch Normalization 因为使用数据并行(Da...

  • GluonCV 0.2 — 计算机视觉工具包第二版

    简介 今年四月我们发布了基于Gluon的计算机视觉工具包GluonCV,里面包含了图像识别,图像分割,和物体检测的最新算法复现和预训练模型。 经过丹师们两个月的努力,我们终于完成了GluonCV的第二个版本。这个版本主要包括以下几个亮点: 重新训练过的图像识别模型,精度从75.8%提升到了77.2%,以及新的ResNet变种V1b。 物体检测算法Faster-RCNN。 ...

  • FashionAI服装属性标签大赛参赛经验

    我在初赛结束前一个月从论坛上看到了帖子实战阿里天池竞赛——服饰属性标签识别,正好当时并无太多事情要忙,于是下载了代码和数据集,准备小试一下。 两个月后,比赛终于落下帷幕。尽管最后只取得了初赛78,复赛52的成绩,但在比赛的过程中的亲身经历还是让我对于参数的修改,超参的选择和网络结构的选择等诸多内容有了更深的了解。所以准备写个帖子总结一下,方便以后自己回顾,顺便也希望借此能够和大家多多交流。...

  • GluonNLP — 自然语言处理的深度学习工具包

    最新模型的结果为何难以重现?去年项目的代码为何已经罢工?本该直截了当的基准模型为何如此难做?请看今天的走进科学之,自然语言处理那点事。 故事的主人公小 A 是个乐观开朗的炼丹师,正开始研究机器翻译。这天他看到时下最热门的一篇谷歌论文 “Attention Is All You Need” 介绍基于注意力机制的 Transformer 模型。小A上网搜了搜发现, Tensorflow 的...

  • MXBoard — 助力 MXNet 数据可视化

    写在前面 深度神经网络自出现以来就一直饱受争议。从实践角度来讲,设计并训练出一个可用的模型非常困难,需要涉及大量的调参、修改网络结构、尝试各种优化算法等等;从理论角度来看,深度神经网络的数学理论证明并不完备,从而造成人们对其基本原理缺乏清晰的认识。而数据可视化带来的直观效果可以很大程度上弥补上述的不足。比如,模型训练时如果能实时画出梯度数据分布,可以很快发现并纠正梯度消失或者梯度爆炸的现象...

  • GluonCV — 计算机视觉的深度学习工具包

    起源 有人曾经问我,开发 MXNet 时候感觉最难的是什么。我会毫不犹豫的觉得”重复论文里的实验结果”是最困难的一点。举三个例子: Lin Min (Network in network 提出者)在16年的时候发现 MXNet 在 ImageNet 上面训练的模型精度比 Torch 低 1%。为了 debug 这个事情甚至开发了一个插件可以在 MXNet 跑任意 Torch 的...

  • 用 Intel MKL-DNN 加速 CPU 上的深度学习

    Intel最近发布了开源的深度学习软件包 MKL-DNN,来替换之前的 MKLML。MKL-DNN 专门优化了一系列深度学习里的操作符。现在 Apache MXNet 集成了 MKL-DNN 来加速 CPU 上的深度学习。这次 MXNet 团队和 Intel 团队通过更紧密的合作,不仅提高 MXNet 在 CPU 上的性能,同时也希望让系统比之前使用 MKLML 时更加稳定。鉴于现在 inf...