Google的深度神经网络强在哪里？谷歌首席科学家说了这些奇妙的特性

这个系统在公开翻译系统中表现出色。大多数其他翻译系统需要手工编码或机器学习的模型只是在一小部分使用，而不是像这种整体的端到端的学习系统。

这些领域都是可以归到序列类的方法。

7、智能回复

智能回复是另一个序列类的例子。在手机上你如何更快回复邮件，打字很累。

Gmail组开发了一个系统能够去预测邮件回复。第一步就是训练小量模型去预测如果消息是某一类的，如何做简短回复。如果是一个更大，计算能力更强的模型会把消息作为一个序列，尝试预测序列的反应词。比如对于感恩节邀请，最可能的三个答复是“算上我们”，“我们会去的”，“对不起，我们有事没发去”

8、看图说话

把之前开发的图片模型与序列类模型结合一起。图片模型作为输入。这里就不是阅读英文句子了，而是看图片的像素。

接下来就是训练生成字幕。训练集有5个由不同的人写的不同的字幕。总共100万图片，70万条语句。效果如下

两个模型翻译的都不错：1）一个小孩紧紧的抱住毛绒玩具；2）一个宝宝在泰迪熊旁边睡着了。

上面是一些好玩的出错语句，为啥会错，其实你自己看了也明白。

9、机器视觉和翻译结合

翻译团队写了一个app，使用计算机视觉来识别镜头中文字，再翻译成文本，最后再图片本身覆盖翻译好的文字。模型足够小可以运行在所有设备上。

直接在手机上跑一些模型中的重要方法。智能化将转移到设备端，这样不会依赖远程云端的大脑。

研究上的努力和成果转化

Google 非常在乎研究转化效率。就是要快速训练模型，理解那些做的好的和不好的，再想下一步实验。模型应该再分钟或者小时，而不是几天或者几周。这样让每个人都做研究更高效。

机器学习发展会更好，更快。Jeff说机器学习社区发展得特别快。人们发布了一篇论文，一周内就有很多研究小组跟进，下载阅读，理解实现，再发布他们自己的扩展。这跟以前的计算机期刊投稿完全不同，等6个月才知道是否被接收，然后再过3个月最后发表。而现在把时间从一年压缩到一周，真不得了。

如何快速训练大量模型

模型的并行化

神经网络有很多固有的并行化，所有不同的神经元与其他的也是保持独立，特别本地接纳的，神经元仅仅接受一小部分比它更低的神经元作为输入。

在不同的GPU上和不同机器上可以做并行。只有边界上的数据需要通信。

数据并行化

优化的模型参数集不应该在一台机器上或者一台中心服务器上，应该有多个模型拷贝，这样协作区优化参数。

（编辑：应用网_丽江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!