侵权投诉

一种优化深度网络的降维分解技术解析

39度创意研究所 2020-11-21 11:43 次阅读

本篇介绍的也是采用了降维的思想来加速网络推理,但是数学上采用了不同的方法。而且这篇文章提出的方法可以加速深度网络,其在vgg-16上进行了实验,获得了4倍的加速效果,而在imageNet分类中top-5错误率仅有0.3%升高。

1、原理

首先我们来看神经网络中的卷积运算的形式,对于任一个隐藏层,它有c幅输入图片,每幅图片都会和一个卷积核进行卷积运算。假设卷积核大小为kxk,那么就有c个卷积核。我们可以将图片沿着个数方向重新生成一个维度,图片就成了一个3D的张量,大小为hxhxc。卷积核为kxkxc,其在kxk方向进行划窗,而c方向进行求和。每个输出点实际上是kxkxc个乘法求和结果。这c个卷积核会输出一幅图片,如果隐藏层有d个节点,实际上是输出n幅图片。如果将kxkxcxd这么大的卷积核进行重新排列,排成一个d行,每行有kxkxc个数据,就称为了一个矩阵,我们令为W。那么输入图片排成一个向量,长度为kxkxc。用矩阵乘法可以表示为:


 

 

W为一个dx(kkc+1)的维度矩阵,多增加一个1是将bias加在末尾。但是有人会问一幅图片是hxh个点,现在仅在x向量中取了其kxk个点,那么其他的点如何计算呢?实际上其它点可以看做为多组x向量输入,在之后降维分解中都考虑在内。

从上述公式看出,计算量复杂度为O(dkkc)。文章中文章可以用于更深网络的本质原因。

接下来作者重新表达y为:


M是一个dxd的矩阵,秩为d’。y-是平均响应,其维度也为d’。但是这里作者为什么引入了y-并没有讲。我想和归一化有类似作用吧,可以纠正数据沿着网络传输的发散性。经过降维的后的y,其和x关系变为了:


b是新生成的bias,为:


由于M的秩为d’,所以可以进行分解为:


那么就有:



W矩阵变为d’x(kkc+1)大小,因此计算量降低为O(d’kkc)+O(dd’),因为O(dd’)很小,所以计算复杂度变为原来的d’/d。实际上是减小了神经网络中输入通道的数量,将输入通道减少拆分成两层网络,如图中所示。而CP分解的权重通道数没有变,而是减小了kxk方向维度。

 

 

以上公式的导出都是基于y有较低的维数表达,实际中并不会有这样严格的数学性质,因为对于任意输入x,以及不同训练集训练出来的网络,我们不能保证y的维数实际低于d。所以这变成了一个近似问题,如何选择一个d’,同时使得新获得的参数的网络可以逼近最初结果。作者使用平方差来作为目标函数进行计算:

 

 

以上优化问题可以很容易获得解。实际上是寻找yyT的最大本征值,这类似于PCA方法。通过提取出排列在前几位最大的本征值,而剩余本征值设置为0来优化网络参数。最大本征值反应了表达y的信息的能力。然后通过一些矩阵变换就可以得到M矩阵。

上述方法很容易兼容非线性单元,因为考虑非线性单元后,优化目标变为:

 

 

其中r为非线性函数,作者只考虑了ReLu函数的求解。以上目标函数很难求解,因此作者做了一些数学变换,将上述损失函数进行了松弛处理,即引入了z,重新表达为:

 

 

从中看出当lamda逼近无穷时,其目标函数等同于原始目标函数。通过上述方法,可以优化每一层的网络参数。因为每层网络的输出是下层输入,所以整个优化一层层传递下去可以完成整体网络优化。

2、结果

首先作者选择了一个10层网络进行试验,结果为:

 

 

这里symmetric和asymmetric是作者进行非线性优化时,分别使用了原始的输入结果和近似输入结果来进行的。实际上是修正每层造成的错误沿着层向前积累。可以看出asymmetric比symmetric有更低的错误率。

VGG是一个广泛使用的网络模型,是一个深度网络,其被广泛用于物体识别,图像分割,视频分析中。作者在VGG-16上进行了实验,实验结果和CP分解的做了对比,如图:

 

 

结论

本文介绍了另外一种降维方法,其可以优化深度网络。个人感觉其还是有一定局限性,首先其在网络前向传输优化时,错误率还是会进行积累,这也是仅仅优化了16层VGG的原因,当然这相比CP分解确实加深了。但是类似resnet这样更深的网络,作者并没有报道过。

编辑:hfy


收藏 人收藏
分享:

评论

相关推荐

基于结构自相似性和形变块特征的单幅图像超分辨率算法

针对单幅图像超分辨率(SR)复原样本资源不足和抗噪性差的问题,提出一种基于结构自相似和形变块特征的单....
发表于 12-02 16:34 7次 阅读
基于结构自相似性和形变块特征的单幅图像超分辨率算法

基于神经网络的分布式交互指挥系统的方案设计

仁光结合武警总队指挥中心的实际使用情况,采用模块化设计,充分利用各类音视频资源和各类数据资源,持续提....
发表于 12-02 10:47 157次 阅读
基于神经网络的分布式交互指挥系统的方案设计

微软或将发布深度神经网络语音系列产品

以往,谈及对合成语音的刻板印象,很多人会联想到《星球大战》中的C-3PO那个有着近似人类外形金光闪闪....
的头像 璟琰乀 发表于 12-01 16:23 135次 阅读
微软或将发布深度神经网络语音系列产品

清华大学联合提出了用于半监督学习的图随机神经网络

导读:在 NeurIPS 2020 上,清华大学联合微众银行、微软研究院以及博世人工智能中心提出了 ....
的头像 Les 发表于 12-01 15:25 81次 阅读
清华大学联合提出了用于半监督学习的图随机神经网络

【新技术发布】基于深度神经网络的激光雷达物体识别系统及其嵌入式平台部署

        激光雷达可以准确地完成三维空间的测量,具有抗干扰能力强、信息丰富等优点,但受限于数...
发表于 12-01 12:13 101次 阅读
【新技术发布】基于深度神经网络的激光雷达物体识别系统及其嵌入式平台部署

微软深度神经网络:基于Azure云的端到端语音合成系统

以往,谈及对合成语音的刻板印象,很多人会联想到《星球大战》中的C-3PO那个有着近似人类外形金光闪闪....
的头像 Les 发表于 12-01 11:05 98次 阅读
微软深度神经网络:基于Azure云的端到端语音合成系统

神经网络与感知机的不同讲解

大家好,今天来继续聊聊深度学习。 有同学跟我说很久没有更新深度学习的模型了,倒不是不愿意更新,主要是....
的头像 工程师邓生 发表于 11-30 16:51 103次 阅读
神经网络与感知机的不同讲解

基于RBF神经网络的照明定量计算数据实现提高照明精度的设计

在建筑电气设计中,照明计算往往是极其繁琐的,他不仅计算量大,而且常是枯燥的重复计算,需要查阅大量的数....
的头像 电子设计 发表于 11-30 10:15 525次 阅读
基于RBF神经网络的照明定量计算数据实现提高照明精度的设计

中国科学院提出类果蝇决策的脉冲神经网络模型,人工智能实现趋利避害的行为

选择分轻重,更分难易。简单选择只需根据目标做出判断,但对于两难选择来说,则是一种更复杂的思考和抉择。....
的头像 工程师邓生 发表于 11-29 10:00 412次 阅读
中国科学院提出类果蝇决策的脉冲神经网络模型,人工智能实现趋利避害的行为

多层感知器的人工神经网络解析

人工神经网络(ANN)是一种从信息处理角度对人脑神经元网络进行抽象从而建立的某种简单模型,按不同的连....
发表于 11-27 12:01 162次 阅读
多层感知器的人工神经网络解析

最常见的4个神经网络错误是什么?

点击上方,选择星标或置顶,每天给你送干货 ! 阅读大概需要5分钟 跟随小博主,每天进步一丢丢 作者丨....
的头像 深度学习自然语言处理 发表于 11-27 10:49 173次 阅读
最常见的4个神经网络错误是什么?

如何让PyTorch模型训练变得飞快?

让我们面对现实吧,你的模型可能还停留在石器时代。我敢打赌你仍然使用32位精度或GASP甚至只在一个G....
的头像 深度学习自然语言处理 发表于 11-27 10:43 237次 阅读
如何让PyTorch模型训练变得飞快?

为什么半监督学习是机器学习的未来?

为什么半监督学习是机器学习的未来。 监督学习是人工智能领域的第一种学习类型。从它的概念开始,无数的算....
的头像 深度学习自然语言处理 发表于 11-27 10:42 156次 阅读
为什么半监督学习是机器学习的未来?

卷积神经网络CNN的简单理论介绍

好久不见各位亲们,从上半年毕业到现在各方面开始步入正常轨迹,也开始有时间写点文章了,后续开始陆续更新....
的头像 自然语言处理爱好者 发表于 11-27 10:34 194次 阅读
卷积神经网络CNN的简单理论介绍

图神经网络逆势而上,7日学懂入门图

要问这几年一直在逆势而上的技术有哪些?你一定不会忽略它图神经网络。 相比传统神经网络,图神经网络的优....
的头像 算法与数据结构 发表于 11-26 13:54 189次 阅读
图神经网络逆势而上,7日学懂入门图

如何移植一个CNN神经网络到FPGA中?

训练一个神经网络并移植到Lattice FPGA上,通常需要开发人员既要懂软件又要懂数字电路设计,是个不容易的事。好在FPGA厂...
发表于 11-26 07:46 0次 阅读
如何移植一个CNN神经网络到FPGA中?

关于语音驱动3D虚拟人性能介绍

Speech2Video 是一种从语音音频输入合成人体全身运动(包括头、口、臂等)视频的任务,其产生....
的头像 lhl545545 发表于 11-25 16:26 221次 阅读
关于语音驱动3D虚拟人性能介绍

深度神经网络是为人工智能的重要基石

深度神经网络是一种使用数学模型处理图像以及其他数据的多层系统,而且目前已经发展为人工智能的重要基石。
的头像 电子魔法师 发表于 11-25 09:50 438次 阅读
深度神经网络是为人工智能的重要基石

新型快速方法将增强神经网络在数据中预测其答案

深度学习神经网络是一种人工智能系统,正在被用于越来越重要的决策,例如从自动驾驶到诊断医疗条件等各种任....
的头像 如意 发表于 11-24 14:58 269次 阅读
新型快速方法将增强神经网络在数据中预测其答案

基于主动学习的半监督图神经网络模型来对分子性质进行预测方法

总体来讲,本文使用教师模型和学生模型来迭代训练。每个模型都是一个图神经网络。在教师模型中,使用半监督....
的头像 深度学习自然语言处理 发表于 11-24 09:59 188次 阅读
基于主动学习的半监督图神经网络模型来对分子性质进行预测方法

Hinton的那篇Capsule论文终于揭下了神秘的面纱

而当前的深度学习理论,自从Hinton大神在2007年(先以受限玻尔兹曼机进行训练、再用有监督的反向....
的头像 深度学习自然语言处理 发表于 11-24 09:56 263次 阅读
Hinton的那篇Capsule论文终于揭下了神秘的面纱

NLP中的自监督表示学习

在这个公式中,我们取三个连续的句子,设计一个任务,其中给定中心句,我们需要生成前一个句子和下一个句子....
的头像 深度学习自然语言处理 发表于 11-24 09:52 193次 阅读
NLP中的自监督表示学习

微软亚洲研究院的研究员们提出了一种模型压缩的新思路

近日,来自微软亚洲研究院自然语言计算组的研究员们提出了一种与显式地利用蒸馏损失函数来最小化教师模型与....
的头像 深度学习自然语言处理 发表于 11-24 09:48 291次 阅读
微软亚洲研究院的研究员们提出了一种模型压缩的新思路

如何去掉batch normalization层来加速神经网络

一旦训练结束,每个Batch normalization层都拥有一组特定的γ和β,还有μ和σ,后者在....
的头像 深度学习自然语言处理 发表于 11-24 09:45 145次 阅读
如何去掉batch normalization层来加速神经网络

GNN教程:GraghSAGE算法细节详解!

这一节讨论的是如何给图中的节点生成(或者说更新)embedding, 假设我们已经完成了GraphS....
的头像 深度学习自然语言处理 发表于 11-24 09:32 158次 阅读
GNN教程:GraghSAGE算法细节详解!

NetApp使用AI的漂亮描述作为数据管道

NetApp使用AI的漂亮描述作为数据管道。由于我们是合作伙伴,因此我将毫不客气地窃取该描述。管道始....
的头像 倩倩 发表于 11-23 14:59 486次 阅读
NetApp使用AI的漂亮描述作为数据管道

Deep Vision退出隐身模式,并启动其ARA-1推理处理器

Deep Vision首席执行官Ravi Annavajjhala说:“当今复杂的AI工作负载不仅需....
的头像 倩倩 发表于 11-23 14:47 221次 阅读
Deep Vision退出隐身模式,并启动其ARA-1推理处理器

一种新的AI工具可以准确地将患者区分开来

该系统的开发人员来自费恩斯坦医学研究所,Northwell Health和纽约霍夫斯特拉大学的研究人....
的头像 倩倩 发表于 11-21 09:33 356次 阅读
一种新的AI工具可以准确地将患者区分开来

Arduino Nano 33 BLE Sense的色度计和近接感测器传感器来分类对象

在本文中,我们将带您了解一个更为简单的端到端教程:使用 TensorFlow Lite Micro ....
的头像 TensorFlow 发表于 11-18 17:21 310次 阅读
Arduino Nano 33 BLE Sense的色度计和近接感测器传感器来分类对象

Imagination发布最新一代神经网络加速器IP核

Imagination Technologies发布了最新一代神经网络加速器IP核IMG Serie....
的头像 Imagination Tech 发表于 11-18 16:06 481次 阅读
Imagination发布最新一代神经网络加速器IP核

机器学习记录:NVIDIA再次打破MLPerf基准测试的性能记录

由人工智能专家和计算机公司组成的联盟MLPerf发布了一组新的机器学习记录。这些记录是在一系列衡量推....
的头像 IEEE电气电子工程师学会 发表于 11-17 17:47 430次 阅读
机器学习记录:NVIDIA再次打破MLPerf基准测试的性能记录

AI可通过听你的咳嗽来检测COVID-19,科学家们正在开发相关程序

现在,咳嗽很容易让人产生误会 -- 是COVID-19,还是你只是在清嗓子?可能很快将会得到更清楚的....
的头像 IEEE电气电子工程师学会 发表于 11-17 17:34 299次 阅读
AI可通过听你的咳嗽来检测COVID-19,科学家们正在开发相关程序

基于人工智能的神经网络应用于莫斯科的医疗系统

莫斯科市政府网站日前发布消息称,一种基于人工智能的神经网络模块正在应用于莫斯科的医疗系统。神经网络可....
发表于 11-17 11:07 124次 阅读
基于人工智能的神经网络应用于莫斯科的医疗系统

牛津大学开发了一种极其快速的诊断测试方案

然后用显微镜收集样品的图像,每张图像都包含数百种荧光标记的病毒。机器学习软件可以快速自动识别样品中存....
的头像 微流控 发表于 11-16 17:52 467次 阅读
牛津大学开发了一种极其快速的诊断测试方案

重度抑郁症头戴式治疗辅助仪RelivionDP

该头戴式的神经刺激仪,是通过刺激脑中神经传导物质的释放,以及调节与情绪控制相关的神经网络,来治疗重度....
的头像 微流控 发表于 11-16 17:33 264次 阅读
重度抑郁症头戴式治疗辅助仪RelivionDP

MIT研发可辨别新冠病毒的AI模型:凭咳嗽声检测

今年九月,麻省理工学院(MIT)的研究人员发表了题为《COVID-19 Artificial Int....
的头像 DeepTech深科技 发表于 11-16 11:19 313次 阅读
MIT研发可辨别新冠病毒的AI模型:凭咳嗽声检测

可用于处理脑部疾病的AI技术的范围正在迅速增长

一个棘手的问题是脑疾病的诊断,外科治疗和监测。可用于处理脑部疾病的AI技术的范围正在迅速增长,并且随....
的头像 倩倩 发表于 11-15 10:27 324次 阅读
可用于处理脑部疾病的AI技术的范围正在迅速增长

计算机科学家使用图神经网络将流感病例识别为区域互连的簇

“我们的模型也是非常透明的,”宁说,在一个新闻发布会上。“在其他AI预测使用“黑匣子”算法的地方,我....
的头像 倩倩 发表于 11-15 09:55 380次 阅读
计算机科学家使用图神经网络将流感病例识别为区域互连的簇

基于DSP芯片TMS320F240实现大型换热设备污脏的在线监测系统的设计

由上式可看出,要确定c,需求出Δδg。由于Δδg=f(ΔDs,ΔDw,Δtwi,Δε,)描述的是一非....
发表于 11-11 11:02 305次 阅读
基于DSP芯片TMS320F240实现大型换热设备污脏的在线监测系统的设计

深入讨论GraphSAGE GNN算法的数学原理

GNN的架构在宏观层面有着很多与传统CNN类似的地方,比如卷积层、Polling、激活函数、机器学习....
的头像 电子发烧友网工程师 发表于 11-11 09:26 379次 阅读
深入讨论GraphSAGE GNN算法的数学原理

基于Python的理论与实现进行深度学习的入门教程

本书是深度学习真正意义上的入门书,深入浅出地剖析了深度学习的原理和相关技术。书中使用Python 3....
发表于 11-11 08:00 69次 阅读
基于Python的理论与实现进行深度学习的入门教程

基于FPGA的深度学习加速器的应用优劣势和发展研究

近年来,神经网络在各种领域相比于传统算法有了极大的进步。在图像、视频、语音处理领域,各种各样的网络模....
发表于 11-10 10:50 682次 阅读
基于FPGA的深度学习加速器的应用优劣势和发展研究

B站UP主开发会写高考作文的AI

前段时间,浙江高考满分作文《生活在树上》因为晦涩难懂的内容,刷爆了各种社交媒体。外行人看热闹,内行人....
的头像 机器人大讲堂 发表于 11-08 09:54 519次 阅读
B站UP主开发会写高考作文的AI

为什么卷积神经网络是深度学习最成功的领域之一?

目前,作为深度学习的代表算法之一,卷积神经网络(Convolutional Neural Netwo....
的头像 机器人大讲堂 发表于 11-08 09:29 329次 阅读
为什么卷积神经网络是深度学习最成功的领域之一?

《AI概论:来来来,成为AI的良师益友》高焕堂老师带你学AI

简介:AI学习:电脑+AI(让电脑拥有学习能力)基础框架搭建;如何建立人机界面---基于Excel+Python;观察事物,提取特征...
发表于 11-05 17:55 707次 阅读
《AI概论:来来来,成为AI的良师益友》高焕堂老师带你学AI

【AI学习】第3篇--人工神经网络

本篇主要介绍:人工神经网络的起源、简单神经网络模型、更多神经网络模型、机器学习的步骤:训练与预测、训练的两阶段:正向推演...
发表于 11-05 17:48 680次 阅读
【AI学习】第3篇--人工神经网络

eFPGA的崛起

随着大数据、物联网、AI的发展对于算力的需求增大,开发先进 ASIC 的成本模式在 finFET 领....
的头像 电子发烧友网工程师 发表于 11-05 11:32 442次 阅读
eFPGA的崛起

关于机器学习和人工神经网络

在人工神经网络课程之后,有一位同学课下问了一个问题,她这学期也在学习机器学习课程,感觉人工神经网络课....
的头像 璟琰乀 发表于 11-05 10:02 560次 阅读
关于机器学习和人工神经网络

借力人工智能,华云安定义智能化渗透攻防系统

自2018年起,人工智能(AI)就已成为家喻户晓的热词。从热词到技术落地,经过两三年的发展沉淀,AI....
的头像 电子魔法师 发表于 11-04 16:48 644次 阅读
借力人工智能,华云安定义智能化渗透攻防系统

Socionext成功开发了一款集成有量化深度神经网络技术的原型芯片

为提高边缘计算处理器AI处理性能并减少系统功耗,Socionext成功开发了一款集成有量化深度神经网....
的头像 电子发烧友网工程师 发表于 11-04 16:27 280次 阅读
Socionext成功开发了一款集成有量化深度神经网络技术的原型芯片

MIT发明新AI模型,其核心控制系统仅用19个神经元就能实现自动驾驶

从搜索引擎到自动驾驶汽车,人工智能(AI)已经应用于日常生活的方方面面。这与近年来飞跃式的算力进步有....
的头像 DeepTech深科技 发表于 11-04 15:29 464次 阅读
MIT发明新AI模型,其核心控制系统仅用19个神经元就能实现自动驾驶

这种新型AI系统用少量人工神经元控制车辆转向

自动驾驶汽车是当前机器学习研究者和工程师们正在探索的最复杂任务之一。它覆盖很多方面,而且要求必须高度....
的头像 璟琰乀 发表于 11-04 11:43 398次 阅读
这种新型AI系统用少量人工神经元控制车辆转向

一文解析神经网络的发展史

在1943年,科学家WarrenMcCulloch和WalterPitts提出了神经网络作为一个计算....
发表于 11-04 10:19 189次 阅读
一文解析神经网络的发展史

用于低内存 IoT 设备的神经网络

新的神经网络。 一位来自俄罗斯的科学家开发了一种新的神经网络架构,并测试了其在识别手写数字上的学习能....
的头像 工程师邓生 发表于 11-04 10:02 305次 阅读
用于低内存 IoT 设备的神经网络

循环神经网络小案例探讨

案例:Slot Filling Feedforward Network Input: word vectorOutput: word属于每个slot的概率问题:无法使用前...
发表于 10-27 07:38 0次 阅读
循环神经网络小案例探讨

DIY剪刀石头布机器人(一)

背景:回家看到小外甥存了很多零用钱,作为舅舅,最近手头有点紧。于是经过几天的筹划,决定制作一个剪刀石头布机器人,向小外甥...
发表于 10-09 22:32 686次 阅读
DIY剪刀石头布机器人(一)

嵌入式神经网络有哪些挑战

  1、宽频限制以及嵌入式系统的计算能力   NN需要大量数据,利用DDR在各层之间进行传输。如为卷积和完全连接数据重量来...
发表于 06-30 11:01 1979次 阅读
嵌入式神经网络有哪些挑战

基于带NNIE神经网络海思3559A方案边缘计算主板开发及接口定义

硬件配置 —————————————————————————————————— -  海思Hi3559AV100 CPU,...
发表于 06-20 11:32 611次 阅读
基于带NNIE神经网络海思3559A方案边缘计算主板开发及接口定义

改善深层神经网络--超参数优化、batch正则化和程序框架 学习总结

《深度学习工程师-吴恩达》02改善深层神经网络--超参数优化、batch正则化和程序框架 学习总结...
发表于 06-16 14:52 170次 阅读
改善深层神经网络--超参数优化、batch正则化和程序框架 学习总结

BP神经网络的基础数学知识分享

一文看懂BP神经网络的基础数学知识
发表于 06-16 07:14 230次 阅读
BP神经网络的基础数学知识分享
博评网