侵权投诉

神经网络技术解析:手写数字识别项目解读

电子设计 2021-01-13 15:50 次阅读

手写数字识别是很多人入门神经网络时用来练手的一个项目,但就是这么简单的一个项目,最近在reddit上又火了一把,因为在MIT计算机科学和人工智能实验室,有人挖到了一个「祖师爷」级别的视频……

这段视频录制于1993年,主人公是图灵奖得主YannLeCun(杨立昆)。彼时LeCun才32岁,刚刚进入贝尔实验室工作,而视频里机器学习识别的第一段数字201-949-4038,是LeCun在贝尔实验室里的电话号码。从这段视频中我们可以看到,LeCun在90年代初创造的文本识别系统已经达到了惊人的速度和准确率,这在当时的条件下是非常难能可贵的。

o4YBAF_-pKCAL52AAAWkwxPKISI070.png

这段视频由贝尔实验室自适应系统研究部门主任LarryJackel拍摄(Larry当时是LeCun的boss,现任英伟达自动驾驶顾问)。视频中出镜的还有实验室负责人RichHoward(Larry的boss)和研究工程师DonnieHenderson。YannLeCun本人表示:「DonnieHenderson将整个演示系统整合在了一起……整套系统在算力为20MFLOPS的DSP版上运行。」

640.gif

几位工程师在视频中洋溢的笑容也颇具感染力。

LeCun表示,1993年的文字识别系统已经用上了卷积神经网络(CNN),自己在这套系统中编写了一种网络数据结构的编译器,并生成了可编译的C语言代码,在源代码中以权重和网表(netlist)代表文字。这段视频的惊艳之处还在于,它比经典手写数字数据集MNIST的问世还要早6年。

pIYBAF_-pMeAMHCAAABq5qkjYcU826.png

其实,早在1989年,LeCun就已经发表了「将反向传播用于手写邮政编码识别」的相关研究,而且已经在美国的邮政系统中成功应用。随后,这一系统的应用范围扩展至银行支票。90年代末期,该系统已经处理了美国10%-20%的支票识别。

o4YBAF_-pNWAK3ObAALBa2Q5DDU736.png

1999年,LeCun等人联合发表了「MNIST」手写数字数据集。这一数据集包含数万个样本,被称为「计算机视觉领域的helloworld数据集」、「机器学习界的果蝇」,如今已经作为基准被使用了二十余年。

pIYBAF_-pOWAejsuAAIT49kFyNQ943.png

在看了这段视频之后,有研究者感叹,「不要再抱怨GPU算力不够了」。

o4YBAF_-pPGAYaTEAAByJSj2qWU470.png

深度学习先驱YannLeCun说起YannLeCun,熟悉人工智能领域的人肯定不会陌生,YannLeCun现在是纽约大学教授、美国工程院院士、Facebook副总裁和首席AI科学家。在深度学习还未流行的20世纪八九十年代,LeCun与另两位先驱者YoshuaBengio、GeoffreyHinton一道探索了深度学习领域的概念基础,并通过实验向人们展示了新方法的前景。此外,他们还贡献了一系列工程进展,展示了深度神经网络的实用优势。虽然在二十世纪八十年代,研究者就开始试用人工神经网络帮助计算机识别模式、模拟人类智能,但直到二十一世纪的前几年,这种方式仍未获得广泛认同,LeCun等研究者试图重燃AI社区对神经网络兴趣的努力曾经一直被人们质疑,但如今他们的想法带来了重大的技术进步,他们的方法也已成为该领域的主导范式。自2012年以来,深度学习方法促进计算机视觉、语音识别、自然语言处理和机器人技术等应用领域取得极大突破。在2019年,美国计算机协会ACM公布了上一年度的图灵奖,YoshuaBengio、GeoffreyHinton和YannLeCun三位深度学习巨头同时获奖。

pIYBAF_-pQGASHC4AAcDCh5KuCs380.png

从左至右:YoshuaBengio、GeoffreyHinton、YannLeCun。ACM表示,YannLeCun主要作出了三大贡献:

  • 提出卷积神经网络
  • 改进反向传播算法
  • 拓宽神经网络的视角

20世纪80年代后期,LeCun就职于多伦多大学和贝尔实验室,也是在这一时期,他利用手写数字图像训练了第一个卷积神经网络系统。如今,卷积神经网络已成为计算机视觉、语音识别、语音合成、图像合成和自然语言处理领域的行业标准。卷积神经网络有着广泛的应用,如自动驾驶、医学图像分析、语音助手和信息过滤等。这可不是搞定MNIST那么简单与我们通常为MINIST数据集构建文字识别系统不同,YannLeCun在1993年展示的技术可是用摄像头直接拍摄的,还需要搞定文字缩放、位置等问题,后来也确实在邮政系统里获得了应用。如此看来在当年就能实现这样的效果确实不容易,更何况在20世纪90年代,研究者们是没有TensorFlow可用的,全靠C语言手写,这个问题求解的非机器学习部分与其说是困难,不如说是繁琐。在社交网络中,人们对LeCun展示的算法除了感兴趣,还有赞誉和膜拜,有人说道:「这并不是说他们在1993年就解决了MNIST上的问题,比那还要更进一步。」在深度学习被GPU带动开展大规模应用以前,人工智能算法其实已经实现了相当的聪明程度。在1993年的文字识别之后,昨天,人们又挖出了LeCun参与的另一项研究:人脸检测。

o4YBAF_-pQ-AdX6zAAGhAoCLoLo335.png

在2003年,一个视频展示了RitaOsadchy、MattMiller以及YannLeCun等人在NEC实验室的研究,使用卷积神经网络进行人脸检测研究。虽然只是人脸检测而不是人脸识别,但这种技术的意义不言而喻,如今自动驾驶汽车上的障碍物检测方法使用的就是和它相同的技术。在推特上,LeCun也点赞了这段视频。

看来,如今我们在机器学习领域广泛使用的方法,早在几十年前就已完成了整体架构。不过与此同时,也有网友发出了直击灵魂的提问:「既然LeCun在1993年就可以让AI这样识别文字了,为啥直到今天大多数网站仍然认为文字验证码是识别机器人的好办法?」
编辑:hfy

收藏 人收藏
分享:

评论

相关推荐

人工智能深至科技宣布完成B轮亿元级融资

投资界1月22日消息,人工智能深至科技宣布完成B轮亿元级融资,本轮融资由GGV纪源资本领投。 创立于....
的头像 Les 发表于 01-22 17:12 85次 阅读
人工智能深至科技宣布完成B轮亿元级融资

LabVIEW报表的生成学习教程免费下载

在自动化测试领域,生成的 Oftice报表(Wod, Excel)儿乎是每个专业的自动化测试程序的标....
发表于 01-22 16:58 8次 阅读
LabVIEW报表的生成学习教程免费下载

人工智能处理器如何降低功耗?

“对于边缘技术来说,关键在于如何优化所需性能,同时最大限度地降低功耗。”
发表于 01-22 16:41 196次 阅读
人工智能处理器如何降低功耗?

“苹果汽车”在电动汽车市场上成为强大的竞争者

Sankar认为,该公司已经做好了这样做的准备。苹果在自动驾驶和电动汽车市场的关键领域拥有强大的产品....
的头像 倩倩 发表于 01-22 16:36 108次 阅读
“苹果汽车”在电动汽车市场上成为强大的竞争者

如何使用音频来估计与讲话用户之间的距离,并识别周围的声音

专利申请说:“通常希望设备使用[其]紧凑型麦克风阵列来估算从设备到用户的距离。” “例如,该设备可以....
的头像 倩倩 发表于 01-22 16:32 50次 阅读
如何使用音频来估计与讲话用户之间的距离,并识别周围的声音

2021MWC上海展将全球首秀“5G创新地带”

1月22日消息,GSMA此前公开了2021MWC上海展的相关情况,MWC上海展会定于2021年2月2....
的头像 工程师邓生 发表于 01-22 15:38 64次 阅读
2021MWC上海展将全球首秀“5G创新地带”

如何借助大数据和人工智能来提供金融服务

伴随着金融科技的快速发展,金融机构的服务模式和服务场景日趋多样化,在给客户带来便捷的同时,面临着更加....
的头像 电子魔法师 发表于 01-22 14:18 205次 阅读
如何借助大数据和人工智能来提供金融服务

Facebook通过人工智能为视障人士强化能力

为便利视障人士使用,Facebook在2017年就开始通过人工智能技术提供描述图片内容的功能,如今这....
的头像 电子魔法师 发表于 01-22 14:11 153次 阅读
Facebook通过人工智能为视障人士强化能力

氧分呗浅析机器人未来发展趋势

智能机器人如今已经越来越普遍了,除了主攻家务和做菜的人工智能机器人,现在又出现了会翻跟斗跳舞的机器人....
的头像 华夏大视野 发表于 01-22 11:59 179次 阅读
氧分呗浅析机器人未来发展趋势

大华基于AI的场景流估计算法和光流估计算法刷新全球最好成绩

近年来,在算法商业化落地方面,大华积极应用主导个性化AI方案敏捷交付,构建人工智能端到端研发的全链路....
发表于 01-22 11:57 61次 阅读
大华基于AI的场景流估计算法和光流估计算法刷新全球最好成绩

基于人脸检测算法在视频监控系统中的应用优势

随着经济全球化的影响日益深入,改革开放的进一步推进和城市化建设的步伐日益加快,导致城市人口密集、流动....
发表于 01-22 11:27 45次 阅读
基于人脸检测算法在视频监控系统中的应用优势

芯盾时代以人为核心以零信任安全护航北京电子政务

芯盾时代中标北京市政府!芯盾时代以自主可控的端点核心安全、连续自适应认证和智能安全大脑等核心技术,为....
的头像 芯盾时代 发表于 01-22 11:26 152次 阅读
芯盾时代以人为核心以零信任安全护航北京电子政务

商汤科技再摘一项权威标准认证:隐私信息保护建设获国际认可

商汤作为人工智能行业的领跑者,在给客户提供人工智能相关产品或服务的同时,保护客户和商汤的数据资产不被....
发表于 01-22 11:11 103次 阅读
商汤科技再摘一项权威标准认证:隐私信息保护建设获国际认可

Intel2020年第4季度总收入达到200亿美元

Intel发布了2020年第4季度财报,总收入达到200亿美元,利润为59亿美元,分别同比持平以及下....
的头像 我快闭嘴 发表于 01-22 11:01 112次 阅读
Intel2020年第4季度总收入达到200亿美元

华为在中国的道路可追溯区域推理方法和装置专利

通过采用最新的专利方法和设备,使用逻辑技术从可用知识中获取完或准确的道路可驾驶区域将很有帮助,从而改....
的头像 倩倩 发表于 01-22 11:00 181次 阅读
华为在中国的道路可追溯区域推理方法和装置专利

人工智能驱动的销售可以解决不确定性问题

人工智能驱动的销售可以解决许多组织无法应对冠状病毒疫情带来的不确定性问题。随着2021年的到来,由于....
的头像 电子魔法师 发表于 01-22 10:36 181次 阅读
人工智能驱动的销售可以解决不确定性问题

七牛云“移动社交云端部署解决方案”的详细分析

随着 5G、人工智能、VR 等技术的发展与变迁,音频、视频、直播等新型社交载体正在加速落地。在新技术....
的头像 电子观察说 发表于 01-22 10:11 100次 阅读
七牛云“移动社交云端部署解决方案”的详细分析

2021年人工智能产业五大发展趋势

人工智能又将有什么新的发展趋势?结合头部企业、机构研究院的产业前瞻与趋势洞察,现将2021年人工智能....
的头像 电子魔法师 发表于 01-22 10:06 360次 阅读
2021年人工智能产业五大发展趋势

人工智能的产业链/机遇与挑战分析

新一轮产业变革中,人工智能推动科技快速发展。人工智能正逐步从技术研发阶段向商业化落地快速推进,目前已....
发表于 01-22 09:34 92次 阅读
人工智能的产业链/机遇与挑战分析

树莓派发布Pi Pico:内置定制芯片,售价仅4美元

树莓派基金会 (Raspberry Pi Foundation)最新发布了一款微控制器开发板树莓派 ....
的头像 璟琰乀 发表于 01-22 09:14 245次 阅读
树莓派发布Pi Pico:内置定制芯片,售价仅4美元

深度学习中过拟合、欠拟合问题及解决方案

如何判断过拟合呢?我们在训练过程中会定义训练误差,验证集误差,测试集误差(泛化误差)。训练误差总是减....
发表于 01-22 07:44 12次 阅读
深度学习中过拟合、欠拟合问题及解决方案

语言进步推动人工智能发展

作者:M. Tim Jones 早期的AI主要用在运行原始Lisp运算的专用硬件上,由Lisp(L....
发表于 01-22 06:28 19次 阅读
语言进步推动人工智能发展

2021年我国民用无人机发展又将走向何方,发展趋势如何

近年来,无人机产业发展不断加快,并逐渐从军用领域延伸到了民用领域。围绕民用无人机这个新兴市场,各国相....
发表于 01-21 17:46 171次 阅读
2021年我国民用无人机发展又将走向何方,发展趋势如何

罗技国际公司提高了年度预测

这家计算机外围设备制造商第三次提高了2021年的销售增长和利润前景。现在,按固定汇率计算,公司预计全....
的头像 倩倩 发表于 01-21 16:38 156次 阅读
罗技国际公司提高了年度预测

2021年AI和机器学习的发展趋势

在2021年,这些趋势将带来更多创新,并打开新的机遇之门,在改变我们的生活中扮演重要角色。
的头像 如意 发表于 01-21 16:20 377次 阅读
2021年AI和机器学习的发展趋势

使用人工智能来加速大脑测绘技术

冲绳科技大学研究生院(OIST)神经计算部门负责人Kenya Doya教授说,大脑的“连接体”对于充....
的头像 倩倩 发表于 01-21 16:13 283次 阅读
使用人工智能来加速大脑测绘技术

Verta使用集成平台帮助企业跟踪正在创建的数千种机器学习模型

Verta是一家初创公司,致力于解决管理机器学习模型版本并提供平台以将其投入生产的复杂问题。Vert....
的头像 倩倩 发表于 01-21 16:09 160次 阅读
Verta使用集成平台帮助企业跟踪正在创建的数千种机器学习模型

富士康无监督学习AI算法上线 能够降低50%以上产线检测人力

据台媒经济日报报道,鸿海集团今日宣布推出无监督学习(Unsupervised Learning)人工....
的头像 Les 发表于 01-21 16:06 384次 阅读
富士康无监督学习AI算法上线 能够降低50%以上产线检测人力

一篇题为《2020 AI,DL和ML的预测》的文章

这是我去年的第一个预测,这很合适,因为在过去的12个月中,我们已经看到大公司进行大笔交易,创造了AI....
的头像 倩倩 发表于 01-21 15:59 306次 阅读
一篇题为《2020 AI,DL和ML的预测》的文章

加速AI采用需要哪些技术技能?

本系列中的每个博客都探讨了一组技能,或者深入探讨了其中一个技能领域。我得出的结论是,要释放人工智能价....
的头像 倩倩 发表于 01-21 15:44 154次 阅读
加速AI采用需要哪些技术技能?

英国的AI芯片制造商Graphcore已经筹集了2.22亿美元的E轮新资金

首席执行官兼联合创始人奈杰尔·图恩(Nigel Toon)表示:“我们处于有利的地位,可以加倍努力并....
的头像 倩倩 发表于 01-21 15:41 202次 阅读
英国的AI芯片制造商Graphcore已经筹集了2.22亿美元的E轮新资金

汇聚行业精英,第二届深圳国际人工智能展将于五月启幕

随着人工智能技术不断地发展,人工智能正赋能千行百业,并逐步渗透进人们生活的各个角落。
发表于 01-21 15:30 266次 阅读
汇聚行业精英,第二届深圳国际人工智能展将于五月启幕

人工智能可以推动气候变化战略吗?

没有时间可浪费:大气中的CO2水平是有史以来最高的(即使与COVID-19的在家待售订单相比有显着下....
的头像 倩倩 发表于 01-21 15:21 144次 阅读
人工智能可以推动气候变化战略吗?

深度学习在检测和定位结直肠息肉方面的准确性高达96%以上

医学博士Franco Radaelli和医学博士Silvia Paggi认为该研究的意义,并提出了“....
的头像 倩倩 发表于 01-21 15:12 150次 阅读
深度学习在检测和定位结直肠息肉方面的准确性高达96%以上

选择合适的工具——轻松玩转AI

人工智能(AI)历史悠久,自1955年便被公认为一门学科。人工智能是计算机模仿人类智能、从经验中学习....
发表于 01-21 15:10 150次 阅读
选择合适的工具——轻松玩转AI

美国各地的AI研究人员和开发人员都受到了强有力的打击

实施工作将由白宫科学技术政策办公室领导,并由美国国家标准与技术研究院,美国国家科学基金会或能源部每年....
的头像 倩倩 发表于 01-21 15:07 266次 阅读
美国各地的AI研究人员和开发人员都受到了强有力的打击

大数据有什么样的特点

该专业对学生在“大数据科学素养”方面有更高的要求,在理论上,强调学生有很好的数理统计基础、扎实的数据....
发表于 01-21 15:06 102次 阅读
大数据有什么样的特点

Valo Health正在研究涉及不同癌症的多个靶标

癌症是该公司周一宣布的四个治疗目标的重点。该公司特别指出,它正在研究与结肠癌有关的USP28。HDA....
的头像 倩倩 发表于 01-21 15:00 139次 阅读
Valo Health正在研究涉及不同癌症的多个靶标

松下的汽车团队推出了平视显示器(HUD)系统

松下表示,新的AR HUD系统将人工智能检测到的重要信息直接投射到驾驶员的视野中。这种情况防止驾驶员....
的头像 倩倩 发表于 01-21 14:57 305次 阅读
松下的汽车团队推出了平视显示器(HUD)系统

如何监督和评估结合了AI和机器学习技术的医学应用软件

该中心推出的九月为中心的器械和辐射健康中心(CDRH)的一部分,表示将考虑这样掺入潜在的贡献者设备的....
的头像 倩倩 发表于 01-21 14:54 223次 阅读
如何监督和评估结合了AI和机器学习技术的医学应用软件

菲亚特将成为第一个使用亚马逊的人工智能软件的客户

大约一年前,FCA开始将Alexa集成到其Uconnect 5操作系统中。自定义助手基于Amazon....
的头像 倩倩 发表于 01-21 14:52 454次 阅读
菲亚特将成为第一个使用亚马逊的人工智能软件的客户

推进环境智能(AmI)的子领域,以用于医疗保健

就像斯坦福大学的计算机科学家李飞飞博士所说的那样:“ [这是我职业生涯中的第一次,成功不仅仅取决于工....
的头像 倩倩 发表于 01-21 14:48 100次 阅读
推进环境智能(AmI)的子领域,以用于医疗保健

神经网络的介绍和在GIS中有什么样的应用说明

本文档的主要内容详细介绍的是神经网络的介绍和在GIS中有什么样的应用说明。
发表于 01-21 14:28 15次 阅读
神经网络的介绍和在GIS中有什么样的应用说明

亚马逊推出AWS Inferentia芯片

亚马逊推出用于人工智能部署的AWS Inferentia芯片...
发表于 01-18 06:17 0次 阅读
亚马逊推出AWS Inferentia芯片

《深度强化学习、深度学习、迁移学习、知识图谱》技术应用

发表于 01-17 14:59 0次 阅读
《深度强化学习、深度学习、迁移学习、知识图谱》技术应用

开启计算机后显示器黑屏的原因和解决方法

  如果在打开计算机后显示屏为空白,该怎么办?有时我们的计算机已打开,显示屏为空白。我该怎么办?打开计算机后,编辑器将简...
发表于 01-15 16:17 0次 阅读
开启计算机后显示器黑屏的原因和解决方法

计算机病毒的特征有哪些

  计算机病毒一词已经渗透到每个网民的心中,并且对计算机的危害是不可预测的。俗话说,无论多么全面的安全软件,都无法保证任...
发表于 01-15 16:16 0次 阅读
计算机病毒的特征有哪些

如何利用人工智能实现更为高效的下一代数据存储

充分利用人工智能,实现更为高效的下一代数据存储...
发表于 01-15 07:08 0次 阅读
如何利用人工智能实现更为高效的下一代数据存储

【HiSpark IPC DIY Camera试用连载 】第二篇 视频的人脸检测

实在的,ipc本身就带有这个功能,只要摄像头出现画面,本身就会检测人脸,而且从app上看,还有移动检测功能,已经非常强大了,但是自己...
发表于 01-14 00:08 202次 阅读
【HiSpark IPC DIY Camera试用连载 】第二篇 视频的人脸检测

什么是计算机视觉看了就知道

什么是计算机视觉
发表于 01-11 07:47 0次 阅读
什么是计算机视觉看了就知道

如何培养《未来架构师》(1) :VR+AI潮流下的教育新方向

一、新方向:培养真正属于自己的想法和思考        从中华文化的发展中,《易经》最早观察到宇宙万物的生...
发表于 01-04 10:21 1414次 阅读
如何培养《未来架构师》(1)  :VR+AI潮流下的教育新方向

先进的创新教育:AI 思维+设计思维

      2017/10/19,谷歌的DeepMind团队在Nature期刊上发表了一篇文章:“Mastering the game of Go wi...
发表于 01-04 10:16 1414次 阅读
先进的创新教育:AI 思维+设计思维

几种ARM编译器及IDE开发环境

ARM应用软件的开发工具根据功能的不同,分别有编译软件、汇编软件、链接软件、调试软件、嵌入式实时操作系统、函数库、评估...
发表于 12-29 09:31 627次 阅读
几种ARM编译器及IDE开发环境
博评网