深度学习+超级计算:上帝的计算机长什么样?

  次阅读 作者:智能小宝 来源:互联网 2015-11-24 12:27 我要评论(0)

深度学习+超级计算:上帝的计算机长什么样?

按:作者系SenseTime(商汤科技)深度学习科学家周斌博士,中国首位HPC(High-Performance Computing,高性能计算)和GPU跨领域研发高级工程师,中科大客座研究员。2013年,周斌被NVIDIA授予了全球第12个CUDA Fellow 的称号,成为了中国唯一获此称号的学者,拥有此称号的还有胡恩伟、青木孝之、Ross Walker、Jone Stone 等世界知名专家学者。

SenseTime 最近推出了超算平台SenseBox,据称,其存储和计算能力可以让深度学习项目获得更快的训练时间和更好的训练数据,从而培育出新一代的更强“大脑”。

如果有一天醒来,发现自己成了上帝,(无所不能的感觉真好!)你会怎么样?这样的场景虽然只存在于科幻中,但是随着深度学习所引领的人工智能技术的进步,人类创造出强人工智能已经成为了一个严肃的科研问题。人类,乃至宇宙,可能是某个“上帝”所制造的程序代码,就像罗伯特·J·索耶在《计算中的上帝(Calculating God)》所描述的那样。在我们创造的人工智能体眼中,我们就是上帝。

上帝的计算机长什么样?

我们作为人工智能体的上帝,还是需要一台计算机(请原谅我狭隘的想象力,作为深度学习+的程序员,他的身边永远都有几台计算机)来运行上帝的代码——虚拟的宇宙和智能,这样的计算机长什么样?

这是个很有意思的话题:上帝的计算机需要无穷快的速度,无穷大的存储,无穷智能的接口……幻想到此打住,归根结底,我们虽然是上帝,但只是我们创造的智能体的上帝。回归到现实,为了创造容纳智能体的计算机,我们需要利用手边的材料来搭建能够用于进行深度学习的超级计算机。

曾几何时,在我刚开始深入研究这个领域的时候,超级计算机还是躲在深闺大院、处于庙堂之上,研究物理、化学、生物、数学、密码、气象等等高深莫测的科学(我都有所涉猎,很多问题归结为数学和计算)。现在,信号处理、图形图像、视频、天气预报、生物信息学、网络搜索等等应用领域都能发现超算平台的身影:

在气象领域,超算平台可以显著提升天气预报和沙尘暴模拟的精确程度,这也是我在美国乔治梅森大学所做的研究。我国新一代全球与区域同化预报系统(Global—Regional Assimilation and Prediction Systems,简称“GRAPES”)也是基于超算平台的气象项目,中国国家气象局的天气预报曾采用“GRAPES”系统;

在医疗领域,实现医学图像的有效识别是目前计算机科学和医学交叉领域研究的热点,在肿瘤图像识别的相关研究领域,超算平台的应用能使GPU的识别速度和精度得到大幅提升,从而整体提升医疗服务质量;

在军事领域,超算平台堪称现代化国防建设的重要科技支柱,中国目前最先进的中程空对空导弹“霹雳12”就应用了相关技术。

以上种种进步都离不开平台超算本身的发展、迭代,中国的超级计算机一直处于世界领先地位:中国“天河一号”超级计算机GPU系统研发时,“天河一号”的运算水平就曾排名世界第一;现在“天河二号”超级计算机系统更是连续五次位列世界超级计算机500强排行榜之首。上帝的计算机或许是个玩笑,但是作为智能体上帝的计算机,很可能就诞生在现在的各种超算之中。

深度学习之超算平台

如今,为了容纳深度学习的超大规模计算需求,超级计算机已经成为训练各种深度神经网络的利器。深度学习技术试图通过大规模的神经网络和大数据提供的海量训练集合,将大脑学习识别的过程加以抽象,从而获得极高的识别准确度,这些都带来了极大的计算需求和吞吐需求。于是,这些以往高居庙堂的屠龙之技有了用武之地:GPU协处理器、高速InfiniBand网络、RDMA、GPUDirect等成了利器,提供着高吞吐、低延迟、高性能的系统平台。虽然离着无穷还有无穷,但是为分布式大规模的深度学习算法提供了极高的带宽和极低的延迟,使通信的开销最小化,为训练各种深度网络提供了强大的平台。

谷歌、百度、Facebook、微软等互联网巨头都在投入巨资研发深度学习系统和与之配套的深度学习平台。其中,Google采用了超过1000个节点的CPU集群来进行GoogleNet的计算;百度的Minwa则采用了36个服务器,每台服务器配备4颗NVIDIA公司的Tesla K40m GPU加速处理器,互联网络采用FDR Infiniband (56Gb/s)。

我所在的SenseTime (商汤科技)采用了更为先进的技术来搭建超算平台:联合NVIDIA打造专注于做深度学习的服务器SenseBox,多节点相连,每台服务器配备8颗NVIDIA Tesla K80加速计算卡,可支持EDR Infiniband( 100Gb/s) 超高速互联网络,支持大规模扩展的深度学习计算平台Parrot等。

(有人会问:用这样的设备玩游戏会不会很快?答案是:土豪~)

从超算到服务,超算的未来已成雏形

在读本科和研究生的时候,我参加过很多的机器人竞赛,大多都与遥感、图像识别相关,但在当时,我就能明显地感受到神经网络训练的局限性,对于学生而言,成本、资源问题堪称科研路上的紧箍咒。

并不是所有人和团队都有能力搭建如此强大的计算机或建立复杂的深度神经网络,但所有人都渴望拥有人工智能体的创造权。等硬件条件成熟,深度学习的研究者们可以大展拳脚了,或许某一天,你可以下单订购你个人专属人工智能体,她知道你的爱好、理解你的行为:可以照顾生活、准备饭菜、照看孩子、安排日程、同期翻译……

当然,现在的服务还需要你确认特定的应用领域,给出训练样本和指标,深度学习平台如同一所学校,它将托管模型,运行培训,给出学习成果。可能运行于专用的深度学习云之上,各种应用需求都可以通过高速的互联网络获得基础支撑。深度学习服务,作为可以定制的专属人工智能,将渗透到各个行业领域。或许未来已经到来,我的目标就是在未来把真正的智能推广到每个人生活中。

本站文章信息来源于网络以及网友投稿,本站只负责对文章进行整理、排版、编辑,是出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性。如果您有什么意见或建议,请联系QQ28-1688-302!

人工智能实验室
相关文章相关文章
  • Android Wear又难产!然后,开发者不干了

    Android Wear又难产!然后,开发者不干了

  • 华为iLab发布社交VR网络承载研究成果

    华为iLab发布社交VR网络承载研究成果

  • 担忧机器人威胁论?DeepMind教机器人

    担忧机器人威胁论?DeepMind教机器人

  • 疑京东用户12G数据泄露 京东:源于3年前安全漏洞

    疑京东用户12G数据泄露 京东:源于3年前安全漏洞

网友点评网友点评
阅读推荐阅读推荐

科技讯11月28日消息,据英国《独立报》网站报道,如今世界对科技和创新如此关注,是因为人们渴望找到能够解决当前经济、社会和政治问题的解...

上周,科大讯飞、搜狗、百度先后召开发布会,对外公布语音识别准确率均达到「97%」。 而一如阑夕所言「一旦语音识别的准确率达到99%,那将...

想象AI的未来是很有趣的:家庭服务机器人、亚马逊的智能家庭中枢(Echo)等设备将走进每家每户,还有无人机快递和更加精准的医学诊断。这些...

中国AI产业大会12月16日举行:这里有你要的未来,人工智能 中国人工智能学会 机器人 院士 智能机器人 深度学习 AI 报名 ...