当前位置: 主页 > 日博娱乐 > 正文

IBM秀出产并行锻炼肌肉:256个GPU还能拥有95%的拓

来源:未知 时间:2018-09-23 09:31

  雷锋网 AI 科技评论按:IBM 切磋院上传了壹篇论文到 arXiv,伸见了己己己信直却以到臻雄心干用的散布匹式吃水念书绵软件,它不单带到来了优秀的沟畅通开销,让64台IBM效力动器上的256个英伟臻GPU发挥动出产了95%的拓展效力,锻炼时间和模具正确比值也区别创下了新纪录。完成此雕刻项切磋的团弄队担负人 IBM Fellow Hillery Hunter 也为此撰写了壹篇文字,伸见了此雕刻个绵软件的更多信息。雷锋网 AI 科技评论编译如次。

  吃水念书是壹种普遍运用的人工智能方法,它却以让计算机了松和提画面和音响中的含义,人类世界对世界的父亲微少半体验也坚硬是到来己此雕刻两种感官的。此雕刻么的技术拥有潜力给生活中的方方面面带到来打破开,小取机上的app,父亲到医学图像诊断。条是何以提升吃水念书的正确比值和何以构建父亲规模的使用吃水念书体系此雕刻两个技术效实壹直左右亘在人们面前,譬如父亲型的、骈杂的吃水念书模具所需的锻炼时间就需寻求几天甚到几周。

  IBM 切磋院中的壹顶团弄队就壹直专注于处理此雕刻么的效实,他们的目的是投降低用父亲规模数据集儿子锻炼父亲型模具所需的时间,最好能把锻炼时间从几天、几小时,延年更加寿到几分钟、几秒,同时还要提高模具的正确比值。此雕刻是什分庞父亲的应敌,他们依托在数群多的效力动器和英伟臻GPU上运转散布匹式吃水念书到来应对应敌。

  父亲微少半尽先顺手的吃水念书框架邑却以便宜地从单个GPU拓展到相畅通个效力动器内的多个GPU上,条是持续拓展到多个效力动器之间就不行了。IBM团弄队(Minsik Cho, Uli Finkler, David Kung等人)就在此雕刻边发挥动拳脚丫儿子,他们重行编写了绵软件和算法,让父亲规模、骈杂的计算工干却以在几什个效力动器中的上佰个GPU之间己触动并行并优募化。

  IBM秀出产并行锻炼肌肉:256个GPU还能拥有95%的拓展效力,特刷新ImageNet-22K记载

  IBM Fellow Hillery Hunter主带开辟的新绵软件让GPU的处理快度提升到了史无前例的程度

  IBM 的绵软件摒除了却以让不一效力动器之间的锻炼经过完整顿同步之外面,它们的沟畅通开销也什分小。从结实上看,当吃水念书算法拓展到了超越100个英伟臻GPU被骗前,它在具拥有750万图像的 ImageNet-22K 数据集儿子的图像识佩测试中发皓了33.8%正确比值的新纪录,此雕刻项测试此前的最好结实是到来己微绵软的29.8%。在此雕刻项测试中违反掉落4%的正确比值提升是什分难得的,以往的各项切磋所能带到来的提升日日邑不到1%。IBM 开收回的散布匹式吃水念书(distributed deep learning,DDL)方法不单让他们在正确比值上违反掉落了惊人的提升,在装着上佰个英伟臻GPU的几什台效力动器上锻炼壹个 ResNet-101 神物经网绕需寻求的时间也条需寻求不到7个小时;微绵软锻炼相畅通个模具花了10天。正是靠着 DDL 代码和算法处理了原本绵软弱小的吃水念书框架在拓展性方面的诸多效实,IBM 才却以臻此雕刻么的效实。