真龙宝具:AWS推出自定义机器学习推理芯片
真龙宝具讯:在启动运行在Arm芯片上的云服务器的三天后,AWS宣布,它还设计了自己的处理器,用于机器学习应用程序中的推理。周三上午,在拉斯维加斯举行的云计算巨头AWS年度大会上,AWS首席执行官安迪•雅西(Andy Jassy)在主题演讲中宣布了这款名为“AWS Inferentia”的推理芯片。
AWS的竞争对手谷歌云在2016年发布了其首款定制机器学习芯片张量处理单元。谷歌说,到那时,它已经在数据中心运行TPU大约一年了。
谷歌目前是第三代TPU,它一直以云服务的形式提供给客户。亚马逊在云计算市场的最大竞争对手微软Azure尚未推出自己的处理器。这三家公司都使用Nvidia GPU作为机器学习工作负载加速服务;AWS和Azure也为机器学习提供FPGA。
与亚马逊定制的Arm处理器一样,Inferentia也是在安纳普尔纳(Annapurna)工程师的帮助下设计的,这家以色列初创公司于2015年被亚马逊收购。
AWS计划向客户提供Inferentia,但它将与谷歌提供的产品非常不同。与为训练机器学习模型而设计的TPU不同,推论是为推理而设计的,推理是一个系统在经过训练后所做的决策。这是在模特经过成千上万张带有标签的猫咪照片的训练后,识别图片中猫的部分。
Jassy称,制造机器学习加速器处理器的公司——最大的是英伟达(Nvidia)——将大部分注意力放在优化处理器以进行培训上。这就是为什么AWS决定专注于设计更好的推理芯片。
他没有透露任何有关该芯片设计或性能的细节,也没有透露该芯片将于何时上市。该公司在其网站上表示,每个推理芯片“提供了数百个top (tera运算每秒)的推理吞吐量……为了获得更高的性能,多个AWS推理芯片可以一起驱动数千个top的吞吐量。”
Jassy说:“它可以在所有EC2实例类型上使用,也可以在SageMaker中使用,并且可以通过弹性推理来使用它。”SageMaker是一个AWS管理的服务,用于构建和培训机器学习模型。
Jassy周三宣布,弹性推理是AWS的一个新特性。它使用户能够根据需要自动伸缩部署在云中的推理处理器容量。
P3实例是亚马逊云上最流行的机器学习实例。如果没有它,用户必须为峰值需求提供足够的P3容量,在系统不在峰值运行时为未使用的容量付费。
Jassy说,这导致P3实例上gpu的平均利用率为10%到30%。
弹性推断可以附加到AWS中的任何EC2实例上,并根据需要进行伸缩,这可能为用户节省很多钱。Jassy说,它可以检测用户使用的机器学习框架,找到最能从硬件加速中获益的部件,并自动将它们转移到加速器上。
目前,这款加速器将是一款Nvidia GPU。根据Jassy的说法,一旦Amazon添加了Inferentia选项,它希望自己的芯片能够比使用弹性推理的gpu带来额外的“10倍”成本改善。
相关阅读
最新文章
随机推荐
- 让安全成为习惯
- 2017年工业信息安全技能大赛决赛结果揭晓
- 助力脱贫攻坚,创建慈善城市——南阳小学开展“慈善日”捐款活动
- 一个男鞋品牌萨尔美第奇(SALMEDICI)的50年发展历程
- 公共设施怎可“一蹴而就”
- 梅硐镇派出所所开展岁末年初安全大检查
- “中国航天启明图书室”落户安徽淮北市
- 女友送宵夜,男友嫌弃扔垃圾桶,半夜收到信息哭肿了眼
- 油价迎来调整,熟悉的中石化回来了,熟悉的92号汽油回来了吗?
- 干货 | 什么是食物浪费?
- 练轩宁如何做到从月薪3000一年时间到月薪30万
- 孟母光辉耀华夏 厚德载物铸母恩 --孟母文化节启幕
- 万顺叫车合伙人:永远都忘不了这一份情
- 15岁儿子被父亲用绳子拴着上街,路人:这是遛狗还是遛娃?
- 有趣的科学|机身上的小细节
- 科技晚报:万达电影今日复牌 LG为超市开发智能购物车
- 三门峡职业技术学院召开首届师德师风建设主题教育月活动动员会
- “中国航天启明图书室”落户浙江衢州市
- 中国杰出的经济学专家——浙江财经大学教授金戈博士专访
- 职工冷暖挂心间 关怀慰问暖人心
最新评论
更多评论