当前位置: 亚洲城ca88 > 亚洲城 > 正文

云协同难点,华为已完成全栈全场景AI解决方案的

时间:2020-01-27 02:50来源:亚洲城
Mind Studio 集成开发环境,可用于仿真形态下模型运行流程编排开发和 TBE算子开发。开发者可以创建深度学习应用,例如基于 Fasterrcnn的图像检测应用。如果有不支持的算子,可以通过

Mind Studio 集成开发环境,可用于仿真形态下模型运行流程编排开发和 TBE 算子开发。开发者可以创建深度学习应用,例如基于 Fasterrcnn 的图像检测应用。如果有不支持的算子,可以通过 TBE 自定义算子,然后再把已经训练好的模型转换成昇腾 AI 处理器的模型。

很多人问我,现在已有了TensorFlow、PyTorch框架,华为为什么还要开发并推出MindSpore框架。我告诉他们,由于没有任何一个现有框架支持全场景,而华为的业务覆盖端-边缘-云,且在隐私保护日渐重要的背景下,需要一个能支持全场景的框架,实现AI无所不在越来越基础的需求,这也是MindSpore的重要特色。针对不同的运行环境,MindSpore框架架构上支持可大可小 ,适应全场景独立部署。同时,MindSpore框架通过协同经过处理后的、不带有隐私信息的梯度、模型信息,而不是数据本身,以此实现在保证用户隐私数据保护的前提下跨场景协同。除了隐私保护,MindSpore还将模型保护Built-in到AI框架中,实现模型的安全可信。

Mind Studio 可提供面向 AI 算子开发、模型开发、应用开发的全栈全场景支持。算子开发上,支持 TBE 自定义算子、 支持 TBE 自定义算子插件开发、支持语法的智能纠错和代码自动补全;模型开发支持离线模型转换、支持模型算子精度比对、支持模型整网性能 profiling 分析、支持网络模型的可视化;应用开发支持 AI 应用开发与调试、支持代码框架自动生成、支持推理结果图形化展示、支持全系统调优。

为此,在去年HC会上我们提出:AI框架应该是开发态友好和运行态高效,更重要的是,要能适应每个场景包括端,边缘和云。

同时,为了助力开发者与产业从容地应对人工智能时代带来的系统级挑战,华为还提出了新编程范式、执行模式与协作方式三点技术创新点:

为了更好促进AI的应用,MindSpore将在2020年Q1开源,助力每一位开发者。

开发前准备:首先对 OS 类型及版本、AI 框架和模型、视频 / 图像编解码能力进行需求评估,然后再安装硬件与软件,搭建开发环境;

以下为徐直军演讲全文:

在新执行模式上,MindSpore 有几项关键技术。第一项是通过面向处理器的深度图优化技术,最大化实现数据、计算与通信的并行度。第二项利用梯度数据驱动的自适应图切分优化,实现去中心化的调度。第三项是自动整图切分可按算子输入输出数据纬度切分整图。最后一项是集群拓扑感知调度,感知集群拓扑自动调度子图执行,实现最小通信开销。

现有MDC是基于Ascend 310的,有效支持了自动驾驶的开发,未来面向规模商用,我们将陆续推出Ascend 610/620。针对AI训练,今天正式推出Ascend 910,未来还将计划推出Ascend 920。

伴随 AI 技术的发展,智能时代的快速推进,端、边、云全场景 AI 也将成为发展的新篇章。那面对全场景 AI 不同的计算需求与开发模式的差异,开发者如何快速进行开发并在端、边、云上全场景适配呢?

感谢大家参加今天的发布会,在去年华为HC大会上,我首次正式发布了华为AI战略和华为全栈全场景AI解决方案。

扫描:包括软件依赖库扫描、代码扫描、编译项扫描与兼容的软件白名单;

面向未来,针对不同的场景,我们将持续投资,推出更多的AI处理器,面向边缘计算场景,在已经商用Ascend 310基础上,计划2021年将推出Ascend 320。

12 月 20 日,DevRun选择不凡 华为技术沙龙昇腾专场来到杭州,围绕全场景 AI 开发面临的技术挑战,邀请华为多位 AI 领域技术专家,通过案例 实践,为现场开发者解读了全栈全场景 AI 计算框架与开发全流程。

首先是基于Ascend310 的产品和云服务的商用情况。

伴随 AI 技术的发展,智能时代的快速推进,端、边、云全场景 AI 也将成为发展的新篇章。那面对全场景 AI 不同的计算需求与开发模式的差异,开发者如何快速进行开发并在端、边、云上全场景适配呢?

应当说,昇腾910总体技术表现超出预期。我们已经把昇腾910用于实际AI训练任务。其中,在典型的ResNet-50 网络的训练中,昇腾910与MindSpore配合,与现有主流训练单卡配合TensorFlow相比,显示出接近2倍的性能提升。每秒训练的图片数量从965张提升到1802张。

算子比对可以对已经生成的模型和基准的模型进行算子的比对,比对的方式可以选择不同的算法,如 LowerBound 等。算子比对的结果可以发现出模型中各个算子计算结果的偏差,通过对偏差的大小设置,开发者可以快速定位出偏差较大的算子并进行优化。

CANN: 芯片算子库和高度自动化算子开发工具;

Matrix 的典型流程如上图所示。主要分为 Host 和 Device 两个部分,Host 属于服务器 CPU 侧,Device 属于 Atlas 300 AI 加速卡侧。Engine 作为流程的基本功能单元,允许用户自定义,实现数据输入、图片视频分类处理、结果输出等。Graph 则作为管理若干个 Engine 的流程,每个 Graph 在昇腾310 侧默认对应一个线程来处理。

经过近一年的努力,全场景AI计算框架MindSpore在这三个方面都取得了显着的进展:在原生适应每个场景包括端,边缘和云,并能够按需协同的基础上,通过实现AI算法即代码,使开发态变得更加友好,显着减少模型开发时间,降低了模型开发门槛。通过MindSpore自身的技术创新及MindSpore与Ascend处理器协同优化,实现了运行态的高效,大大提高了计算性能;MindSpore也支持GPU、CPU等其它处理器。

责任编辑:焦旭

1、基于昇腾310的Atlas、MDC产品:MDC和国内外主流车厂在园区巴士、新能源车、自动驾驶等场景深入合作;Atlas系列板卡、服务器和AI相关的数十家伙伴,在智慧交通、智慧电力等数十个行业落地AI行业解决方案;

为了满足开发者全场景 AI 开发的诉求,华为推出了 Mind Studio。Mind Studio 是一套基于华为昇腾 AI 处理器开发的 AI 全栈开发工具链,包括基于芯片的算子开发、模型开发与转换,AI 应用层开发等能力,让用户的算子、模型和应用最大限度的发挥出处理器的计算能力,又通过场景化的工具体验降低算子、模型、AI 应用的开发门槛。

Ascend: 基于统一、可扩展架构的系列化AI IP 和 芯片,包括Max,Mini,Lite,Tiny和Nano等五个系列;

移植:包括代码移植和编译项移植;

同时,我也分享了十个有关人工智能技术、人才、产业的重要变革方向。期望产业界围绕十个变革方向,来解决人工智能“辉煌”与“冷静”之间的巨大落差,开创未来。华为也围绕几个变革方向一直在努力实践。

针对迁移的痛点,鲲鹏提供了对应的工具链。利用分析扫描工具,分析移植软件包依赖库和软件代码文件,评估可移植性与移植工作量,以此提升软件移植分析效率和准确率。代码迁移工具 (Porting Advisor) 可分析待移植软件的源码文件,给出代码移植指导报告,来准确定位代码修改点及指导修改。

我宣布:算力最强的AI处理器 Ascend 910 正式推出。去年10月,我们发布了Ascend 910的技术规格,今天我向大家介绍最新的实际测试结果。

性能优化工具 (Tuning Kit) 在软件运行状态下,通过采集系统数据,分析出系统性能指标,定位到瓶颈点并给出调优建议。在前面调优的基础上,还提供了 glibc 基础库与 HMPP 两种加速库,目前已优化 16 个最常用接口,整体上同比 benchmark 测试指标提升 4.16%,gzip 压缩库有 8% 的性能提升。

在算力方面,测试结果表明,昇腾910完全达到了设计规格,即:半精度 : 256 Tera-FLOPS;整数精度 : 512 Tera-OPS。其次重要的是,达到规格算力所需功耗仅310W,明显低于设计的350W。

基于三个技术创新点,MindSpore 的核心架构分为以下几层:部署态包括了按需协作分布式架构、调度、分布式部署、通信库等;往上是执行高效层,另外是并行的 Pipeline 执行层和深度图的优化,再上层有 MindSpore 原生的计算图表达。支持了自动微分、自动并行、自动调优的特性点,形成 AI 算法即代码、运行高效、部署态灵活的一体化。

首先,请允许我回顾一下华为的AI战略:1、投资AI基础研究,在计算视觉、自然语言处理、决策推理等领域构筑数据高效、能耗高效,安全可信、自动自治的机器学习基础能力;2、打造面向云、边缘和端等全场景的、独立的以及协同的、全栈解决方案,提供充裕的、经济的算力资源,简单易用、高效率、全流程的AI平台;3、投资开放生态和人才培养,面向全球,持续与学术界、产业界和行业伙伴广泛合作;4、把AI思维和技术引入现有产品和服务,实现更大价值、更强竞争力;5、应用AI优化内部管理,对准海量作业场景,大幅度提升内部运营效率和质量。

以 Atlas 300 进行推理业务开发的流程为例,可以总结为以下几个环节:

为了降低AI开发者的开发门槛,MindSpore创造性地实现了AI算法即代码,使开发态变得更加友好,显着减少模型开发时间。以一个NLP典型网络为例,相比其他框架,用MindSpore可降低核心代码量20%,开发门槛大大降低,效率整体提升50%以上。

对于 Java、Python 等解释性语言,可以通过部署运行环境来实现跨平台支持。而对于 C、C 、Go 等编译型语言,需要获取源码编译。开源的软件可通过源码重新编译来实现迁移;商用闭源软件,可选取其它可替代的软件进行迁移,也可选择与 x86 平台混合部署。

MindSpore,支持端、边、云独立的和协同的统一训练和推理框架;

在转换过程中,开发者还可以配置模型中的输入和输出节点,量化配置参数,图像预处理的参数,生成满足开发者输入要求的更高效的模型。

随着昇腾910 AI处理器以及 MindSpore 全场景AI计算框架的推出,华为全栈全场景AI解决方案各重要组成部分悉数登场,因此可以说,华为已完成了全栈全场景AI解决方案的构建。

新编程范式基于源码转换机制生成抽象语法树的思想,在接口层支持原生的 Python 编程和控制流表达,增强可编程性。在中间编译层复用编译器优化的能力进行代码优化,实现更高性能。在算子层利用算子自动生成,以及软硬件协同优化,简单代码便可自动化生成高性能算子。同时灵活的可视化接口与动静结合的框架, 整体达到易用、高效、易调试的效果。

应用使能:提供全流程服务,分层API和预集成方案。

4 实现平稳迁移到鲲鹏的全流程

8月23日下午消息,华为今日正式发布了AI芯片昇腾910及全场景AI计算框架MindSpore。华为轮值董事长徐直军在发布会上表示,昇腾910和MindSpore的推出,标志着华为已完成全栈全场景AI解决方案的构建。

新编程范式:实现 AI 算法即代码,打破模型开发技能需求高的挑战,降低了 AI 开发的门槛;

我们通过MindSpore框架的技术创新及把MindSpore框架与昇腾处理器的协同优化,有效克服AI计算的复杂性和算力的多样性挑战,实现了运行态的高效,大大提高了计算性能。除了昇腾处理器,MindSpore同时也支持GPU、CPU等其它处理器。

通过 Graph 配置文件,配置 Engine 之间的串接和节点属性,节点间数据的实际流向根据具体业务在节点中实现,通过 APP 向业务流的开始节点灌入数据启动整个 Engine 的计算流程。

同时也利用此次机会,再次介绍一下华为全栈、全场景解决方案。我们提出的全场景,是指 包括公有云、私有云、各种边缘计算、物联网行业终端以及消费类终端等部署环境。我们说的全栈是技术功能视角,是指包括芯片、芯片使能、训练和推理框架和应用使能在内的全堆栈方案。华为的全栈方案具体包括:

3 解读 MindSpore 三大技术创新点

这对华为的AI业务,已是一个新的里程碑,更是一个新的开始,期待与伙伴更加深入、广泛的合作,让AI无所不及,造福于每个人、每个家庭、每个组织。更震撼的AI新品,敬请关注HC2019。

测试验收:最后进行功能测试、可靠性测试、可维护性与性能测试等验收测试,保证产品可商用。

其次是ModelArts的商用进展。ModelArts全流程模型生产:打通、覆盖了从数据获取-模型开发-模型训练-模型部署的全链条,日均作业量以及在线开发者:日均训练作业任务超过4000个,32000小时,其中:视觉类作业占85%,语音类作业占 10%, 机器学习5%,ModelArts已经拥有开发者超过3万。

2 应用 Mind Studio,降低 AI 开发门槛

2、基于昇腾310的华为云服务:华为云图像分析服务、OCR服务、视频分析服务 超过50 API都已经基于Ascend 310服务,日均调用量超过1亿次,而且在快速增长,预计年底日均调用量 >3亿。

全场景按需协同:面对端、边、云三类应用场景需求与目标不同,通过统一的框架来实现按需协同。

今天还要发布全场景AI计算框架MindSpore。能否大大降低AI应用开发的门槛,能否实现AI将无处不在,能否在任何场景下确保用户隐私得到尊重和保护,这些都与AI计算框架息息相关。

优化:包括系统、应用、进程性能优化分析。

1 如何基于 Atlas 进行推理业务开发?

业务迁移:基于 Matrix 业务软件框架,调用各类接口来完成推理业务的软件开发和算法迁移;

新执行模式:针对 AI 领域的计算复杂性和算力多样性的运行态挑战,通过 On-Device 的执行模式,来提升执行效率。

针对目前计算框架仍存在的开发门槛高、运行成本高、部署难度大等亟需解决的问题,以及在技术战和贸易战的压力下,华为在支持业界 AI 框架的基础上,自主研发了支持端、边、云独立和协同、统一的训练和推理框架MindSpore。

利用鲲鹏处理器与 Atlas 产品结合,可打造出高性能的 AI 解决方案。不过,由于鲲鹏平台和 x86 平台的架构存在差异,要想将 x86 平台上的软件在鲲鹏平台上运行,还需要对软件进行迁移,编译成可供鲲鹏平台识别的指令。

在整个软件迁移过程中,策略选择是非常重要的,能够直接影响后面软件迁移的工作量和迁移的可实行性。

模型开发支持当前业界主流框架 Tensorflow、Caffe 等,通过转换工具将模型转换成昇腾 AI 处理器的格式,来发挥出芯片的加速能力。算子比对功能可以通过与业界标准的模型对比,识别出模型算子的精度差异并优化。

面对端、边、云不同的 AI 算力需求,华为提出全栈全场景 AI 解决方案。作为全栈全场景 AI 解决方案的基石,Atlas 人工智能计算平台基于华为昇腾 AI 处理器和业界主流异构计算部件,通过模块、板卡、小站、AI 服务器、集群等丰富的产品形态,满足了全场景 AI 的算力需求。

集成调优:对系统整体体性能进行优化,包括应用侧和算法模型侧。

新协作方式实现了统一架构下的端云协同训练和推理,避免硬件架构多样性导致的全场景下部署差异和不确定性,以及训练推理分离导致的模型孤立。

整个迁移过程需要经过以下几个步骤:

编辑:亚洲城 本文来源:云协同难点,华为已完成全栈全场景AI解决方案的

关键词: 亚洲城ca88