鲲鹏生态应用开发
上QQ阅读APP看书,第一时间看更新

1.2 鲲鹏计算产业组成

如图1-1所示,鲲鹏计算产业是基于鲲鹏处理器的基础软硬件设施、行业应用及服务,涵盖从底层硬件、基础软件到上层行业应用的全产业链条。纵观鲲鹏计算产业生态全景,硬件方面,围绕鲲鹏处理器,包括昇腾AI芯片、智能网卡芯片、底板管理控制器(Baseboard Managem Controller,BMC)芯片、固态硬盘(SSD)、磁盘阵列卡(Redundant Arrays of Independent Drives,RAID卡)、主板等部件以及个人计算机、服务器、存储等整机产品。基础软件方面,涵盖操作系统、虚拟化软件、数据库、中间件、存储软件、大数据平台、数据保护和云服务等基础软件及平台软件。行业应用方面,鲲鹏计算产业生态覆盖政府、金融、电信、能源、大企业等各大行业应用,提供全面、完整、一体化的信息化解决方案。

1.2.1 鲲鹏计算产业定义

当前,全球进入以数据为关键生产要素的数字经济时代,数字化应用的蓬勃发展促使数据资源发生新变化,数据体量爆发式增长、数据结构多样性演变、数据资源泛在分布以及每比特数据应用成本不断下降。数据要素变化引发计算技术演进,异构、极致、泛在、协同、绿色、普惠成为数字经济时代“新计算”特征,为全球计算产业带来发展新机。

图1-1 鲲鹏计算产业

2016年4月成立的绿色计算产业联盟,它们在创新、绿色、开放、共享的发展理念的指引下,一直致力于不断汇聚全球产业链优势资源,持续推动了绿色计算产业的发展。

鲲鹏计算满足高性能、低功耗、低时延的绿色计算要求,有巨大的市场空间,同时有中国电子技术标准化研究院、Arm中国、华为等行业翘楚支持,发展鲲鹏计算产业已经具备了技术和商业基础。

鲲鹏计算产业包括处理器、服务器、存储、虚拟、操作系统、中间件、数据库、云服务、行业应用以及资讯管理服务等。

图1-2所示为鲲鹏与昇腾产业全景,结合图1-1可看出华为从两大核心处理器系列入手,逐步扩展它的生态,以及布局应用落地场景。鲲鹏计算产业基于鲲鹏和昇腾两大处理器,不断推进算力、数据基础设施和云三方面创新,围绕四大生态建设,在大数据、数据库、原生应用、高性能计算、云服务等五大典型应用场景中初露锋芒。

图1-2 鲲鹏与昇腾产业全景

鲲鹏计算产业不仅构建了一套新的产业发展体系,而且其鲲鹏处理器的高性能、高集成和高吞吐、高能效等特性,为产业提供了第二种选择。

华为作为鲲鹏计算产业的成员,聚焦于发展Kunpeng处理器的核心能力,通过战略性、长周期的研发投入,吸纳全球计算产业的优秀人才和先进技术,构筑Kunpeng处理器的业界领先地位,为产业提供绿色节能、安全可靠、极致性能的算力底座。上下游厂商基于Kunpeng处理器发展自有品牌的产品和解决方案,和系统软件及行业应用厂商一起打造有竞争力的差异化解决方案。面向千行百业的应用发展牵引ICT(Information Communication Technology,信息和通信技术)的持续创新,各领域涌现出的新行业领先者将聚拢产业力量、主导行业发展方向,最终形成具有全球竞争力的计算产业集群。

鲲鹏计算产业通过对业界提供基于鲲鹏处理器的软硬件基础设施,高效满足市场对“新计算”的需求,支撑全社会数字化转型。同时,鲲鹏计算产业的落地将带动计算产业链集聚发展,促进产业协同创新,激发地方投资就业活力,形成数字经济发展新动能。

全球在新冠疫情的影响下,云上工作生活成为“新常态”。各主要经济体把数字技术作为走出危机之道,开启大规模数字基础设施建设,加速数字化进程。例如,欧盟推出规模达7500亿欧元的“下一代欧盟”刺激计划,旨在推动后疫情时代的数字基础设施建设,包括加快5G部署,加强AI、云、高性能计算等战略技术的建设和应用,以全面推动数字经济发展,激发创新和创造就业。

中国加速新型基础设施建设,以新发展理念为引领、以技术创新为驱动、以信息网络为基础,面向高质量发展需要,打造升级、融合、创新的基础设施体系。各省份陆续出台政策和规划,加速产业数字化转型。作为数字经济发展的支撑底座,计算产业在此次浪潮中将迎来巨大的发展机遇。

未来,不同应用领域间的巨大差异将催生更多的细分生态,结合上层应用的负载特征、调配处理效率最优的底层计算资源、实现计算资源利用率的最大化,将成为计算产业发展方向。

1.2.2 华为鲲鹏处理器

CPU是一块超大规模的集成电路,是一台计算机的运算核心和控制核心,它的功能主要是解释计算机指令以及处理计算机软件中的数据。

中央处理器主要包括运算器(算术逻辑单元,ALU,Arithmetic and Logic Unit)和高速缓冲存储器(Cache)及实现它们之间联系的数据(Data)、控制及状态的总线(Bus)。它与内部存储器(Memory)和输入/输出(I/O)设备合称为电子计算机三大核心部件。

简单来说,CPU相当于电子计算机的大脑,它有条不紊地处理着千千万万的数据,以保障电子计算机的运行。CPU的依靠指令来自计算和控制系统,每款CPU在设计时就规定了一系列与其硬件电路相配合的指令系统。指令的强弱是CPU的重要指标,指令集是提高微处理器效率的最有效工具之一。

华为从2004年开始基于ARM技术自研芯片,2014年发布Kunpeng 912处理器,2016年发布Kunpeng 916处理器,2019年1月发布Kunpeng 920处理器。Kunpeng 920处理器是业界第一颗采用7nm工艺的数据中心级的ARM架构处理器,主要目的在于满足数据中心的多样性计算和绿色计算需求,具有高性能,高宽带,高集成度,高效能四大特点。

鲲鹏处理器的产品系列见表1-1。

表1-1 鲲鹏处理器的产品系列

鲲鹏处理器的产品系列种类繁多,接下来以鲲鹏920处理器为例进行详细介绍,如图1-3所示。

图1-3 鲲鹏920处理器

鲲鹏920处理器兼容ARM架构,采用7nm工艺制造,可以支持32/48/64个内核,最高主频可达3.0GHz,支持8通道DDR4、PCle4.0和100G RoCE[RDMA(Rerwote Direct Menury Access,远程直接内存访问)over Converged Etheruet,通过以太网使用远程直接内存访问]网络。高性能、高吞吐、高集成、高效能是鲲鹏920处理器的产品特点,见表1-2。

表1-2 鲲鹏920处理器的产品特点

华为的鲲鹏920处理器在异构计算、大数据分析、分布式存储、智能计算、ARM原生应用、数据中心等领域应用广泛。通过优化分支预算法、提升运算单元数量、改进内存子系统架构等一系列微架构设计,大幅提高了处理器性能。鲲鹏920是华为面向智能计算领域推出的基于ARM架构的处理器,基于鲲鹏920处理器华为推出了相关的TaiShan系列服务器产品。TaiShan服务器分别面向均衡性、存储型、高密型等几种机型的服务器市场均推出了对应产品。同时合作伙伴基于Kunpeng 920处理器,推出对应的服务器产品,例如“湖南造”湘江鲲鹏服务器、四川长虹“天宫服务器”、宝德自强PR210K机架服务器等。

在鲲鹏产业当中,作为底座的鲲鹏芯片非常重要,正是因为有了芯片,所以才使得各类鲲鹏计算产品以及上层软件和应用的推广成为可能。在鲲鹏的芯片底座中,包括通用处理器芯片、AI芯片、存储控制器、网络互联智能网卡、智能管理芯片等,其中最为重要的就是通用处理器芯片鲲鹏和AI芯片昇腾。根据数据显示,之前的服务器技术一直被西方国家垄断,全球97%的服务器处理器为x86架构,英特尔在该领域内有领先优势,从2019年华为发布鲲鹏920芯片开始,由于其性能已经达到业内领先水平,因此标志着国内厂商在服务器CPU领域开始在全球市场中崭露头角。

鲲鹏已经在华为消化吸收ARMv8架构的基础上,性能有了很大提升。目前华为已经取得了ARM v8架构的永久授权,并在此基础上完全自主研发了处理器核、微架构和芯片。鲲鹏处理器从指令集和微架构两方面进行了兼容性设计,确保新的产品既能够向后兼容已有产品又能适应未来的应用和技术发展。从目前华为发布的芯片性能来说,包括工艺、路程、主频、功耗等方面,我们可以看出鲲鹏系列芯片性能已经达到第一梯队的标准。

1.什么是ARM架构

华为鲲鹏处理器基于ARM架构。ARM是一种CPU架构,它有别于Inter、AMD CPU采用的CISC(Complex Instruction Set Computing,复杂指令集运算),ARM CPU采用的是RISC (Reduced Instruction Set Computer,精简指令集计算机)。由于传统的CISC指令集庞大,指令长度不固定,指令执行周期有长有短,因此指令译码和流水线的实现在硬件上非常复杂,给芯片的设计开发和成本的降低带来了极大困难。随着计算机技术的发展,新的复杂的指令集需要被引入,为支持这些新增的指令,计算机的体系结构会越来越复杂。然而,在CISC指令集的各种指令中,其使用频率却相差悬殊,大约有 20%的指令会被反复使用,占整个程序代码的80%。而余下的80%的指令不经常使用,在程序设计中只占20%,显然,这种结构是不太合理的。

针对这些明显的弱点,1979年美国加州大学伯克利分校提出了RISC的概念,RISC不是简单地减少指令,而是把着眼点放在了使计算机的结构更加简单合理地提高运算速度上。RISC结构优先选取使用频率最高的简单指令,避免复杂指令,将指令长度固定,减少指令格式和寻址方式种类;以控制逻辑为主,不用或少用微码控制等措施。

ARM处理器本身是一个32位精简指令集设计,其广泛地使用在许多嵌入式系统中。由于节能的特点,ARM处理器非常适用于移动通信领域,符合其主要设计目标为低耗电的特性。目前,ARM家族在所有32位嵌入式处理器中占75%的比例,成为全世界占比最多的32位架构之一。ARM处理器可以在很多消费性电子产品上看到,从可携式装置,如PDA、移动电话、多媒体播放器、掌上型电子游戏和计算机,到电脑外设,如硬盘、桌上型路由器,甚至在导弹的弹载计算机等军用设施中都有它的存在。此外还有一些基于ARM设计的派生产品,重要产品还包括Marvell的XScale架构和德州仪器的OMAP系列。

2.ARM架构图

图1-4所示是ARM架构,它由32位ALU、若干个32位通用寄存器以及状态寄存器、8位乘法器、32位桶形移位寄存器、指令译码以及控制逻辑、指令流水线和数据/地址寄存器组成。

① ALU:它由两个操作数锁存器、加法器、逻辑功能、结果以及零检测逻辑构成。

② 桶形移位寄存器:ARM采用了32位的桶形移位寄存器,这样可以使左移/右移n位、环移n位和算术右移n位等一次完成。

③ 高速乘法器:一般采用“加一移位”的方法来实现乘法。ARM为了提高运算速度,采用两位乘法的方法,根据乘数的2位来实现“加一移位”运算。ARM高速乘法器采用8位的结构,可以降低集成度(其相应芯片面积不到并行乘法器的1/3)。

④ 浮点部件:作为选件供ARM构架使用。浮点加速器作为协处理方式与ARM相连,并通过协处理指令的解释来执行。

⑤ 控制器:采用的是硬接线的可编程逻辑阵列。

⑥ 寄存器:有限存贮容量的高速存贮部件,可用来暂存指令、数据和地址。在中央处理器的控制部件中,包含的寄存器有指令寄存器和程序计数器;在中央处理器的算术及逻辑部件中,寄存器有累加器。

图1-4 ARM架构

3.x86架构图

目前的PC架构绝大多数都是Intel的x86架构。1978年6月8日,Inter发布了新款 16位微处理器“8086”,同时开创了一个新时代。在40多年的发展历史中,x86家族不断壮大,从桌面到笔记本、服务器、超算、便携设备等领域,期间挫败、限制和许多竞争对手的发展,让不少处理器厂商及其架构技术成为历史名字,同时确定了Intel如日中天的地位,成为了业界的标准。

x86架构是微处理器执行的计算机语言指令集,指一个Intel通用计算机系列的标准编号缩写,标识一套通用的计算机指令集合。以PC架构为例,如图1-5所示。

图1-5 PC架构

根据不同的主板、平台,架构是略有差别的,比如说,目前很多主板已经将北桥集成到CPU中,将南桥集成为PCH。架构图上的各个内容的简介如下。

① CPU是计算机的核心大脑。

② 北桥(North Bridge)是电脑主板上的一块芯片,位于CPU插座边,起连接作用。

③ 南桥芯片(South Bridge Chipset)是主板芯片组的重要组成部分,一般位于主板上离CPU插槽较远的下方,PCI(Peripheral Component Interconnect,外设部件五连标准)总线插槽的附近,这种布局是考虑到它所连接的I/O总线较多,离处理器远一点有利于布线。

④ 内存是计算机中重要的部件之一,它是与CPU进行沟通的桥梁。计算机中所有程序的运行都是在内存中进行的,因此内存的性能对计算机的影响非常大。

⑤ 显卡(Video Card、Graphics Card,全称显示接口卡),又称显示适配器,是计算机最基本配置、最重要的配件之一。

⑥ 显示接口。

⑦ 网卡是工作在链路层的网络组件,是局域网中连接计算机和传输介质的接口,不仅能实现与局域网传输介质之间的物理连接和电信号匹配,还涉及帧的发送与接收、帧的封装与拆封、介质访问控制、数据的编码与解码以及数据缓存的功能等。

⑧ 声卡的基本功能是把来自话筒、磁带、光盘的原始声音信号加以转换,输出到耳机、扬声器、扩音机、录音机等声响设备,或通过音乐设备数字接口(Musical Instrument Digital Interface,MIDI)使乐器发出美妙的声音。

⑨ SATA(Serial Advanced Technology Attachment,串行高级技术连接)是一种基于行业标准的串行硬件驱动器接口,是由Intel、IBM、Dell、APT、Maxtor和Seagate公司共同提出的硬盘接口规范。

⑩ 硬盘是电脑主要的存储媒介之一,由一个或者多个铝制或者玻璃制的碟片组成。碟片外覆盖有铁磁性材料。

⑪ 总线是计算机各种功能部件之间传送信息的公共通信干线,由导线组成的传输线束,按照计算机所传输的信息种类,计算机的总线可以划分为数据总线、地址总线和控制总线,分别用来传输数据、数据地址和控制信号。

1.2.3 TaiShan服务器

TaiShan服务器是华为新一代数据中心服务器,基于华为鲲鹏处理器,系统最高提供128核、3.0GHz主频和计算能力和最多27个SAS/SATA HDD和SSD硬盘。具有高性能、低功耗以及灵活扩展能力等特点。适合在大数据、分布式存储、Web、ARM原生、高性能计算核数据库等应用加速,旨在满足数据中心多样性计算、绿色计算的需求。

1.高效能计算

TaiShan服务器旨在将高效能计算带入数据中心,充分发挥华为鲲鹏处理器的多核计算、高并发、低功耗、高效加速应用等特点,为大数据、分布式存储、数据库、HPC(High Performance Computing,高性能计算)等应用提供高效能计算。

2.安全可靠

TaiShan服务器所采用的鲲鹏处理器由华为自主设计和研发,能够确保核心技术的长期演进。同时Taishan服务器聚集了华为在计算工程能力的长期积累,铸就泰山服务器稳如泰山的品质。

3.开放生态

TaiShan服务器是一个开放的计算平台,支持业界主流软件,华为愿意携手产业伙伴,基于鲲鹏处理器和TaiShan服务器,共同构建一个开放、共赢的生态系统,共创计算新高度。

TaiShan服务器家族包含基于鲲鹏916处理器的TaiShan 100服务器和基于鲲鹏920处理器的TaiShan 200服务器,提供计算均衡型、存储计算型和高密计算型等不同产品型号,见表1-3。

表1-3 TaiShan服务器不同产品型号

TaiShan 100服务器(已淘汰)技术规格见表1-4。

表1-4 TaiShan 100服务器技术规格

TaiShan 200服务器技术规格见表1-5。

在服务器领域,华为携手生态合作伙伴共同聚焦ARM产业发展,提出TaiShan分布式存储解决方案、TaiShan数据库解决方案、TaiShan原生应用解决方案、TaiShan服务器解决方案、TaiShan高性能计算解决方案以及TaiShan大数据解决方案六大解决方案。

表1-5 TaiShan 200服务器技术规格

其中,备受关注的华为TaiShan服务器解决方案,如图1-6所示,通过聚焦特定应用场景,充分发挥鲲鹏ARM处理器多核架构、高并发的计算优势,将高效能计算带入每一个数据中心,帮助客户面向应用持续优化计算性能和数据中心的运维成本。TaiShan分布式存储解决方案主要是内置硬件加速,释放计算潜能、降低TCO(Total Cost of Ownership,总拥有成本);TaiShan数据库解决方案主要运用RoCE、多核调度优化算法、NUMA三大技术为数据库加速;TaiShan原生应用解决方案主要是同构部署、零性能损耗,完美应对移动应用云化;TaiShan高性能计算解决方案主要是八通道内存技术提供超高内存带宽,加速访存密集型HPC应用;TaiShan大数据解决方案主要是多核高并发,匹配海量数据处理需求。

图1-6 TaiShan服务器解决方案

服务器系统架构如图1-7所示。系统由客户层、应用层、数据层组成。而应用层又分为控制层、业务逻辑层、基础服务层;数据层分为数据访问层以及数据存储层。

图1-7 服务器系统架构

1.2.4 华为云鲲鹏云服务

随着互联网和移动互联网的快速发展,企业在数字化转型时面临各种各样的挑战,例如管理效率/水平难以跟上业务的发展,业务孤岛难以形成合力;创新业务试错,业务的不确定性,初期无法大规模投入,大规模投入交付周期长,无法满足业务快速变化的需求;业务浪涌式或爆发式增长,企业难以快速响应,上线周期长,难以把握机会窗口;企业业务和数据可靠性、安全性受限于技术、资金、人才等因素,存在隐患和不到位等限制企业数字化转型。

云服务的实质就是云计算,是指将“计算”“存储”“网络”等资源或者能力以服务的方式提供用户使用。用户只关心应用的功能,而不关心应用的实现方式,应用的实现和维护由其提供服务的供应厂商完成,用户根据自己的需求获取对应的应用服务及资源。

云服务是企业数字化转型的趋势,通过云服务提升客户服务、降低运作成本、提高业务处理效率。客户通过依托云服务的弹性拓展能力,增强业务服务能力,确保业务体验,还可以利用新技术服务如AI、IoT进行业务创新;通过云服务可降低生产系统运作成本,降低通信和IT系统的总体拥有成本;通过云服务员工,可进行高效率的业务处理及协作,方便员工外出时远程和移动办公。

图1-8所示为华为云鲲鹏云服务,基于鲲鹏处理器等多元基础设施,涵盖裸机、虚机、容器等形态,具备多核高并发特点,适合AI、大数据、HPC、云手机/云游戏等场景。

图1-8 华为云鲲鹏云服务

1.弹性云服务器

弹性云服务器(Elastic Cloud Server,ECS)是云服务的典型产品之一,由CPU、内存、操作系统、云硬盘组成的基础的计算组件。ECS创建成功后,就可以像使用自己的本地PC或物理服务器一样,在云上使用弹性云服务器。而且ECS的开通是自助完成的,只需要指定CPU、内存、操作系统、规格、登录鉴权方式即可,同时可以根据自己的需求随时调整ECS的规格。华为致力打造可靠、安全、灵活、高效的计算环境。

(1)产品架构

通过和其他产品、服务组合,ECS可以实现计算、存储、网络、镜像安装等功能。ECS产品架构如图1-9所示。

图1-9 ECS产品架构

① ECS在不同可用区中部署(可用区之间通过内网连接),部分可用区发生故障后不会影响同一区域内的其他可用区。

② 可以通过虚拟私有云建立专属的网络环境,设置子网、安全组,并通过弹性公网IP实现 外网链接(需带宽支持)。

③ 通过镜像服务,可以对弹性云服务器安装镜像,也可以通过私有镜像批量创建ECS,实现快速的业务部署。

④ 通过云硬盘服务实现数据存储,并通过云硬盘备份服务实现数据的备份和恢复。

⑤ 云监控是保持弹性云服务器可靠性、可用性和其他性能的重要部分,通过云监控,用户可以观察ECS资源。

⑥ 云备份(Cloud Backup and Recovery,CBR)提供云硬盘和ECS的备份保护服务,支持基于快照技术的备份服务,并支持利用备份数据恢复服务器和磁盘的数据。

(2)优势

ECS可以根据业务需求和伸缩策略,自动调整计算资源。客户可以根据自身需要自定义服务器配置,灵活地选择所需的内存、CPU、带宽等配置,打造可靠、安全、灵活、高效的应用环境。

(3)稳定可靠

1)丰富的磁盘种类

提供普通I/O、高I/O、通用型SSD、超高I/O、极速型SSD类型的云硬盘,支持云服务器不同业务场景需求。

① 普通I/O云硬盘:安全、可靠、可弹性扩展,适用于大容量、读写速率要求不高、事务性处理较少的应用场景。

② 高I/O云硬盘:高性能、高扩展、高可靠,适用于性能相对较高,读写速率要求高,有实时数据存储需求的应用场景。

③ 通用型SSD:高性价比,适用于高吞吐、低时延的企业办公场景。

④ 超高I/O云硬盘:低时延、高性能,适用于高性能,高读写速率要求,读写密集型应用场景。

⑤ 极速型SSD:采用了全新低时延拥塞控制算法的RDMA技术,适用于需要超大带宽和超低时延的应用场景。

2)高数据可靠性

基于分布式架构的,可弹性扩展的虚拟块存储服务;具有高数据可靠性,高I/O吞吐能力,能够保证任何一个副本故障时快速进行数据迁移恢复,避免单一硬件故障造成数据丢失。

3)支持云服务器和云硬盘的备份及恢复

可以预先设置自动备份策略,实现在线自动备份;也可以根据需要随时通过控制台或API,备份云服务器和云硬盘指定时间点的数据。

(4)安全保障

1)多种安全服务,多维度防护

Web应用防火墙、漏洞扫描等多种安全服务提供多维度防护。

2)安全评估

提供用户云环境的安全评估,帮助用户快速发现安全弱点和威胁,同时提供安全配置检查,并给出安全实践建议,有效减少或避免网络病毒和恶意攻击带来的损失。

3)智能化进程管理

提供智能的进程管理服务,基于可定制的白名单机制,自动禁止非法程序的执行,保障ECS的安全性。

4)漏洞扫描

支持通用Web漏洞检测、第三方应用漏洞检测、端口检测、指纹识别等多项扫描服务。

(5)弹性伸缩

1)自动调整计算资源

动态伸缩:基于伸缩组监控数据,随着应用运行状态,动态增加或减少ECS实例。

定时伸缩:根据业务预期及运营计划等,制订定时及周期性策略,按时自动增加或减少ECS实例。

2)灵活调整云服务器配置

规格、带宽可根据业务需求灵活调整,高效匹配业务要求。

3)灵活的计费模式

支持包年/包月、按需计费、竞价计费模式购买云服务器,满足不同应用场景的需求,根据业务波动随时购买和释放资源。

(6)应用场景

1)网站应用

一般的网站应用对CPU、内存、硬盘空间和带宽无特殊要求,对安全性、可靠性要求高,服务一般只需要部署在一台或少量的服务器上,一次投入成本少,后期维护成本低的场景。例如网站开发测试环境、小型数据库应用。使用通用型ECS,主要提供均衡的计算、内存和网络资源,适用于业务负载压力适中的应用场景,满足企业或个人普通业务搬迁上云需求。

2)企业电商

常见的企业电商对内存要求高、数据量大并且数据访问量大、要求快速的数据交换和处理的场景。例如广告精准营销、电商、移动APP。使用内存优化型ECS,主要提供高内存实例,同时可以配置超高I/O的云硬盘和合适的带宽。

3)图形渲染

图形渲染对图像视频质量要求高、大内存,大量数据处理,I/O并发能力。可以完成快速的数据处理交换以及大量的GPU计算能力的场景。例如图形渲染、工程制图。使用GPU图形加速型ECS,G1型ECS基于NVIDIA Tesla M60硬件虚拟化技术,提供较为经济的图形加速能力。能够支持DirectX、OpenGL,可以提供最大显存1GiB、分辨率为4096×2160的图形图像处理能力。

4)数据分析

处理大容量数据,需要高I/O能力和快速的数据交换处理能力的场景。例如MapReduce、Hadoop计算密集型。使用磁盘增强型ECS,主要适用于需要对本地存储上极大型数据集进行高性能顺序读写访问的工作负载,例如:Hadoop分布式计算,大规模的并行数据处理和日志处理应用。主要的数据存储是基于HDD的存储实例,默认配置最高为10GE网络能力,提供较高的PPS(Packets per Second,每秒数据包)性能和网络低延迟。最大可支持24个本地磁盘、48个vCPU和384GiB内存。

5)高性能计算

高计算能力、高吞吐量的场景。例如科学计算、基因工程、游戏动画、生物制药计算和存储系统。高性能计算型ECS主要使用在受计算限制的高性能处理器的应用程序上,适合要求提供海量并行计算资源、高性能的基础设施服务,需要达到高性能计算和海量存储,对渲染的效率有一定保障的场景。

2.云容器引擎

云容器引擎CCE为云服务计算产品另一个重要产品,它提供高度可扩展的、高性能的企业级Kubernetes集群,支持运行Docker容器。借助CCE,可以在云上轻松部署、管理和扩展容器化应用程序。

CCE深度整合了华为云高性能的计算[ECS(Elastic Cloud Server,弹性云服务器)/ BMS(Bare Metal Server,裸金属服务器)]、网络[VPC(Virtual Private Cloud,虚拟私有云)/EIP(Elastic IP,弹性公网IP)/ELB(Elastic Load Balance,弹性负载均衡)]、存储[EVS(Elastic Volumn Service,云硬盘)/OBS(Object Storage Service,对象存储服务)/SFS(Scalable File Service,弹性文件服务)]等服务,并支持GPU、ARM、FPGA(Field Programmable Gate Array,现场可编程逻辑门阵列)等异构计算架构,支持多可用区(Available Zone,AZ)、多区域容灾等技术构建高可用Kubernetes集群,并提供高性能可伸缩的容器应用管理能力,简化集群的搭建和扩容等工作,专注于容器化应用的开发与管理。

(1)主要功能

CCE支持对容器应用的全生命周期管理,具有以下功能。

1)集群管理

通过控制台一键创建Kubernetes集群,支持跨可用区高可用。

2)一站式容器管理

① 容器应用全生命周期管理。

② 高性能容器隧道网络、VPC(Virtual PC,虚拟机)网络、云原生网络2.0等容器网络。

③ 华为云云硬盘EVS、弹性文件存储SFS、对象存储OBS(Optical Burst Switching,光突发交换)等持久化存储支持。

④ 资源、应用、容器多维度监控。

⑤ 多样化的日志报表统计。

⑥ 基于角色的权限管理和容器运行时安全。

3)应用市场内容

① 丰富的Helm chart组件。

② 对接开源镜像中心和华为云容器镜像服务,支持自定义镜像和共享镜像。

4)开发者服务

① 提供OpenAPI和社区原生API。

② 提供Kubectl插件和社区原生Kubectl工具。

(2)华为云相关解决方案及案例

除上述产品外,华为云鲲鹏云服务还涉及计算、存储、网络、安全、容器、数据库等一系列产品及应用,这些产品及应用组成了一系列行业或产业解决方案。其中华为云服务的一些典型解决方案及案例都展示在华为官网上。以蘑菇街为例,华为云云原生帮助蘑菇街统一了机器学习与大数据业务平台,打造了国内首个在线直播实时换脸方案。该解决方案基于华为云提供的CCE和云容器实例CCI,实现资源灵活扩容,云容器实例最高可实现30秒扩容1000容器,极大地满足了日常机器学习、Spark大数据分析等海量计算任务处理的诉求。并且基于云原生批量计算平台Volcano为Spark大数据、机器学习业务构建了统一的云原生高性能计算平台,提供了队列调度、多队列资源共享/抢占、高吞吐调度性能、多级调度等能力,极大提升资源利用率。该解决方案使用鲲鹏存算分离MRS(Magnetil Resonance Spectroscopy,磁共振波谱学)大数据解决方案,屏蔽底层芯片差异,让客户业务平滑迁移大数据解决方案,计算和存储资源完全解耦,独立配置,综合成本降低30%。

蘑菇街是时尚女性专属消费平台,实现实时换脸存在诸多挑战,比如资源扩容难,算法任务投递阻塞。现有平台需支撑蘑菇街多个算法团队,每天需要投放数千次的任务投递,高峰期易出现容器任务阻塞的问题。而且资源池割裂,存算一体,利用率低。原有Spark大数据与机器学习业务分别在不同的平台上运行,资源没有充分利用,急需统一平台提升效率。随着数据量增加,存储扩容时必须同步计算扩容,成本剧增。同时运维难度大,冷热数据搬迁困难,成本居高不下。Spark大数据、机器学习等业务对运维诉求不一,且大数据部件众多。伴随着开源社区的持续发展,升级、运维工作量巨大。

蘑菇街相关的解决方案如图1-10所示。

图1-10 蘑菇街相关的解决方案