快捷搜索:
您的位置:美高梅集团4858 > 科技技术 > 阿里云POLARDB如何实现云托管数据库创新?

阿里云POLARDB如何实现云托管数据库创新?

2019-09-28 09:49

POLARDB使用由英特尔®傲腾™固态盘驱动的软件定义存储技术,提高了数据中心的性能,缩短了延迟。

图片 1

POLARDB对现有的DBaaS模式进行了创新。它采用了的软件定义扩展系统具有创新性,使用了快速、低延迟的英特尔®傲腾™DC固态盘和低成本、高容量的英特尔®3DNAND固态盘。企业如果数据量大,而且不断增长,又始终要求低延迟、高吞吐量、高QoS以及良好的性价比,则可从POLARDB获益。

图片 2

如今,阿里云在POLARDB产品中使用英特尔®傲腾™DC固态盘P4800X系列,使用的固态盘:

傲腾数据中心级持久内存即Optane DC Persistent Memory,也被简称为傲腾DCPMM。它采用了DDR4内存的外形设计,可以与英特尔Cascade Lake至强可扩展处理器搭配使用,其最主要的特性是通过使用DDR4接口,使得它具备1微秒以内的访问延迟,以及极高的存储密度,能够在系统中提供略低于内存的性能,但大得多的热数据存储容量,其双插槽平台最高可使用高达6TB的DCPMM。

访问商业级数据库即服务

▲常见的数据中心使用的PB级别磁带存储库,其存储材料都为磁介质。

关系型数据库管理系统(RDBMS)是全球性企业的基石,也是公司运营和数字转型的必备条件。

图片 3

英特尔与阿里云等客户密切合作,努力实现数据库创新,不断地帮助全球客户改善企业数据库体验。

同样的道理也适用于3D NAND QLC SSD。如果企业准备用它来替代之前的TLC SSD,那么在达到相同容量的目的下,它可以少用33%的晶圆,同容量下QLC 3D NAND SSD的价格自然会比TLC SSD便宜不少,组建成本就能得到有效的降低。如果用它来替换机械硬盘,虽然现在同容量的固态盘价格还比机械硬盘贵一些。但就像前面所说,它不仅在性能上会带来较机械硬盘质的提升,像Ruler这样的高密度QLC SSD更可以大幅降低服务器的使用数量、占地面积、对散热设备的需求,以及功耗,即降低存储系统的运营成本 。

图片 4

傲腾DC固态盘虽然使用同样都的存储介质,但它的外形、接口却较傲腾DCPMM有很大的改变—其外形不再是内存DIMM形式,而是设计成了AIC插卡式,以及U.2 2.5英寸外形,接口也变为了PCIe 3.0 x2~PCIe 3.0 x4。它主要用来加快部分热数据与温数据的数据传输,既可以用于整个存储系统中的缓存,也可以用来保存各类持久性数据。

在公共云计算环境中,用户数量、用户服务和数据量的增长可能会带来二进制日志文件备份、性能、迁移、升级、磁盘容量和延迟问题。扩展、备份和迁移数据所需的时间随着数据量增长而延长。备份TB级数据需要几个小时,甚至几天的时间。升级、扩展、备份和数据迁移可能需要数据库下线并重新启动,这可能会影响企业、企业用户及企业IT人员。数据迁移可能会拖慢任务关键型应用的性能。维持每日业务运营可能需要大量CPU资源,再加上数百万个事务,可能产生延迟,导致性价比下降。

“上古时期”的计算机都配备了一条条长长的纸带,纸带上打满了孔,或者是一些打了孔的卡片—没错,那就是早期的计算机输入输出设备。由于缺乏可靠、方便的存储和输入、输出设备,人们只好将命令翻译成1010101指令,通过打孔器写在纸带或者卡片上,计算机将一条条指令读入,计算完成后再通过在纸带上打出的孔洞将结果输出,最后再由转译人员翻译出来计算结果。

POLARDB使用的英特尔®傲腾™DC固态盘和英特尔®3DNAND固态盘*

▲除了传统2.5 英寸SSD,Ruler SSD 占用空间更小、散热性能更好。

使用POLARDB还有其他性能优势,因为:

而冷数据仅仅只使用机械硬盘或磁带机显然也会带来很低的效率。就拿机械硬盘为例,其访问延迟是10毫秒级别,也就是说在10000微秒左右,单块机械硬盘的连续读取速度难以突破300MB/s,在QD32下的随机4KB IOPS也很难达到1000,与QD1下就能轻松实现5000 IOPS的SSD相比完全是天壤之别。那么对于企业级用户来说,应该如何解决这些问题呢?

软件定义的POLARDB架构使用分布式存储、存储性能开发套件(SPDK)、远程直接内存访问(RDMA)和其他创新来打造高性能、高伸缩的云数据库。POLARDB架构将计算资源池和存储资源池分离开来。CPU资源和内存不足时,计算资源池独立于存储资源池进行扩展;容量或IOPS较低时,存储资源池独立于计算资源池进行扩展。

▲传统的三级异构存储架构存在较大的性能与容量鸿沟。

POLARDB架构

虽然机械硬盘找寻数据的速度比磁带快了很多,但它仍存在先天不足—假如需要读取3个数据,分别存放在磁盘的最内圈、中间圈和最外圈,机械硬盘需要移动3次磁头,并等到盘片旋转至相应的位置,才能将数据读取出来,这个过程被称为寻道,所耗费的时间被称作寻道时间。假设每次移动磁头需要10毫秒,那么10次就是100毫秒—如此长的时间严重影响了硬盘的随机性能,如何解决这个问题?最终经过多年的研究与积累,科学家在非机械结构的NAND芯片上找到了答案。

POLARDB分布式存储架构使用三个副本或节点,而不是本地存储空间。一个副本用于读写实例,另外两个用于只读实例。需要新增只读实例时,不需要复制任何数据。不管新数据量有多大,都可以在5分钟内完成。相比于传统数据库,如果数据量超过3TB,添加新实例需要长达70小时的时间。主实例和只读实例共用相同的存储资源,既提高了只读复制性能,又不需要额外增加新增存储的成本。用户只需要支付只读实例使用的CPU和内存成本。POLARDB使用此分布式存储配置来查找数据,并以比传统数据库更快的速度伸缩。

不仅如此,之前机械硬盘的一些“老大难”问题:比如大量工作碎片文件存储读取、大容量数据转移等,在固态盘出现后都得了根本性改善。同时固态盘也得到了消费者很高的接受度,自2008年英特尔首次推出两款主流SSD:X18-M与X25-M后,其SSD产品与其CPU产品一样得到了高速的发展。

然而,内部部署RDBMS就需要在基础设施、时间、成本和人员方面大量投入,才能保持技术先进,可以根据业务增长需要进行扩展,还能实现数字转型支持。要跨越这些障碍,可以采用云计算解决方案,它俨然已经成为了大大小小的组织使用的主流技术。

▲英特尔在1992年就推出了容量为12MB、基于NAND闪存芯片的存储设备,在2014年英特尔更打造出了存储容量达2TB的固态盘。

POLARDB分布式存储设计与英特尔®傲腾™DC固态盘和英特尔®3DNAND固态盘相结合,实现了卓越的存储效率、高QoS、高IOPS、高吞吐量和始终如一的性能。英特尔®固态盘还有助于降低成本,调优性能。英特尔®傲腾™DC固态盘帮助阿里云消除了数据中心存储瓶颈,可容纳更大、更经济实惠的的数据集,加快了应用速度,降低了对延迟敏感的工作负载的事务成本,降低了POLARDB的数据中心总拥有成本(TCO)。

▲加入傲腾数据中心级持久内存、傲腾DC固态盘、英特尔QLC 3D NAND SSD这三类产品可以提升整个存储系统的容量、性能、效率。

使用英特尔®3DNAND固态盘和英特尔®傲腾™DC固态盘,数据存储既经济实惠,质量也高,十分可靠,非常易于管理和维护,可以最大限度地保证POLARDB的服务连续性。

构建多级异构存储

关系型数据库作为云托管服务应用广泛,称为数据库即服务(DBaaS)解决方案。但是基于云的RDBMS可能本身存在难题。因此,云托管关系型数据库解决方案必须实现数字转型。常见的数据库有MySQL*和Oracle数据库*,但不管是内部托管,还是云托管,它们可能均难以保护、管理和扩展,而且可能达不到所需性能和服务质量(QoS)。

▲得益于3D XPoint介质,傲腾DC固态盘写入数据前不需要进行块擦除,可以直接写入数据,因此不存在后期性能衰减的问题。

原标题:阿里云POLARDB如何实现云托管数据库创新?

在硬盘问世之初,根据不同层次的数据存储在不同设备上的异构存储雏形就已显现—温数据主要存储在机械硬盘上,热数据则主要由内存处理,但由于内存容量较小,还会使用部分硬盘容量作为虚拟内存存储热数据,几乎很少用到的冷数据则存储在磁带机上。这样存储数据的问题也很明显,不论是机械硬盘还是磁带机的性能都非常低,经常可以看到硬盘灯狂闪,程序应用却迟迟没能启动或数据传输时间过长的状况。而随着SSD的问世,为了更加高效地存储海量数据,各层次数据的存储方式又有了一些改变。

图1.使用英特尔®固态盘的阿里云POLARDB*架构

相对于SATA SSD,当前通过NVMe、PCIe接口设计的SSD就好比我们拓宽了道路的宽度,但在这条道路上,人们还需要更快的交通工具。就像北京到上海,无论把路修多宽,只要上面跑的是汽车,就都会有极限,因为汽车速度是有限的。而傲腾改变的是将路上跑的交通工具从汽车升级到更高级别的黑科技,跑的是另外一种交通工具,所以它能极大地缩短北京到上海的耗时,这就是傲腾的第一大意义—大幅降低访问延迟。相比传统NAND闪存,傲腾固态盘在性能上有质的提升。

style="font-size: 16px;">POLARDB重新打造了数据库云托管服务

傲腾数据中心级持久内存

因此,IT团队可以集中精力进行核心业务需求创新,有助于企业数字转型,增加企业竞争力。其他DBaaS解决方案可能困难重重,但是阿里云推出的POLARDB可借助商业级DBaaS解决方案克服这些困难。POLARDB为企业配备按需解决方案,有助于保持良好的性价比。作为商业级数据库,它可帮助企业管理大量数据,同时实现低延迟、高吞吐量、高QoS和快速伸缩。返回搜狐,查看更多

在最近10年里,以英特尔为代表的存储业界厂商陆续发布了3D NAND和3D XPoint两项革命性的存储技术,衍生出了傲腾数据中心级持久内存(Optane DC Persistent Memory)、傲腾数据中心固态盘(Optane DC SSD)和QLC 3D NAND SSD三大类新品。无论是读写性能、耐用性还是使用成本,它们相对于以往的存储产品都有很大的提升。接下来,就请大家和我们一起来了解它们将如何改变“存储的世界”,如何满足应用带来的全新需求。

  • 使用基于融合以太网的RDMA(RoCE)网络协议来降低延迟,减轻CPU负载,提高带宽;
  • 借助软件定义的堆栈绕过Linux*内核,可以让POLARDB以用户模式运行,有助于降低开销;
  • 无需使用二进制日志,缩短了事务时间,降低了输入/输出(I/O)开销。

固态盘一上市,就以超越机械硬盘数十倍的随机读写速度、革命性的使用感受征服了无数用户。在使用了固态盘后,操作系统启动时的随机小文件加载速度得到了大幅提升,操作系统本身的启动甚至可以在数秒内完成。

POLARDB在软件层将高速、高容量的英特尔®傲腾™DC固态盘和高吞吐量的英特尔®3DNAND固态盘结合起来,实现了一个混合型存储层,可以始终实现低延迟、高吞吐量、高QoS。而且与存储层只使用英特尔®3DNAND固态盘相比,整体性价比高出很多。

三级异构存储架构初显形

style="font-size: 16px;">英特尔®傲腾™DC固态盘优化了存储性能

图片 5

阿里云开发并推出了创新性的商业级云托管关系型数据库POLARDB*,解决了这些问题,为企业提供了一种新的DBaaS模式。POLARDB以分布式共享存储架构为基础,使用了英特尔®傲腾™DC固态盘(SSD)和英特尔®3DNAND固态盘。

而凭借更大的存储容量和更低的存储成本,英特尔QLC 3D NAND也将使低成本的全闪存阵列取代HDD阵列成为可能。不得不说,傲腾技术与QLC 3D NAND技术的结合,将帮助企业打造更高性能和更低成本的软件定义存储解决方案,并在开源技术的帮助下,充分发挥英特尔存储技术的优势,为用户提供兼得性能与容量的解决方案,它们也将成为存储技术未来的重点发展方向。

部署DBaaS可以解放企业IT团队。他们不需要管理内部数据库,也不需要购买和维护内部部署的数据库所需的硬件。

到后期存储器则进化为和纸带有些类似的磁带,当然后者存储密度大得多。磁带存储数据的优点在于容量较大,但问题在于磁带并非随机读写设备。受制于磁带本身的物理结构构造,如果需要找到一定的数据,机器甚至需要读取完整个磁带。

POLARDB的存储范例与其他创新相结合,可在DBaaS模式中实现商业级数据库的性能和可用性。阿里云在设计POLARDB时侧重于企业客户的云计算成本、在线事务处理(OLTP)性能、业务连续性、业务增长和安全性。所有软硬件设计均采用高可靠性、高可用性的云原生设计,为了实现高效协同,包含与底层英特尔®硬件的协同。该架构性能强劲,只需要传统上内部部署的关系型数据库的大约一成成本。

Ruler有三种,有短的Ruler,有长的,还有带散热片的。短的功率会比较小,其次是长的带散热片的长Ruler,1U的服务器可以装32块,再加上每块Ruler SSD的最大容量可以达到32TB,所以算起来是一台1U服务器里的存储容量就能达到1PB,比起传统的U.2这种架构,Ruler这种外形所需的散热气流可以减少一半。

云托管数据库的传统难题

虽然从表面看,同容量的傲腾DC固态盘比NAND SSD贵,但其大幅提升的寿命,以及低延迟带来的更强性能可以让用户完全不需要以用同样容量的傲腾DC固态盘去代替基于普通闪存的SSD。举例来说,国内某领先广电企业在使用傲腾解决方案后,新服务器整体价格仅比旧服务器高10%左右,但因为性能提升和内存的扩增减少的硬件投入成本,却使得整体方案成本降低了约44%,算下来能节省几十万、上百万的资金投入。

借助英特尔®傲腾™DC固态盘和英特尔®3DNAND固态盘,阿里云实现了:

QLC 3D NAND SSD

  • POLARDB每秒查询数(QPS)提升30%,改善了客户体验。

总体来说英特尔傲腾数据中心固态盘将内存和存储的属性与高吞吐量、低延迟、高服务质量 和高耐久性完美结合,其架构设计可在位级别执行写入操作,从而获得更快、更可预测的性能和更均衡的读写性能。

如果缓冲区数据包含直接需要的数据,那么将启用标准的DRAM快速读/写功能,而如果数据在傲腾中则会相对稍慢一些,但比读取传统SSD固态盘快得多,达到更高的效率。在这种模式下,数据是易失性的,一旦断电就会消失。

POLARDB开发最初是为了满足阿里云在线购物中心的需求。阿里云最开始在POLARDB中使用英特尔®傲腾™DC固态盘和英特尔®3DNAND固态盘,是为了解决购物中心高峰期问题。阿里云后来发现,与只在基于NAND的PCIe*NVMe*固态盘上运行MySQL相比,MySQL*性能提升高达六倍。

而傲腾固态盘是以bit这一最小单位为基础访问单位的,也就是说不管用户是在固态盘初始状态,还是在已经长时间使用后的状态,都是直接写入这1bit数据,不会有额外的写入放大,傲腾DC固态盘的性能不会有任何改变,性能一致性堪称完美。

POLARDB的架构保证吞吐量高,最高可达到标准MySQL5.6和5.7在基于NAND的PCIe*和NVMe*固态盘上运行时的吞吐量的六倍之多。POLARDB可以实现高达一百万每秒输入/输出(IOPS),而且只有毫秒级的延迟。POLARDB还可以在10分钟内按需纵向或横向伸缩。每个数据库实例可以达到100TB容量。相比之下,同类解决方案只能达到64TB。存储容量和克隆操作可自动伸缩。而且,POLARDB与MySQL5.6和5.7完全向后兼容。

同时基于傲腾技术的产品也在多个实际领域得到应用,如IBM云的裸金属服务器在采用英特尔傲腾DC固态盘之后,性能提升了7.5倍;比萨大学利用英特尔傲腾技术,将核磁共振成像 的扫描时间从42分钟缩短到4分钟。

  • 是采用英特尔®傲腾™技术、响应速度最快的数据中心固态盘;
  • 提供高达750GB的容量;
  • 能够提高POLARDB的性能;

看存储设备发展的过去与未来

每个POLARDB存储节点都使用一个英特尔®傲腾™DC固态盘P4800X系列硬盘来快速创建日志记录和索引,同时可以使用若干英特尔®DC固态盘P4500系列硬盘来存储数据。SPDK将数据写入每个英特尔®3DNAND固态盘的NVMe接口,而不必访问同步的内存。在部署英特尔®傲腾™DC固态盘之前,日志记录和数据一并存储在数据中心内基于NVMe的英特尔®固态盘上,需要访问同步的内存。绕过同步的内存可以提高POLARDB的性能,降低延迟。

在工作方式上,傲腾DCPMM有两种模式,一种被称为Memory Mode,另一种是APP Direct Mode。Memory Mode是指将傲腾DCPMM看作DRAM,以内存方式运行。在这种情况下,系统将向傲腾DCPMM给出大量的DRAM分配,使用傲腾DCPMM作为主存储器,DDR4作为缓冲器。

责任编辑:

目前微软、亚马逊、阿里巴巴等行业领导者都在开发整合工作负载的软件,将不同类型的负载,包括随机访问都整合成顺序写入,这样QLC随机写入性能欠缺的问题在Write Buffer的帮助下就得以削弱,同时QLC颗粒的寿命也会得到延长。

  • POLARDB第95百分位延迟降低76%。

为了合理分配预算,现阶段企业常见的数据存储方式是热数据使用内存进行处理,温数据大多存储在SSD里,冷数据则保存在机械硬盘里。不过这里存在的问题就如前面所说—三个级别的存储设备性能差异太大,访问延迟不到0.1微秒的内存还是要“耐心”等待近百微秒级SSD在数据上的传输,而且其传输的数据量远远跟不上内存的传输能力;其次由于内存价格偏高,因此内存的容量也无法同SSD、硬盘相比,易出现存储热数据时容量不足,从而造成处理器处理数据必须直接从SSD或机械硬盘等低速设备中读写数据,降低整体处理速度。

图片 6

傲腾+QLC将打造高性能、低成本存储系统

本文由美高梅集团4858发布于科技技术,转载请注明出处:阿里云POLARDB如何实现云托管数据库创新?

关键词: