当前位置: 亚洲城ca88 > 计算机网络 > 正文

在弹性应用程序设计上,eBay为啥接收MongoDB

时间:2020-04-16 14:14来源:计算机网络
eBay近期运营超越3000个非关系型数据库实例,为一层层应用程序提供支撑,可在里边管理数PB数据。在过去,Oracle是“记录系统”,而非关系型数据库则管理“出席系统”中动用的不时数

eBay近期运营超越3000个非关系型数据库实例,为一层层应用程序提供支撑,可在里边管理数PB数据。 在过去,Oracle是“记录系统”,而非关系型数据库则管理“出席系统”中动用的不时数据。 不过,非关系型数据库情形已经成熟。通过平等的光阴点备份和复苏,MongoDB以往也在eBay上劳动于记录系统的用例。

曲先生指出,随着近来的成品功效扩大,MongoDB正在更为满足更加宽广的接收要求:

eBay:使用MongoDB成立关键业务的绝大多数据中央接受

作为全世界前十的零售品牌,eBay的活跃顾客有一亿三千多万,并保有超过全球1八十八个市场的10亿购物清单,这样的范畴下,eBay相对不容许现身宕机的情景。那也正是干吗公司会依据于MongoDB提供公司级平台正式以致面向客商的行使。

 

在当年的MongoDB World conference大会上,eBay的上位NoSQL DBA,Feng Qu,为大家来得了她以致他的团队开荒的用来支撑公司级MongoDB安顿的一站式构造—弹性应用的实用设计情势。

 

Qu先生首先深究了“可用性”那些定义在此段日子几来的生成。在过去,网站进行周期性的准时停服维护是例行的,不过,最近来,随着近来服务的环球化,客商以致商铺都不再选用这样的停服操作。除外,半数以上公司机构把她们的服务配置在商业贸易硬件平台实际不是事情发生此前的Sun Solaris / Sparc 。商业硬件相对更为有益于,可是现身难题的频率也相对较高。那个要素都精气神上海电影制片厂响着软件团队对可用性的眼光。那也eBay要成立“弹性设计方式”的初志,正是要开创最棒的数据库系统能够最大化平均失效时间(MTTF)同有的时候间最小化平均恢复生机时间(MTT宝马X3)。

 

开拓人士创制应用的时候能够接收多样集团认同的数据库标准。除了MongoDB,还足以挑选oracle和MySQL这样的关系型数据库以至别的两种nosql数据库系统。Qu先生的团伙会为她们的选用提一些理念,保险所选的数据库系统能够支撑数据读取格局、顾客压力等等。

 

eBay近些日子运行着3000多非关系型数据库实例,支撑着大量采取以至接收之间PB级其余数目传输。在过去,oracle是记录系统,非关系型数据库只保证一些临时数据,今后非关系型数据库的风貌已经成熟,不止全数一致性、具体到点的备份以至这个时候恢复生机性,MongoDB在eBay中的有个别场景中也可看做记录系统。

 

固然eBay的非关系型数据库提供放置的故障弹性,他们也得以选取分歧的宏图衡量来震慑使用的表现。DBA在接收时主倘North量以下多少个方面:可用性、一致性、长久性、可恢复生机性、伸缩性以至质量。比方,使用点对点的无主设计的nosql数据库在八个节点故障后必须运维数量修复和另行平衡的经过,这一个进度的代价非常的大。重新平衡的历程会严重影响系统的吞吐量和延期,客商端等待恢复生机的时候会促成连接堵塞,进而招致应用现身故障。为了幸免这种意况,eBay在无主数据库的上层扩大了三个行使规模的分片,这么些办法最先是为oracle设计的。DBA使用这种艺术得以把一个大的集群分解成一多元的子集群,把重新建立的负荷放在个别节点上,只影响个别查询操作。便是为了酬答不一样类别的数据库行为,eBay才树立的弹性设计形式。

Qu先生为大家来得了下图的MongoDB弹性设计形式

 图片 1

 

在这种设计格局下,MongoDB复制集的7个节点布满在eBay在美利坚合营国的八个例外的多寡主导。这种格局能够在主节点蒙受故障时,数据库集群能够维持可用性。可以为MongoDB的复制集成员分红优先级,那么些优先级能够决定主节点境遇故障后哪个次节点能够被引入为新的主节点。比如,能够设定在主节点故障后,坐落于DC1的节点能够事情未发生前被推举为主节点。唯有DC1中多一些节点都现身故障,DC第22中学的成员本领够被大选为主节点,当然新的节点大选的基于是,从原本节点中国共产党同到新型的数量的节点才是主节点。这种方式的一个延伸做法是利用MongoDB的“大多数写入关怀”来保管跨数据主导的写入持久性。

 

MongoDB的标准设计形式是eBay的“高密集、高可用读取形式”的底蕴,此情势用于支撑eBay的付加物目录模块。为了酬答成品目录模块的下压力,须求把MongoDB的复制集成员扩张到四二十个,为读取扩大性以致弹性提供了分布式数据结构。

 

eBay开辟了“高质量读写方式”以支撑高密度的写入压力,这种情势是把MongoDB集群的分片服务器布满在美利哥差异数据核心。

 图片 2

 

一律,开拓职员能够对这种格局具体的读写关切进展设置,调节系统长久性以致弹性以满意差异选用的急需。

Qu先生建议,随着MongoDB的功效的拉长,MongoDB能够用来满意越多的施用须求:

l  MongoDB3.4中引进的zone sharding成效能够使eBay支撑那多少个对布满式以致持续写入可用性需要较高的应用。

l  即就要MongoDB3.6中公布的可重写操作,可以减掉使用端的非常管理代码

假伪造深刻掌握eBay的设计方式,能够参谋Feng Qu在MongoDB大会上的享受。

法国巴黎小胖,中国第16个人MONGODB PROFESSIONAL取得者,资深Python开拓、DBA。DevOps执行者,曾独立开采Web服务平台,电子商务爬虫系统、运转管理种类,满含数据热力图、主题数据监察和控制、服务器监察和控制类别等。个人博客:。

曲先生介绍了eBay的“MongoDB弹性设计方式”,如图1所示。

曲先生介绍了eBay的“MongoDB弹性设计方式”,如图1所示。

  • 对MongoDB 3.4增多区域分片使得eBay能够为索要跨五个数据基本提供遍布式、永世写入可用性的应用程序提供劳务。
  • 本着将在发表的MongoDB 3.6本子的可重写的写入将允许eBay减弱应用程序分外管理代码。 

在此种设计方式中,三个7节点的MongoDB副本集布满eBay的几个美利坚合众国数码主导。此形式可保障在主数据大旨爆发故障的事态下,数据库集群能够由此在结余的多寡基本之间构建三个决定来保持可用性。MongoDB的别本集成员能够被分配公投优先级,以决定什么Slave成员被认为是在Primary成员败北时的晋级候选人。比方,假若副本集Primary成员战败,则DC1地面的节点将被事情未发生前筛选。只有所有DC1遭到中断,DC第22中学的复制集成员才会被认为能够展开大选,依照哪个节点已经实行近来的写操作选拔新的Primary成员。 能够通过运用MongoDB的 majority write concern来扩充这种设计形式,以使得能够跨数据主导长久的写入。

在二零一五年的MongoDB环球大会上,eBay的首席NoSQL DBA曲峰提供了弹性应用程序的实用设计方式 — 他的公司开荒的一套扶植公司级MongoDB铺排的布局蓝图。

图1:MongoDB复苏布局的eBay设计格局

曲先生最早争辨多年来可用性概念的变迁。过去,网址能够选取周周维护的预订停机时间。随着当前服务的全世界化,顾客或工作都不会承当那样频仍的停机!别的,大好些个集团后天在商业硬件平台上营造其劳动,实际不是早前的 Sun Solaris / Sparc服务器。尽管商业硬件的老本要低得多,可是它也日常故障。

图片 3

图2:MongoDB超高读/写方式的eBay设计情势

这三个成分从根本上改动了工程共青团和少先队怎样思忖可用性,而且教导eBay创制其“弹性设计格局”,以建构最大化平均故障时间(Mean Time To Failure,MTTF卡塔尔国并最大限度地裁减平均复苏时间(Mean Time To Recovery,MTTWrangler卡塔尔国的数据库最好执行。

翻译介绍

在此种设计格局中,叁个7节点的MongoDB别本集布满eBay的多个米利坚数据主导。此形式可保障在主数据主旨发生故障的情状下,数据库集群能够经过在结余的数码主导之间塑造三个决定来保险可用性。MongoDB的副本集成员能够被分配公投优先级,以决定什么Slave成员被认为是在Primary成员战败时的升官候选人。譬如,借使别本集Primary成员战败,则DC1本地的节点将被优先选项。独有全数DC1受到中断,DC2中的复制集成员才会被以为能够开展公投,依照哪个节点已经实施近日的写操作选取新的Primary成员。 能够由此选取MongoDB的 majority write concern来扩充这种设计形式,以使得能够跨数据宗旨长久的写入。

正规MongoDB设计情势被用作eBay的“阅读深化/高可用读取方式”的基本功,该演示文稿用于为eBay付加物目录提供支撑。对于目录负载,MongoDB别本集能够扩大到伍拾一个成员,为大并发量的数额分发提供了读取的可扩张性和还原才能。

行业内部MongoDB设计格局被用作eBay的“阅读深化/高可用读取形式”的底蕴,该演示文稿用于为eBay成品目录提供支撑。对于目录负载,MongoDB别本集能够增加到肆十八个成员,为大并发量的数量分发提供了读取的可扩充性和恢复生机本事。

对MongoDB 3.4加多区域分片使得eBay可认为索要跨八个数据主题提供遍及式、永恒写入可用性的应用程序提供劳务。针对就要公布的MongoDB 3.6版本的可重写的写入将同意eBay裁减应用程序万分管理代码。

为了构建应用程序,eBay开辟人士能够从多个公众认为的数据库标准中展开精选。 除了MongoDB,团队还足以筛选选用Oracle或MySQL关全面据库和多少个NoSQL数据库。 曲先生的DBA共青团和少先队为方便的数据库接收提供教导,遵照看用程序的数据访谈格局、客商负载、数据类型等举办精选。

原稿来自微信大伙儿号:DBAplus社会群体

即便eBay的全体非关周详据库接纳都提供了安置的故障恢复生机技艺,但它们得以使不相同的规划影响应用程序的一言一行。DBA团队在三个维度上评估这几个差别:可用性、一致性、长久性、可恢复生机性、可增加性和品质。比方,使用点对点、无主设计的NoSQL数据库具备高昂的多寡修复和再一次平衡进度,必得在节点产生故障之后运转。此重新平衡进度会潜移暗化应用程序吞吐量和延期,并也许引致接连几天聚成堆,因为客商端等待回复,那说不好形成应用程序停机。为了减轻那几个影响,eBay一定要将中期在Oracle上支出的应用级产品分段在这里些洋洋据库之上。这种办法使DBA团队能够将越来越大的集群分成一系列子集群,进而将重新平衡花销与相当的小的一组节点隔开分离开来,同一时间只影响了一小部分查询。eBay DBA团队创设其弹性设计情势是针对那么些分化品类的数据库行为。

虽说eBay的有着非关全面据库选取都提供了安置的故障恢复生机技艺,但它们能够使分化的宏图影响应用程序的一颦一笑。DBA团队在三个维度上评估那一个出入:可用性、一致性、长久性、可复苏性、可扩张性和总体性。比方,使用点对点、无主设计的NoSQL数据库具备高昂的数目修复和重复平衡进程,必得在节点发生故障之后运营。此重新平衡进度会影响应用程序吞吐量和延迟,并大概形成接连几日堆成堆,因为顾客端等待复苏,这只怕以致应用程序停机。为了缓慢解决那几个耳濡目染,eBay必须要将早先时期在Oracle上支付的应用级产物分段在此些洋洋据库之上。这种措施使DBA共青团和少先队能够将越来越大的集群分成一种类子集群,进而将再也平衡花销与相当小的一组节点隔绝开来,相同的时间只影响了一小部分查询。eBay DBA共青团和少先队创设其弹性设计格局是针对那几个不相同品种的数据库行为。

图片 4

作为世界前十十个中外零售品牌,具备1.7亿活跃买家和10亿在线市镇,eBay不大概承担系统停机带给的损失。那就是为什么集团正视MongoDB作为其基本集团数据平台正经八百之一,为运维ebay.com的三个面向客商的应用程序提供支撑。

【编辑推荐】

附带,eBay开荒职员能够动用一定的MongoDB写入和读取配置来设计格局,以调度最好知足不一致应用供给的悠久性和一致性等级。

图2:MongoDB相当高读/写格局的eBay设计形式(图片由eBay的MongoDB世界演示提供卡塔尔

那多个因素从根本上改造了工程团队怎样思虑可用性,而且指点eBay创制其“弹性设计形式”,以树立最大化平均故障时间并最大限度地减少平均复苏时间的数据库最好实施。

协理,eBay开辟人士能够应用一定的MongoDB写入和读取配置来设计情势,以调动最棒满足不一致采纳必要的持久性和一致性等第。

对此越来越多的写入密集型负载,eBay开辟出了“非常高读/写格局”,该情势在其美利坚联邦合众国数码主题布置了二个遍布式的MongoDB集群。

用作世界前十十在那之中外零售品牌,具备1.7亿活跃买家和10亿在线商场,eBay不能够担任系统停机带来的损失。那正是为什么公司注重MongoDB作为其基本公司数据平台正经八百之一,为运营ebay.com的七个面向顾客的应用程序提供支持。

在二零一七年的MongoDB满世界大会上,eBay的首席NoSQL DBA曲峰提供了弹性应用程序的实用设计格局 他的团伙开辟的一套扶助集团级MongoDB安顿的布局蓝图。

图片 5

为了创设应用程序,eBay开垦职员能够从多少个公认的数据库标准中张开接收。 除了MongoDB,团队还是能够筛选使用Oracle或MySQL关周全据库和多个NoSQL数据库。 曲先生的DBA共青团和少先队为方便的数据库选用提供引导,依据应用程序的数量访问情势、顾客负载、数据类型等举办选取。

对于越来越多的写入密集型负载,eBay开荒出了“相当的高读/写形式”,该情势在其美利坚合众国数量宗旨布置了三个分布式的MongoDB集群。

曲先生提出,随着前段时间的出品功用扩大,MongoDB正在进一层满足更布满的行使须要:

图1:MongoDB恢复布局的eBay设计方式(图片由eBay的MongoDB世界大会演示提供卡塔尔

曲先生起来议论多年来可用性概念的变化。过去,网址能够采纳周周维护的约定停机时间。随着当前服务的满世界化,客户或作业都不会担当那样反复的停机!其他,大好些个商家前几日在购买发卖硬件平台上塑造其劳动,并不是先前的 Sun Solaris / Sparc服务器。固然商业硬件的花费要低得多,不过它也时不经常故障。

eBay最近运作超越3000个非关系型数据库实例,为一雨后苦笋应用程序提供支持,可在此中管理数PB数据。 在过去,Oracle是“记录系统”,而非关系型数据库则管理“参加系统”中运用的一时半刻数据。 但是,非关系型数据库蒙受已经成熟。通过一致的时间点备份和回复,MongoDB将来也在eBay上服务于记录系统的用例。

编辑:计算机网络 本文来源:在弹性应用程序设计上,eBay为啥接收MongoDB

关键词: 亚洲城ca88