专题:中间件
中间件是大型互联网架构基础设施最重要的一部分,学习中间件设计,提升架构的最快途径。中间件经过多年的发展,一方面可以很好的平台化,一方面可以更好的支撑上层应用,从而解决软件复用的问题。在本论坛中,我们邀请了专家探讨几种常见的中间件,比如消息中间件,数据库中间件等。
本专题下的议题
云化数据架构下的Apache ShardingSphere(Incubating)生态
张亮 京东数科 数据研发负责人
所属专题:中间件
课程概要
面对微服务架构中越来越多的数据库垂直拆分,以及数据量急剧膨胀后的数据库水平拆分,云原生及分布式数据库中间件架构等已成为大家关注的热点。 数据库中间件在分布式的创新,及对原有数据库的兼容两方面兼顾。是包含大规模数据的OLTP应用系统中行之有效的解决方案。
解决思路/成功要点:
Apache ShardingSphere(Incubating)为了解决数据膨胀问题,以及解决数据膨胀之后所带来的一系列新问题,抽象了一套解决方案,并且逐渐向生态打造的方向发展。它涉及到以下几个方面: 1)数据膨胀带来的问题以及解决方案 2)ShardingSphere的数据库中间件生态 3)透明化及高自由度的数据分片 4)刚柔并济的分布式事务 5)数据库治理 6)弹性数据迁移 7)数据对接生态
成果:
Apache ShardingSphere(Incubating)是京东集团首个进入Apache基金会的孵化项目,也是首个进入Apache基金会数据库中间件产品。这款产品拥有在Github上近7000 star、以及70+企业公司案例的落地。它作为京东数科多个核心产品,如:京东白条等系统的数据层依托。
听众收益
1、了解面对数据量增长之后,系统在数据架构的优化方案
2、了解数据库中间件生态
3、了解Apache ShardingSphere核心功能
蚂蚁金服大规模分布式事务实践和开源介绍
张森 蚂蚁金服 蚂蚁金服高级技术专家
所属专题:中间件
课程概要
案例背景介绍:
在大规模金融业务向分布式架构转型过程中,数据库被水平拆分,服务按照功能进行解耦和拆分,一个业务活动通常要跨多个数据库和微服务,而网络、机器等资源的不可靠性,使得数据一致性问题成为大型金融科技企业向分布式架构转型的主要挑战之一;为了保障分布式架构下业务数据的一致性,蚂蚁金服自主研发了分布式事务中间件,解决跨数据库、跨服务的事务问题。蚂蚁金服的分布式事务经过多年发展之后,我们计划逐步将其开源,与社区一起分享蚂蚁和阿里的科技成果,开源产品Seata由蚂蚁和阿里共同建设,希望与社区共同打造分布式事务标杆。
解决思路/成功要点:
蚂蚁金服内部大量使用TCC解决跨服务事务问题,TCC是一种高性能灵活的事务解决方案,支持了蚂蚁金服双十一的高性能需求,支持了异地多活的高可用需求;此外,为了让分布式事务使用更加便捷,我们推出AT、XA 两种无侵入的事务解决方案;当前蚂蚁的分布式事务解决方案主要有TCC、AT和XA 三种模式,丰富的模式覆盖了分布式事务的各类使用场景。
成果:
蚂蚁金服分布式事务经过12年的发展和演进,积累了TCC、AT、XA 三种使用模式,有丰富的应用场景,在高性能和高用方面也有大量实践经验;我们将分布式事务开源,与社区一起分享蚂蚁和阿里的科技成果,开源产品Seata中将逐步集成 AT、TCC、和XA三种模式,Seata在社区也收到广泛的关注。
听众收益
1.了解分布式事务问题产生的背景和基本理论;
2.了解蚂蚁分布式事务中间件的功能特性、实现原理和实践经验;
3.了解分布式事务开源产品Seata的现状、发展方向;
下一代分布式消息系统Apache Pulsar
翟佳 Apache Pulsar 社区 Apache Pulsar 项目管理委员会成员
所属专题:中间件
课程概要
案例背景介绍:
在传统消息系统中,存在一些问题。一方面,消息的存储和服务一般是紧耦合的,节点的扩容和运维不便,特别是在需要多备份来保证高可用性的场景。另一方面,消息的消费模式被固定,在企业内部需要维护多套系统来保证不同的消息消费场景。另外消息系统中,多租户,多机房互备等企业级的特性和功能也不太丰富。
解决思路/成功要点:
Apache Pulsar采用了分层的架构,解决了存储计算的耦合,同时提供了很好的扩展性和可维护性。Pulsar也通过订阅层的抽象,提供了统一的消息消费模型。特别是在Pulsar的设计之初,就注重对多租户,多机房互备等方面的需求,提供了众多完备的企业级的特性。
成果:
Apache Pulsar从2015年初在Yahoo全球近十个机房内部大规模部署,稳定服务了Yahoo内部邮箱,金融,Flickr,广告,NoSQL等众多的应用场景,一共创建了80多个租户,230多万个topic。 智联招聘在18年用Pulsar替换了线上原有的RabbitMQ,作为内部的消息总线,服务内部的20多个应用,每天会产生6亿多条消息和3TB的数据。在减轻硬件,运维和部署成本的同时,为系统提供了更好的服务质量和扩展性。
听众收益
1.了解消息系统的架构和发展趋势;
2.理解Apache Pulsar的特性;
3.理解Apache Pulsar和其他系统的根本不同;
4.Apache Pulsar的社区现状和发展规划。
热爱开源,目前主导开源项目ShardingSphere(原名Sharding-JDBC)和Elastic-Job。擅长以java为主分布式架构以及以Kubernetes和Mesos为主的云平台方向,推崇优雅代码,对如何写出具有展现力的代码有较多研究。
目前主要精力投入在将ShardingSphere打造为业界一流的金融级数据解决方案之上。ShardingSphere已经进入Apache孵化器,是京东集团首个进入Apache基金会的开源项目,也是Apache基金会首个分布式数据库中间件。
于2019年初出版书籍《未来架构——从服务化到云原生》
专题:中间件
中间件是大型互联网架构基础设施最重要的一部分,学习中间件设计,提升架构的最快途径。中间件经过多年的发展,一方面可以很好的平台化,一方面可以更好的支撑上层应用,从而解决软件复用的问题。在本论坛中,我们邀请了专家探讨几种常见的中间件,比如消息中间件,数据库中间件等。
其他相关专题
-
软件性能
专题出品人:麦俊生
美图 架构平台技术总监
性能优化是软件项目开发过程中一个永恒的话题。流量、数据不断增长和业务复杂度永远在向着“榨干”硬件的趋势逼近,无论硬件设备发展到何种程度,无论研发团队有多么丰富的经验积累,性能优化永远是一个非常棘手而又无法绕开的问题。各大互联网公司的不同类型业务对性能优化也各有差异、中小互联网公司对性能优化也往往仅限于“理论”上,在本专题中,我们将邀请专家从多业务场景多维度深度介绍和分析在不同场景化下如何进行性能优化,我们希望能够在吸取不同场景的性能优化实践后能够实实在在的在自身的业务系统中实际落地应用。
-
架构演进
专题出品人:许令波
小桔车服 小桔充电技术负责人
架构的核心目标就是支撑业务的快速发展, 业务是快速变化的, 技术架构则需要在充分理解业务的前提下, 尽可能高效和低成本的解决业务问题, 甚至提前预测业务可能的变化而提前进行技术布局。而不同的业务场景, 往往在架构设计上也会体现不同的侧重点, 比如微博的FEED服务交互往往必须采用低延迟的 RPC模式, 而异步的消息队列式交互方式则在电商架构上有着广泛的应用场景, 社交行业人与人之间的复杂关系模型则对图数据库有着更深入的要求等等。本专题重点结合典型互联网行业真实的业务场景, 来探讨架构设计的经典模式和通用准则。
-
混沌工程
专题出品人:洪小军
AfterShip CTO
混沌工程随着2010年Netflix的Chaos Money的开发和应用得到更多的关注,国内外的公司也都在做各种实践尝试。2017年Netflix将之体系的梳理为混沌工程理论,此后越来越多公司设立了专门的Chaos Engineering团队。相比于被动的应对故障,在可控的影响下实施混沌工程实验,提前揭示系统弱点,可以增强我们对系统可恢复性的信心,做到尽量少出问题,及其出问题后能尽快解决。本专题将从几个典型的实践案例,来与大家一同探讨行业在这个领域的实践和发展趋势。
-
微服务
专题出品人:张志欢
腾讯 互娱技术公线 总监
当前,“微服务”已经被越来越多的企业作为软件开发的首选架构思路。为什么会出现这样的情况?在这之前究竟发生了什么使得大家对这样一种架构趋之若鹜?而对于已经采用了“微服务”架构的企业又面临着怎样的阵痛?在本期专题中,我们将邀请专家着重讨论实践中碰见的问题。
-
中间件
专题出品人:张亮
京东数科 数据研发负责人
中间件是大型互联网架构基础设施最重要的一部分,学习中间件设计,提升架构的最快途径。中间件经过多年的发展,一方面可以很好的平台化,一方面可以更好的支撑上层应用,从而解决软件复用的问题。在本论坛中,我们邀请了专家探讨几种常见的中间件,比如消息中间件,数据库中间件等。
-
大中台
专题出品人:左耳朵耗子
MegaEase CEO
近年来,随着云服务思想落地生根结果;微服务架构切实的提高了生产效率;深度学习不断深入内容处理的各个领域促进生产力的发展。 在消息系统,数据仓库,计算框架,存储系统等基础架构层建设逐步提升的基础上,大型互联网公司进一步提出了业务基础设施的需求。在基础架构和上层业务之间急需一个中台系统来承载。中台系统把业务层同性的算法能力,服务能力,业务能力高度集成,有效组织 ,动态规划。更好的帮助上层业务。 希望通过本专题各个大型互联网公司的架构师们,对各自探索过的路径的分享,给与会者一个全面的对比学习机会。