大规模任务调度在 AfterShip 的高可用实践

案例来源:AfterShip
会议地点:深圳
分享时间: 2021-07-30 14:30-15:30

林添毅  |

AfterShip Platform - 技术经理

目前就职于 AfterShip,担任基础平台服务团队的技术经理角色,团队主要会负责公司基础平台服务、工程效能、创新业务的开发工作。 近 10 年工程研发工作经验,5 年的项目和团队管理经验。擅长技术架构、性能优化、分布式中间件、团队建设。 作为微博比较早期的员工参与到微博的开放平台和高性能业务的支撑工作,负责 Redis 的二次开发、基于 SSD 的高性能缓存系统的研发工作。 后期在美图负责架构平台的基础研发团队,同时也作为业务架构师角色,参与到美图很多核心业务的优化工作。工作成果包含基于 Redis 之上自研任务队列服务 Lmstfy;基于 RocksDB 实现的 KV 存储 KVRocks;实现多 CDN 融合调度服务,提升美拍短视频访问体验,等等

课程概要

案例背景:
公司调度系统每天运行着千万级别的任务调度,在实时性、可用性、稳定性、扩展性以及成本方面都面临着巨大的挑战。

解决思路:
1. 基于开源的任务队列 LMSTFY 重构调度系统,极大的简化整体系统架构,提升了系统的可维护性;
2. 通过有效的监控体系设计,提高整个调度系统的可见性,并且极大的提升了系统的可用性;
3. 设计在线动态扩容方案,来满足系统 10x 倍的容量扩展。

成果:
1. 系统的成本下降为原成本的 20%;
2. 系统可以轻松满足未来 10x 倍的容量增长;
3. 系统的可见性和稳定性得到了比较大的提升,可以做到分钟级别的告警和问题定位。

听众收益

1. 了解如何构建高可靠的分布式调度系统;
2. 了解分布式任务队列的设计;
3. 了解如何有效构建系统的可见性体系以提升系统稳定性。

林添毅  |

AfterShip
Platform - 技术经理

目前就职于 AfterShip,担任基础平台服务团队的技术经理角色,团队主要会负责公司基础平台服务、工程效能、创新业务的开发工作。 近 10 年工程研发工作经验,5 年的项目和团队管理经验。擅长技术架构、性能优化、分布式中间件、团队建设。 作为微博比较早期的员工参与到微博的开放平台和高性能业务的支撑工作,负责 Redis 的二次开发、基于 SSD 的高性能缓存系统的研发工作。 后期在美图负责架构平台的基础研发团队,同时也作为业务架构师角色,参与到美图很多核心业务的优化工作。工作成果包含基于 Redis 之上自研任务队列服务 Lmstfy;基于 RocksDB 实现的 KV 存储 KVRocks;实现多 CDN 融合调度服务,提升美拍短视频访问体验,等等

课程概要

案例背景:
公司调度系统每天运行着千万级别的任务调度,在实时性、可用性、稳定性、扩展性以及成本方面都面临着巨大的挑战。

解决思路:
1. 基于开源的任务队列 LMSTFY 重构调度系统,极大的简化整体系统架构,提升了系统的可维护性;
2. 通过有效的监控体系设计,提高整个调度系统的可见性,并且极大的提升了系统的可用性;
3. 设计在线动态扩容方案,来满足系统 10x 倍的容量扩展。

成果:
1. 系统的成本下降为原成本的 20%;
2. 系统可以轻松满足未来 10x 倍的容量增长;
3. 系统的可见性和稳定性得到了比较大的提升,可以做到分钟级别的告警和问题定位。

听众收益

1. 了解如何构建高可靠的分布式调度系统;
2. 了解分布式任务队列的设计;
3. 了解如何有效构建系统的可见性体系以提升系统稳定性。

CopyRight © 2008-2021 Msup & 高可用架构

京ICP备09001521号