Spark With Cloud Native JVM Profiling

案例来源:京东
会议地点:深圳
分享时间: 2019-06-22 15:50-16:50

吴国晓  |

京东 大数据资深开发工程师

目前专注于Spark-on-k8s研发,云原生JVM Profiling在大数据场景的实践,以及Hive-to-Spark计算引擎升级工作。此前曾就职于猎聘,15年加入京东,曾负责交易平台千万级tps的实时价格系统等。

课程概要

案例背景介绍:
Spark社区对于JVM平台原始支持甚少,在京东的做法是基于京东现有JDJDK提供的JFR功能并结合Spark On Kubernetes平台构建出All-In-One监控分析与诊断系统。

解决思路/成功要点:
JFR功能有众多优点,是Oracle官方提供的监控诊断系统,深入JVM内部无缝集成,性能开发不超过3%。然而JFR功能在JDK1.8是商业特性,我们做法是将Open jdk jfr patch合入到公司主流的jdk版本中,以便业务部门轻量级升级便可享用未来版本的功能。

成果:
基于Cloud Nativ JVM Profiling解决了线上很多性能和资源使用问题,如JFR的名字一样,将线上环境这个黑盒子以各种维度完整复现,便于开发人员快速定位和解决问题。

听众收益

可以比较切实的体会到JFR功能特性,基于JFR发现和修复Spark中一些性能问题,JD Spark一些踩坑案例,介绍京东Spark在JVM层面的一些前沿探索。

吴国晓  |

京东
大数据资深开发工程师

目前专注于Spark-on-k8s研发,云原生JVM Profiling在大数据场景的实践,以及Hive-to-Spark计算引擎升级工作。此前曾就职于猎聘,15年加入京东,曾负责交易平台千万级tps的实时价格系统等。

课程概要

案例背景介绍:
Spark社区对于JVM平台原始支持甚少,在京东的做法是基于京东现有JDJDK提供的JFR功能并结合Spark On Kubernetes平台构建出All-In-One监控分析与诊断系统。

解决思路/成功要点:
JFR功能有众多优点,是Oracle官方提供的监控诊断系统,深入JVM内部无缝集成,性能开发不超过3%。然而JFR功能在JDK1.8是商业特性,我们做法是将Open jdk jfr patch合入到公司主流的jdk版本中,以便业务部门轻量级升级便可享用未来版本的功能。

成果:
基于Cloud Nativ JVM Profiling解决了线上很多性能和资源使用问题,如JFR的名字一样,将线上环境这个黑盒子以各种维度完整复现,便于开发人员快速定位和解决问题。

听众收益

可以比较切实的体会到JFR功能特性,基于JFR发现和修复Spark中一些性能问题,JD Spark一些踩坑案例,介绍京东Spark在JVM层面的一些前沿探索。

CopyRight © 2008-2019 Msup & 高可用架构