吴国晓  |

京东

大数据资深开发工程师

即将开始的GIAC课程

Spark With Cloud Native JVM Profiling

Java专场

2019-06-22 15:50--16:50

案例背景介绍:
Spark社区对于JVM平台原始支持甚少,在京东的做法是基于京东现有JDJDK提供的JFR功能并结合Spark On Kubernetes平台构建出All-In-One监控分析与诊断系统。

解决思路/成功要点:
JFR功能有众多优点,是Oracle官方提供的监控诊断系统,深入JVM内部无缝集成,性能开发不超过3%。然而JFR功能在JDK1.8是商业特性,我们做法是将Open jdk jfr patch合入到公司主流的jdk版本中,以便业务部门轻量级升级便可享用未来版本的功能。

成果:
基于Cloud Nativ JVM Profiling解决了线上很多性能和资源使用问题,如JFR的名字一样,将线上环境这个黑盒子以各种维度完整复现,便于开发人员快速定位和解决问题。

目前专注于Spark-on-k8s研发,云原生JVM Profiling在大数据场景的实践,以及Hive-to-Spark计算引擎升级工作。此前曾就职于猎聘,15年加入京东,曾负责交易平台千万级tps的实时价格系统等。

即将开始的GIAC课程

Spark With Cloud Native JVM Profiling

Java专场

2019-06-22 15:50--16:50

案例背景介绍:
Spark社区对于JVM平台原始支持甚少,在京东的做法是基于京东现有JDJDK提供的JFR功能并结合Spark On Kubernetes平台构建出All-In-One监控分析与诊断系统。

解决思路/成功要点:
JFR功能有众多优点,是Oracle官方提供的监控诊断系统,深入JVM内部无缝集成,性能开发不超过3%。然而JFR功能在JDK1.8是商业特性,我们做法是将Open jdk jfr patch合入到公司主流的jdk版本中,以便业务部门轻量级升级便可享用未来版本的功能。

成果:
基于Cloud Nativ JVM Profiling解决了线上很多性能和资源使用问题,如JFR的名字一样,将线上环境这个黑盒子以各种维度完整复现,便于开发人员快速定位和解决问题。

CopyRight © 2008-2019 Msup & 高可用架构