吴国晓 |
京东 大数据资深开发工程师
目前专注于Spark-on-k8s研发,云原生JVM Profiling在大数据场景的实践,以及Hive-to-Spark计算引擎升级工作。此前曾就职于猎聘,15年加入京东,曾负责交易平台千万级tps的实时价格系统等。
课程概要
案例背景介绍:
Spark社区对于JVM平台原始支持甚少,在京东的做法是基于京东现有JDJDK提供的JFR功能并结合Spark On Kubernetes平台构建出All-In-One监控分析与诊断系统。
解决思路/成功要点:
JFR功能有众多优点,是Oracle官方提供的监控诊断系统,深入JVM内部无缝集成,性能开发不超过3%。然而JFR功能在JDK1.8是商业特性,我们做法是将Open jdk jfr patch合入到公司主流的jdk版本中,以便业务部门轻量级升级便可享用未来版本的功能。
成果:
基于Cloud Nativ JVM Profiling解决了线上很多性能和资源使用问题,如JFR的名字一样,将线上环境这个黑盒子以各种维度完整复现,便于开发人员快速定位和解决问题。
听众收益
可以比较切实的体会到JFR功能特性,基于JFR发现和修复Spark中一些性能问题,JD Spark一些踩坑案例,介绍京东Spark在JVM层面的一些前沿探索。
吴国晓 |
京东
大数据资深开发工程师
目前专注于Spark-on-k8s研发,云原生JVM Profiling在大数据场景的实践,以及Hive-to-Spark计算引擎升级工作。此前曾就职于猎聘,15年加入京东,曾负责交易平台千万级tps的实时价格系统等。
课程概要
案例背景介绍:
Spark社区对于JVM平台原始支持甚少,在京东的做法是基于京东现有JDJDK提供的JFR功能并结合Spark On Kubernetes平台构建出All-In-One监控分析与诊断系统。
解决思路/成功要点:
JFR功能有众多优点,是Oracle官方提供的监控诊断系统,深入JVM内部无缝集成,性能开发不超过3%。然而JFR功能在JDK1.8是商业特性,我们做法是将Open jdk jfr patch合入到公司主流的jdk版本中,以便业务部门轻量级升级便可享用未来版本的功能。
成果:
基于Cloud Nativ JVM Profiling解决了线上很多性能和资源使用问题,如JFR的名字一样,将线上环境这个黑盒子以各种维度完整复现,便于开发人员快速定位和解决问题。
听众收益
可以比较切实的体会到JFR功能特性,基于JFR发现和修复Spark中一些性能问题,JD Spark一些踩坑案例,介绍京东Spark在JVM层面的一些前沿探索。
相关案例
相关案例
-
Java, Today and Tomorrow
尹旭
Oracle
Oracle Java平台组高级软件工程师 -
Spark With Cloud Native JVM Profiling
吴国晓
京东
大数据资深开发工程师 -
Dubbo Spring Cloud 重塑微服务治理
小马哥
Apache
Dubbo PMC、Spring Cloud Alibaba 项目架构师 -
Kotlin/Native:Next step on the way to Kotlin multiplatform projects
Elena Lepilkina
JetBrains
Software developer in Kotlin/Native team