微信号:JavaCoder1024

介绍:关注语言编程Java,分享、交流Java编程技巧和信息

谈谈线上CPU100%排查套路

2019-04-09 22:04 孤独烟

来自:孤独烟(微信号:zrj_guduyan)

引言

不知道在大家面试中,有没有遇到这个问题:

生产服务器上部署了几个java程序,突然出现了CPU100%的异常告警,你如何定位出问题呢?

这个问题分为两版回答!
高调版
对不起,我是做研发的,这个问题在生产上是不可能遇见的!因为研发是不可能直接操作生产服务器,如果贵公司能出现这个问题,应该要反思一下自己的权限控制是否合理!

面试官心里活动:装13是不是,赶紧走!

低调版
这个问题我在生产上没碰到过,因为我们是没法直接操作生产环境的。只能说,在测试环境曾经遇见过。操作步骤如下,balabala…

面试官心里活动:权限控制的不错,应该是在大厂呆过。

下面开始我们的正文

正文

下面给出两种系统下的排查步骤,都是一模一样的,只是命令稍有区别!

  • 查消耗cpu最高的进程PID

  • 根据PID查出消耗cpu最高的线程号

  • 根据线程号查出对应的java线程,进行处理。

准备一行死循环代码:

怎么跑,应该不用我说了,直接教大家怎么查!

windows版

可能有人有疑问,我为什么要说windows版的!因为,我曾经给很多政府部门做过系统。我发现他们用的是windows server,不是linux系统。所有必要说一下!

查消耗cpu最高的进程PID

手边没有windows server机器,我以win 10为例,截图给大家看一下,先调出PID显示项!


然后发现进程PID如下图所示,为10856


接下来呢?

根据PID查出消耗cpu最高的线程号

这里用到微软的工具Process Explorer v16.22,地址如下
https://docs.microsoft.com/zh-cn/sysinternals/downloads/process-explorer
如图所示


发现最耗cpu的线程的TId为6616
这是十进制的数据,转成十六进制为19d8

根据线程号查出对应的java线程,进行处理

执行命令,导出进程快照

打开文件 c:/10856.stack,搜索19d8,如下图所示


根据文件就可以看出,我们的 TestFor.java文件第七行一直在跑,至此定位到问题

Linux版

Linux版本,步骤是一模一样的,就是命令换了一下

查消耗cpu最高的进程PID

执行命令

  • 执行top -c ,显示进程运行信息列表。按下P,进程按照cpu使用率排序

如下图所示,PID为3033的进程耗费cpu最高

根据PID查出消耗cpu最高的线程号

执行命令

  • top -Hp 3033 ,显示一个进程的线程运行信息列表。按下P,进程按照cpu使用率排序

如下图所示,PID为3034的线程耗费cpu最高

这是十进制的数据,转成十六进制为0xbda

根据线程号查出对应的java线程,进行处理

执行命令,导出进程快照


jstack -l 3033 > ./3033.stack

然后执行,grep命令,看线程0xbda做了什么

cat 3033.stack |grep 'bda' -C 8

输出如下

至此定位到问题

总结

大家记得一定要去实际操作一次!


●编号928,输入编号直达本文

●输入m获取文章目录

推荐↓↓↓

程序员求职面试

更多推荐25个技术类公众微信

涵盖:程序人生、算法与数据结构、黑客技术与网络安全、大数据技术、前端开发、Java、Python、Web开发、安卓开发、iOS开发、C/C++、.NET、Linux、数据库、运维等。

 
Java编程 更多文章 Java的几个坑,重复造轮子的事你有做过吗? 一文带你轻松搞懂事务隔离级别(图文详解) 为什么我不建议你买保险?陷阱是什么? 【面试】足够应付面试的Spring事务源码阅读梳理(建议珍藏) 面试官问我,使用Dubbo有没有遇到一些坑?我笑了。
猜您喜欢 前沿丨无人驾驶汽车以3大方式改变人类生活 【声音】叶成辉谈新常态下外资科技公司在中国的角色 高并发和大流量解决方案 从 4 行代码看右值引用 斯坦福「棉花糖实验」:是什么影响了孩子的自控力?