一  背景知識(shí)

LINUX進(jìn)程狀態(tài)

LINUX 2.6以后的內(nèi)核中,，進(jìn)程一般存在7種基礎(chǔ)狀態(tài)：D-不可中斷睡眠、R-可執(zhí)行,、S-可中斷睡眠,、T-暫停態(tài),、t-跟蹤態(tài)、X-死亡態(tài),、Z-僵尸態(tài),，這幾種狀態(tài)在PS命令中有對(duì)應(yīng)解釋。

• D (TASK_UNINTERRUPTIBLE),，不可中斷睡眠態(tài),。顧名思義，位于這種狀態(tài)的進(jìn)程處于睡眠中,，并且不允許被其他進(jìn)程或中斷(異步信號(hào))打斷,。因此這種狀態(tài)的進(jìn)程，是無(wú)法使用kill -9殺死的(kill也是一種信號(hào)),，除非重啟系統(tǒng)(沒(méi)錯(cuò),，就是這么頭硬)。不過(guò)這種狀態(tài)一般由I/O等待(比如磁盤(pán)I/O,、網(wǎng)絡(luò)I/O,、外設(shè)I/O等)引起，出現(xiàn)時(shí)間非常短暫,，大多很難被PS或者TOP命令捕獲(除非I/O HANG死),。SLEEP態(tài)進(jìn)程不會(huì)占用任何CPU資源。

• R (TASK_RUNNING),，可執(zhí)行態(tài),。這種狀態(tài)的進(jìn)程都位于CPU的可執(zhí)行隊(duì)列中，正在運(yùn)行或者正在等待運(yùn)行,，即不是在上班就是在上班的路上,。

• S (TASK_INTERRUPTIBLE)，可中斷睡眠態(tài),。不同于D,，這種狀態(tài)的進(jìn)程雖然也處于睡眠中，但是是允許被中斷的,。這種進(jìn)程一般在等待某事件的發(fā)生（比如socket連接,、信號(hào)量等），而被掛起,。一旦這些時(shí)間完成,，進(jìn)程將被喚醒轉(zhuǎn)為R態(tài)。如果不在高負(fù)載時(shí)期,，系統(tǒng)中大部分進(jìn)程都處于S態(tài),。SLEEP態(tài)進(jìn)程不會(huì)占用任何CPU資源。

• T&t (__TASK_STOPPED & __TASK_TRACED),，暫停or跟蹤態(tài),。這種兩種狀態(tài)的進(jìn)程都處于運(yùn)行停止的狀態(tài),。不同之處是暫停態(tài)一般由于收到SIGSTOP、SIGTSTP,、SIGTTIN,、SIGTTOUT四種信號(hào)被停止，而跟蹤態(tài)是由于進(jìn)程被另一個(gè)進(jìn)程跟蹤引起(比如gdb斷點(diǎn)）,。暫停態(tài)進(jìn)程會(huì)釋放所有占用資源,。

• Z (EXIT_ZOMBIE), 僵尸態(tài)。這種狀態(tài)的進(jìn)程實(shí)際上已經(jīng)結(jié)束了,，但是父進(jìn)程還沒(méi)有回收它的資源（比如進(jìn)程的描述符,、PID等）。僵尸態(tài)進(jìn)程會(huì)釋放除進(jìn)程入口之外的所有資源,。

• X (EXIT_DEAD), 死亡態(tài),。進(jìn)程的真正結(jié)束態(tài)，這種狀態(tài)一般在正常系統(tǒng)中捕獲不到,。

Load Average & CPU使用率

談到系統(tǒng)性能,，Load和CPU使用率是最直觀的兩個(gè)指標(biāo)，那么這兩個(gè)指標(biāo)是怎么被計(jì)算出來(lái)的呢,？是否能互相等價(jià)呢,？

Load Average

不少人都認(rèn)為，Load代表正在CPU上運(yùn)行&等待運(yùn)行的進(jìn)程數(shù),，即

但Linux系統(tǒng)中,，這種描述并不完全準(zhǔn)確。

以下為L(zhǎng)inux內(nèi)核源碼中Load Average計(jì)算方法,，可以看出來(lái),，因此除了可執(zhí)行態(tài)進(jìn)程，不可中斷睡眠態(tài)進(jìn)程也會(huì)被一起納入計(jì)算,，即：

在前文 Linux進(jìn)程狀態(tài) 中有提到過(guò),，不可中斷睡眠態(tài)的進(jìn)程(TASK_UNINTERRUTED)一般都在進(jìn)行I/O等待，比如磁盤(pán),、網(wǎng)絡(luò)或者其他外設(shè)等待,。由此我們可以看出，Load Average在Linux中體現(xiàn)的是整體系統(tǒng)負(fù)載,，即CPU負(fù)載 Disk負(fù)載 網(wǎng)絡(luò)負(fù)載 其余外設(shè)負(fù)載,，并不能完全等同于CPU使用率(這種情況只出現(xiàn)在Linux中，其余系統(tǒng)比如Unix,，Load還是只代表CPU負(fù)載)。

CPU使用率

CPU的時(shí)間分片一般可分為4大類：用戶進(jìn)程運(yùn)行時(shí)間 - User Time, 系統(tǒng)內(nèi)核運(yùn)行時(shí)間 - System Time, 空閑時(shí)間 - Idle Time, 被搶占時(shí)間 - Steal Time,。除了Idle Time外,，其余時(shí)間CPU都處于工作運(yùn)行狀態(tài),。

通常而言，我們泛指的整體CPU使用率為User Time 和 Systime占比之和(例如tsar中CPU util),，即：

為了便于定位問(wèn)題,，大多數(shù)性能統(tǒng)計(jì)工具都將這4類時(shí)間片進(jìn)一步細(xì)化成了8類，如下為T(mén)OP對(duì)CPU時(shí)間片的分類,。

• us：用戶進(jìn)程空間中未改變過(guò)優(yōu)先級(jí)的進(jìn)程占用CPU百分比

• sy：內(nèi)核空間占用CPU百分比

• ni：用戶進(jìn)程空間內(nèi)改變過(guò)優(yōu)先級(jí)的進(jìn)程占用CPU百分比

• id：空閑時(shí)間百分比

• wa：空閑&等待I/O的時(shí)間百分比

• hi：硬中斷時(shí)間百分比

• si：軟中斷時(shí)間百分比

• st：虛擬化時(shí)被其余VM竊取時(shí)間百分比

這8類分片中，除wa和id外，其余分片CPU都處于工作態(tài),。

二  資源&瓶頸分析

從上文我們了解到,，Load Average和CPU使用率可被細(xì)分為不同的子域指標(biāo)，指向不同的資源瓶頸,?？傮w來(lái)說(shuō)，指標(biāo)與資源瓶頸的對(duì)應(yīng)關(guān)系基本如下圖所示,。

Load高 & CPU高

這是我們最常遇到的一類情況,，即load上漲是CPU負(fù)載上升導(dǎo)致。根據(jù)CPU具體資源分配表現(xiàn),，可分為以下幾類：

CPU sys高

這種情況CPU主要開(kāi)銷(xiāo)在于系統(tǒng)內(nèi)核,，可進(jìn)一步查看上下文切換情況。

• 如果非自愿上下文切換較多,，說(shuō)明CPU搶占較為激烈,，大量進(jìn)程由于時(shí)間片已到等原因，被系統(tǒng)強(qiáng)制調(diào)度,，進(jìn)而發(fā)生的上下文切換,。

• 如果自愿上下文切換較多，說(shuō)明可能存在I/O,、內(nèi)存等系統(tǒng)資源瓶頸,，大量進(jìn)程無(wú)法獲取所需資源，導(dǎo)致的上下文切換,。

CPU si高

這種情況CPU大量消耗在軟中斷,，可進(jìn)一步查看軟中斷類型。一般而言,，網(wǎng)絡(luò)I/O或者線程調(diào)度引起軟中斷最為常見(jiàn)：

• NET_TX & NET_RX,。NET_TX是發(fā)送網(wǎng)絡(luò)數(shù)據(jù)包的軟中斷，NET_RX是接收網(wǎng)絡(luò)數(shù)據(jù)包的軟中斷,，這兩種類型的軟中斷較高時(shí),，系統(tǒng)存在網(wǎng)絡(luò)I/O瓶頸可能性較大。

• SCHED。SCHED為進(jìn)程調(diào)度以及負(fù)載均衡引起的中斷,，這種中斷出現(xiàn)較多時(shí),，系統(tǒng)存在較多進(jìn)程切換，一般與非自愿上下文切換高同時(shí)出現(xiàn),，可能存在CPU瓶頸,。

CPU us高

這種情況說(shuō)明資源主要消耗在應(yīng)用進(jìn)程，可能引發(fā)的原因有以下幾類：

• 死循環(huán)或代碼中存在CPU密集計(jì)算,。這種情況多核CPU us會(huì)同時(shí)上漲,。

• 內(nèi)存問(wèn)題，導(dǎo)致大量FULLGC,，阻塞線程,。這種情況一般只有一核CPU us上漲。

• 資源等待造成線程池滿,，連帶引發(fā)CPU上漲,。這種情況下，線程池滿等異常會(huì)同時(shí)出現(xiàn),。

Load高 & CPU低

這種情況出現(xiàn)的根本原因在于不可中斷睡眠態(tài)(TASK_UNINTERRUPTIBLE)進(jìn)程數(shù)較多,，即CPU負(fù)載不高，但I(xiàn)/O負(fù)載較高,?？蛇M(jìn)一步定位是磁盤(pán)I/O還是網(wǎng)絡(luò)I/O導(dǎo)致。

三  排查策略

利用現(xiàn)有常用的工具,，我們常用的排查策略基本如下圖所示：

從問(wèn)題發(fā)現(xiàn)到最終定位,，基本可分為四個(gè)階段：

資源瓶頸定位

這一階段通過(guò)全局性能檢測(cè)工具，初步定位資源消耗異常位點(diǎn),。

常用的工具有：

• top,、vmstat、tsar(歷史)

• 中斷：/proc/softirqs,、/proc/interrupts

• I/O：iostat,、dstat

熱點(diǎn)進(jìn)程定位

定位到資源瓶頸后，可進(jìn)一步分析具體進(jìn)程資源消耗情況,，找到熱點(diǎn)進(jìn)程,。

常用工具有：

• 上下文切換：pidstat -w

• CPU：pidstat -u

• I/O：iotop、pidstat -d

• 僵尸進(jìn)程：ps

線程&進(jìn)程內(nèi)部資源定位

找到具體進(jìn)程后,，可細(xì)化分析進(jìn)程內(nèi)部資源開(kāi)銷(xiāo)情況,。

常用工具有：

• 上下文切換：pidstat -w -p [pid]

• CPU：pidstat -u -p [pid]

• I/O: lsof

熱點(diǎn)事件&方法分析

獲取到熱點(diǎn)線程后，我們可用trace或者dump工具,，將線程反向關(guān)聯(lián),，將問(wèn)題范圍定位到具體方法&堆棧,。

常用的工具有：

• perf：Linux自帶性能分析工具，功能類似hotmethod,，基于事件采樣原理,，以性能事件為基礎(chǔ)，支持針對(duì)處理器相關(guān)性能指標(biāo)與操作系統(tǒng)相關(guān)性能指標(biāo)的性能剖析,。
  

• jstack

• 結(jié)合ps -Lp或者pidstat -p一起使用，可初步定位熱點(diǎn)線程,。

• 結(jié)合zprofile-threaddump一起使用,，可統(tǒng)計(jì)線程分布、等鎖情況,，常用與線程數(shù)增加分析,。

• strace：跟蹤進(jìn)程執(zhí)行時(shí)的系統(tǒng)調(diào)用和所接收的信號(hào)。

• tcpdump：抓包分析,，常用于網(wǎng)絡(luò)I/O瓶頸定位,。