基于linux eBPF的进程off-cpu的方法

提起off-CPU就不得不提on-cpu，on-cpu是在线程（进程）在CPU上运行的消耗，off-cpu就是进程（线程）由于某种原因阻塞的消耗，如等待IO，等待锁，等待定时器，等待内存页面的swap等。如下图所示，红色部分属于on-cpu部分，蓝色部分属于off-cpu。

一般我们用的perf命令等都是采样on-cpu的指令进行CPU的消耗分析的，这篇文章主要介绍一下分析进程off-cpu的方法。

要想风险一个进程的off-cpu消耗，首先就是要确保程序编译时有完整的堆栈信息。例如有些C程序为了优化性能添加了gcc的 -fomit-frame-pointer编译选项，这就导致程序中不再有堆栈信息，对于这种情况是无法分析出off-cpu的堆栈消耗的。

这里讲的分析off-cpu的工具是基于linux eBPF的offcputime（要求linux内核版本在4.8以上），当然使用perf sched timehist工具也可以（linux内核版本大于4.10），但是开销要大一些。我们首先yum安装bpfcc-tools（tools for BPF Compiler Collection），以及git clone了

我们想看一下pgrep -nx tar命令的off-cpu执行消耗可以使用如下命令。

如果我们只想查看内核态的off-cpu消耗可以加上-K参数。如果想把TASK_UNINTERRUPTIBLE状态过滤掉可以添加--state 2，其中TASK_RUNNING 状态为0,  TASK_INTERRUPTIBLE 状态为1 TASK_UNINTERRUPTIBLE 状态为2。

当然也可以查看off-cpu的火焰图，如下方式

sudo offcputime-bpfcc -df -p `pgrep -nx a.out` 30 > out.stacks

./flamegraph.pl --color=io --title="Off-CPU Time Flame Graph" --countname=us ~/out.stacks > output.svg

打开output.svg图片即可。

然后我们再来讲一下off-cpu的原理。当进程由于某种原因block或者要发送切换时，记录一下当前的堆栈和时间，当切换回来的时候再次记录下堆栈和时间即可。
编辑：hfy