Linux实例带宽和CPU跑满或跑高排查

Linux实例带宽和CPU跑满或跑高排查

使用云服务器时，若出现服务的速度变慢，或连接突然断开，可以考虑服务器带宽和 CPU 是否有跑满或跑高的问题。Linux 系统下，您可以按如下步骤进行排查：

定位问题。找到影响带宽和 CPU 跑满或跑高的具体进程。

分析处理。排查影响带宽和 CPU 跑满或跑高的进程是否正常，并分类进行处理。

对于 正常进程：您需要对程序进行优化或者升级服务器配置。

对于 异常进程：您可以手动对进程进行查杀，也可以使用第三方安全工具去查杀。

本文相关配置及说明已在 CentOS 6.5 64 位操作系统中进行过测试。其它类型及版本操作系统配置可能有所差异，具体情况请参阅相应操作系统官方文档。

如果云服务器Linux 系统的 CPU 持续跑高，则会对系统稳定性和业务运行造成影响。本文对 CPU 占用率较高问题的排查分析做简要说明。

CPU 跑满或跑高的问题定位

若云服务器的 CPU 持续跑高，会对系统的稳定性和业务运行造成影响。Linux 系统下，查看进程的常用命令如下:

ps -aux

ps -ef

top

Linux 系统中，通常使用 top 命令来查看系统的负载问题，并定位耗用较多 CPU 资源的进程。

操作步骤

说明：资源负载异常时，通常无法通过 SSH 进行远程连接，建议您通过控制台管理终端进行连接。

1.通过 top 命令查看系统当前的运行情况。

针对负载问题，您只需关注回显的第一行和第三行信息，详细说明如下。

top 命令的第一行显示的内容,依次为 系统当前时间 、系统到目前为止已运行的时间、当前登录系统的用户数量、系统负载，这与直接执行 uptime 命令查询结果一致。

top 命令的第三行会显示当前 CPU 资源的总体使用情况，下方会显示各个进程的资源占用情况。

2.通过字母键 P，可以对 CPU 使用率进行倒序排列，进而定位系统中占用 CPU 较高的进程。

说明：通过字母键 M， 您可以对系统内存使用情况进行排序。如果有多核 CPU，数字键 1 可以显示每核 CPU 的负载

状况。

3.通过 ll /proc/PID/exe 可以查看每个进程 ID 对应的程序文件。

CPU 跑满或跑高的分析处理

CPU 的跑满或跑高，在确认具体的进程结果后，针对异常的进程，您需要通过 top 命令将其终止；而对于 kswapd0 进程导致的内存不足等问题，您需要对系统进行规格的升级或程序的优化。

使用 top 直接终止 CPU 消耗较大的进程

您可以直接在 top 运行界面快速终止相应的异常进程。操作步骤如下：

1.若您想要终止某个进程，只需按下小写的 k 键。

2.输入想要终止的进程 PID （top 输出结果的第一列）。例如，若您想要终止 PID 为 86 的进程，输入 86 后按回车即可。

3.操作成功后，界面会出现类似 Send pid 86 signal [15/sigterm] 的提示信息。按回车确认即可。

kswapd0 进程占用导致 CPU 较高

操作系统都用分页机制来管理物理内存，系统会把一部分硬盘空间虚拟成内存使用。由于内存的速度要比磁盘快得多，所以系统要按照某种换页机制将不需要的页面换到磁盘中，将需要的页面调到内存中。

kswapd0 是虚拟内存管理中负责换页的进程，当服务器内存不足的时候 kswapd0 会执行换页操作，这个换页操作是十分消耗主机 CPU 资源的。操作步骤如下：

1.通过 top 命令查看 kswapd0 进程。

2.检查该进程是否持续处于非睡眠状态，且运行时间较长。若是，可以初步判定系统在持续地进行换页操作，kswapd0 进程占用了系统大量 CPU 资源。

3.您可以通过 free 、ps 等指令进一步查询系统及系统内进程的内存占用情况，做进一步排查分析。

4.针对系统当前内存不足的问题，您可以重启 Apache，释放内存。

说明：从长远的角度来看，您需要对内存进行升级。

带宽跑满或跑高的分析处理

对于正常进程导致的带宽跑满或跑高的问题，需要对服务器的带宽进行升级。对于异常进程，有可能是由于恶意程序问题，或者是部分 IP 恶意访问导致，也可能是服务遭到了 CC 攻击。

通常情况下，您可以使用 iftop 工具或 nethogs 查看流量的占用情况，进而定位到具体的进程。

使用 iftop 工具排查

1. 在服务器内部安装 iftop 流量监控工具 yum install iftop -y

2. 服务器外网带宽被占满时，如果通过远程无法登陆，可通过终端管理进入到服务器内部，运行下面命令查看流量占用情况 iftop -i eth0 -P

      注意：-P 参数将会显示请求端口。执行 iftop -i eth0 -P 命令，可以查看通过服务器哪个端口建立的连接，以及内网流量。举例如下

在上图中，您可以查看到流量高耗的是服务器上 53139 端口和 115.205.150.235 地址建立的连接。

3.执行 netstat 命令反查 53139 端口对应的进程  netstat -tunlp |grep 53139

4.经反查，服务器上 vsftpd 服务产生大量流量，您可以通过停止服务或使用 iptables 服务来对指定地址进行处理，如屏蔽 IP 地址或限速，以保证服务器带宽能够正常使用。

使用 nethogs 进行排查

1.在服务器内部安装 nethogs 流量监控工具  yum install nethogs -y

2.通过 nethogs 工具来查看网卡上进程级的流量信息，若未安装可以通过 yum、apt-get 等方式安装。举例如下：

(1)若 eth0 网卡跑满，执行命令 nethogs eth0。

(2)查看每个进程的网络带宽情况以及进程对应的 PID。

(3)确定导致带宽跑满或跑高的具体进程。

3.若进程确定是恶意程序，可以通过执行 kill -TERM

说明： 如果是 Web 服务程序，您可以使用 iftop 等工具来查询具体 IP 来源，然后分析 Web 访问日志是否为正常流量。日志分析可以使用 logwatch 或 awstats 等工具进行。