关于 Linux 网络，你必须知道这些

• 网络模型（TCP/IP）

  • 应用层，负责向用户提供一组应用程序，比如 HTTP、FTP、DNS 等
  • 传输层，负责端到端的通信，比如 TCP、UDP 等
  • 网络层，负责网络包的封装、寻址和路由，比如 IP、ICMP 等
  • 网络接口层，负责网络包在物理网络中的传输，比如 MAC 寻址、错误侦测以及通过网卡传输网络帧等。

• Linux网络栈

  • 传输层在应用程序数据前面增加了 TCP 头
  • 网络层在 TCP 数据包前增加了 IP 头
  • 网络接口层，又在 IP 数据包前后分别增加了帧头和帧尾
  • （网络接口层定义最大传输单元MTU，若网络层包大小超过该值，则网络层要先做分片后往下交付）
  • 总体调用栈：应用程序->系统调用->套接字->TCP/UDP->IP->链路层->igb/bnx->网卡

• Linux网络收发流程

  • 参见下图

• 性能指标

  • 带宽，表示链路的最大传输速率，单位通常为 b/s
  • 吞吐量，表示单位时间内成功传输的数据量，单位通常为 b/s（比特 / 秒）或者 B/s（字节 / 秒）
  • 延时，表示从网络请求发出后，一直到收到远端响应，所需要的时间延迟
  • PPS，是 Packet Per Second（包 / 秒）的缩写，表示以网络包为单位的传输速率
  • 其它包括：网络的可用性（网络能否正常通信）、并发连接数（TCP连接数量）、丢包率、重传率

• 网络配置

  • 查看工具：ifconfig、ip
  • 命令：ifconfig eth0、ip -s addr show dev eth0

  • 指标介绍

    • 网络接口的状态标志。ifconfig 输出中的 RUNNING ，或 ip 输出中的 LOWER_UP ，都表示物理网络是连通的
    • MTU 的大小。MTU 默认大小是 1500
    • 网络接口的 IP 地址、子网以及 MAC 地址

    • 网络收发的字节数、包数、错误数以及丢包情况

      • errors 表示发生错误的数据包数，比如校验错误、帧同步错误等
      • dropped 表示丢弃的数据包数，即数据包已经收到了 Ring Buffer，但因为内存不足等原因丢包；
      • overruns 表示超限数据包数，即网络 I/O 速度过快，导致 Ring Buffer 中的数据包来不及处理（队列满）而导致的丢包；
      • carrier 表示发生 carrirer 错误的数据包数，比如双工模式不匹配、物理电缆出现问题等；
      • collisions 表示碰撞数据包数。

• 套接字信息

  • 查看工具：netstat、ss
  • 命令：netstat -nlp、ss -ltnp

  • 指标介绍

    • 接收队列（Recv-Q）和发送队列（Send-Q），通常应该是 0。若不为0说明有网络包的堆积发生
    • syn backlog 是 TCP 协议栈中的半连接队列长度；全连接队列（accept queue）

• 协议栈统计信息

  • 命令：netstat -s、ss -s

• 网络吞吐&PPS

  • 查看工具：sar
  • 命令：sar -n DEV 2 10

  • 指标介绍

    • rxpck/s 和 txpck/s 分别是接收和发送的 PPS，单位为包 / 秒
    • rxkB/s 和 txkB/s 分别是接收和发送的吞吐量，单位是 KB/ 秒
    • rxcmp/s 和 txcmp/s 分别是接收和发送的压缩数据包数，单位是包 / 秒

• 连通性&延迟

  • 查看工具：ping

C10K 和 C1000K 回顾

• 定义

  • C表示Client的意思，C10K就是单机支持1w的请求；C1000K即单机支持100w请求。

• I/O模型优化

  • I/O事件通知方式

    • 水平触发：只要文件描述符可以非阻塞地执行 I/O ，就会触发通知。也就是说，应用程序可以随时检查文件描述符的状态，然后再根据状态，进行 I/O 操作
    • 边缘触发：只有在文件描述符的状态发生改变（也就是 I/O 请求达到）时，才发送一次通知。这时候，应用程序需要尽可能多地执行 I/O，直到无法继续读写，才可以停止。

  • 使用非阻塞 I/O 和水平触发通知（select和poll）

    • 实现方式：每个线程同时监控一批套接字的文件描述符，轮询遍历出哪些可以执行I/O，再执行真正的网络读写
    • 缺点：轮询耗时、select还有文件描述符数量限制、每次调用都涉及用户态和内核态的两次切换

  • 使用非阻塞 I/O 和边缘触发通知，比如 epoll

    • 实现方式

      • epoll 使用红黑树，在内核中管理文件描述符的集合，这样就不需要应用程序在每次操作时都传入、传出这个集合
      • epoll 使用事件驱动的机制，只关注有 I/O 事件发生的文件描述符，不需要轮询扫描整个集合

  • 使用异步 I/O（Asynchronous I/O，简称为 AIO）

    • 实现方式：异步 I/O 允许应用程序同时发起很多 I/O 操作，而不用等待这些操作完成。而在 I/O 完成后，系统会用事件通知（比如信号或者回调函数）的方式，告诉应用程序

• 工作模型优化

  • 主进程 + 多个 worker 子进程

    • 实现方式

      • 主进程执行 bind() + listen() 后，创建多个子进程
      • 在每个子进程中，都通过 accept() 或 epoll_wait() ，来处理相同的套接字

    • 惊群问题

      • 定义：当网络 I/O 事件发生时，多个进程被同时唤醒，但实际上只有一个进程来响应这个事件，其他被唤醒的进程都会重新休眠
      • 解决方法：在每个 worker 进程中，都增加一个了全局锁（accept_mutex）。这些 worker 进程需要首先竞争到锁，只有竞争到锁的进程，才会加入到 epoll 中，这样就确保只有一个 worker 子进程被唤醒

  • 监听到相同端口的多进程模型

    • 实现方式

      • 所有的进程都监听相同的接口，并且开启 SO_REUSEPORT 选项，由内核负责将请求负载均衡到这些监听进程中去

• 支撑C1000K的优化措施

  • 实现方式

    • 跳过内核协议栈的冗长路径，把网络包直接送到要处理的应用程序那里去（DPDK 和 XDP）

  • DPDK

    • 定义：用户态网络的标准，它跳过内核协议栈，直接由用户态进程通过轮询的方式，来处理网络接收。

  • XDP

    • 定义：Linux 内核提供的一种高性能网络数据路径。它允许网络包，在进入内核协议栈之前，就进行处理，也可以带来更高的性能

【案例】怎么评估系统的网络性能

• Linux网络基于TCP/IP协议栈，因此协议栈每层都可以评估分析其性能

• 各协议层性能测试

  • 网络接口层&网络层（转发能力）

    • 测试工具：pktgen、hping3

    • 使用命令

      • modprobe pktgen
      • ps -ef | grep pktgen | grep -v grep
      • ls /proc/net/pktgen/

  • TCP/UDP

    • 测试工具：iperf3

    • 使用方式

      • 在服务端执行：iperf3 -s -i 1 -p 8888

        • （-s表示启动服务端，-i表示汇报间隔，-p表示监听端口）

      • 在客户端执行：iperf3 -c 192.168.0.30 -b 1G -t 15 -P 2 -p 10000

        • （-c表示启动客户端，192.168.0.30为目标服务器的IP，-b表示目标带宽，-t表示测试时间，-P表示并发数，-p表示目标服务器监听端口）

      • 结果指标

        • SUM 行就是测试的汇总结果，包括测试时间、数据传输量以及带宽等
        • 按照发送和接收，这一部分又分为了 sender 和 receiver 两行

  • HTTP

    • 测试工具：ab

    • 使用方式

      • 安装命令：yum install -y httpd-tools

      • 执行命令：ab -c 1000 -n 10000 http://192.168.0.30/

        • （-c表示并发请求数为1000，-n表示总的请求数为10000）

    • 结果指标

      • 测试结果分为三个部分，分别是请求汇总、连接时间汇总还有请求延迟汇总

  • 应用负载

    • 测试工具：wrk

    • 使用方式

      • 安装命令

        • git clone https://github.com/wg/wrk.git
        • cd wrk
        • apt-get install build-essential -y
        • make
        • sudo cp wrk /usr/local/bin/

      • 执行命令：wrk -c 1000 -t 2 http://192.168.0.30/

        • （-c表示并发连接数1000，-t表示线程数为2）

【案例】DNS 解析时快时慢，我该怎么办

• 域名与DNS解析

  • 查看DNS服务器：cat /etc/resolv.conf

  • DNS记录类型

    • A 记录，用来把域名转换成 IP 地址
    • CNAME 记录，用来创建别名
    • NS 记录，表示该域名对应的域名服务器地址

  • 查询域名IP与使用的DNS服务器

    • 使用工具：nslookup
    • 执行命令：nslookup www.baidu.com
    • 返回结果：使用的域名服务器及端口信息、域名的非权威查询结果

  • DNS查询链路

    • 使用工具：dig

    • 执行命令：dig +trace +nodnssec www.baidu.com

      • （+trace表示开启跟踪查询，+nodnssec表示禁止DNS安全扩展）
    • 返回结果：DNS解析过程中，各级DNS服务器的信息与查询耗时
  • （上述两个工具的安装：yum install -y bind-utils）

  • 本地DNS解析

    • 执行命令：cat /etc/hosts

• DNS解析失败案例分析

  • 执行命令：nslookup www.baidu.com，返回connection timed out; no servers could be reached
  • 但直接ping IP地址是通的，说明服务器本身没问题
  • 再次执行命令：nslookup -debug www.baidu.com，开启debug模式，发现提示127.0.0.1#53(127.0.0.1)连接失败，说明是本地访问DNS服务器有问题
  • 执行命令：cat /etc/resolv.conf，发现没有输出，说明是本地没有配置DNS服务器

• DNS解析不稳定案例分析

  • 执行命令：time nslookup www.baidu.com，发现耗时非常长，且有时候直接超时

  • 怀疑可能的问题有

    • DNS 服务器本身有问题，响应慢并且不稳定
    • 客户端到 DNS 服务器的网络延迟比较大
    • DNS 请求或者响应包，在某些情况下被链路中的网络设备弄丢了
  • 直接ping DNS服务器，发现耗时确实比较长，且有丢包情况
  • 更换DNS服务器后情况好转，或者可以开启DNS缓存：/etc/init.d/dnsmasq start

• DNS优化方法

  • 对 DNS 解析的结果进行缓存
  • 对 DNS 解析的结果进行预取（这是浏览器等 Web 应用中最常用的方法，预取域名的DNS解析结果）
  • 使用 HTTPDNS 取代常规的 DNS 解析
  • 基于 DNS 的全局负载均衡（GSLB）

【案例】使用 tcpdump 和 Wireshark 分析网络流量

• tcpdump

  • 仅支持命令行格式使用，常用在服务器中抓取和分析网络包

  • 使用范例：tcpdump -nn udp port 53 or host 35.190.27.188

    • -nn ，表示不解析抓包中的域名（即不反向解析）、协议以及端口号
    • udp port 53 ，表示只显示 UDP 协议的端口号（包括源端口和目的端口）为 53 的包
    • host 35.190.27.188 ，表示只显示 IP 地址（包括源地址和目的地址）为 35.190.27.188 的包
    • 这两个过滤条件中间的“ or ”，表示或的关系，也就是说，只要满足上面两个条件中的任一个，就可以展示出来

• wireshark

  • 除了可以抓包外，还提供了强大的图形界面和汇总分析工具，在分析复杂的网络情景时，尤为简单和实用

  • 可以先使用tcpdump抓包并将结果输出，然后用wireshark分析

    • 输出命令：tcpdump -nn udp port 53 or host 35.190.27.188 -w ping.pcap

【案例】怎么缓解 DDoS 攻击带来的性能下降问题

• DDoS

  • DDoS 的前身是 DoS（Denail of Service），即拒绝服务攻击，指利用大量的合理请求，来占用过多的目标资源，从而使目标服务无法响应正常请求。
  • DDoS（Distributed Denial of Service） 则是在 DoS 的基础上，采用了分布式架构，利用多台主机同时攻击目标主机。

  • 攻击类型

    • 耗尽带宽
    • 耗尽操作系统的资源
    • 消耗应用程序的运行资源

• 排查经过

  • 客户端curl页面发现响应非常慢

  • 服务端通过sar命令，查看网络情况

    • 执行命令：sar -n DEV 1
    • 结果发现rxpck/s非常大，而txpck/s则相对较小。说明服务端收到大量的小包请求

  • 通过tcpdump抓包排查是什么小包

    • 执行命令：tcpdump -i eth0 -n tcp port 80
    • 结果发现大量数据包是Flags [S]，表示这是一个 SYN 包。大量的 SYN 包表明这是 SYN Flood 攻击
    • SYN Flood的原理，是通过大量TCP的半开连接状态，从而无法建立新的 TCP 连接

  • 查看服务端TCP半开连接

    • 执行命令：netstat -n -p | grep SYN_REC
    • 结果发现大量相同的IP占用TCP连接

  • 防止SYN Flood攻击手段

    • 禁止某个指定IP的连接

      • 执行命令：iptables -I INPUT -s 192.168.0.2 -p tcp -j REJECT

    • 限制syn并发数为每秒1次

      • 执行命令：iptables -A INPUT -p tcp --syn -m limit --limit 1/s -j ACCEPT

    • 限制单个IP在60秒新建立的连接数为10

      • 执行命令：iptables -I INPUT -p tcp --dport 80 --syn -m recent --name SYN_FLOOD --update --seconds 60 --hitcount 10 -j REJECT

    • 增大半连接的最大数量

      • 执行命令：sysctl -w net.ipv4.tcp_max_syn_backlog=1024

    • 设置SYN_RECV失败时的重试次数

      • 执行命令：sysctl -w net.ipv4.tcp_synack_retries=1

    • 使用TCP SYN Cookies

      • TCP SYN Cookies 也是一种专门防御 SYN Flood 攻击的方法。SYN Cookies 基于连接信息（包括源地址、源端口、目的地址、目的端口等）以及一个加密种子（如系统启动时间），计算出一个哈希值（SHA1），这个哈希值称为 cookie

Linux 文件系统是怎么工作的？

• 索引节点&目录项

  • Linux文件系统为每个文件都分配两个数据结构：索引节点（index node）和目录项（directory entry）
  • 索引节点，简称为 inode，用来记录文件的元数据，比如 inode 编号、文件大小、访问权限、修改日期、数据的位置等。索引节点和文件一一对应，它跟文件内容一样，都会被持久化存储到磁盘中。索引节点同样占用磁盘空间。
  • 目录项，简称为 dentry，用来记录文件的名字、索引节点指针以及与其他目录项的关联关系。多个关联的目录项，就构成了文件系统的目录结构。不过，不同于索引节点，目录项是由内核维护的一个内存数据结构，所以通常也被叫做目录项缓存。
  • 目录项本身就是一个内存缓存，而索引节点则是存储在磁盘中的数据，并且也会缓存到内存中加速访问

  • 磁盘被划分为三个存储区域：超级块、索引节点区和数据块区

    • 超级块，存储整个文件系统的状态
    • 索引节点区，用来存储索引节点
    • 数据块区，则用来存储文件数据

• 虚拟文件系统（VFS）

  • 为了支持各种不同的文件系统，Linux 内核在用户进程和文件系统的中间，又引入了一个抽象层，也就是虚拟文件系统 VFS
  • VFS 定义了一组所有文件系统都支持的数据结构和标准接口。这样，用户进程和内核中的其他子系统，只需要跟 VFS 提供的统一接口进行交互，而不需要再关心底层各种文件系统的实现细节

  • 底层文件系统分为三类：基于磁盘、内存、网络的文件系统

    • 基于磁盘的文件系统，即数据直接存储在计算机本地挂载的磁盘中。常见的 Ext4、XFS、OverlayFS 等
    • 基于内存的文件系统，也就是常说的虚拟文件系统。不需要任何磁盘分配存储空间，但会占用内存
    • 网络文件系统，也就是用来访问其他计算机数据的文件系统，比如 NFS、SMB、iSCSI 等

• 文件系统I/O

  • 根据是否利用标准库缓存，可以把文件 I/O 分为缓冲 I/O 与非缓冲 I/O

    • 缓冲 I/O，是指利用标准库缓存来加速文件的访问，而标准库内部再通过系统调度访问文件。
    • 非缓冲 I/O，是指直接通过系统调用来访问文件，不再经过标准库缓存。

  • 根据是否利用操作系统的页缓存，可以把文件 I/O 分为直接 I/O 与非直接 I/O

    • 直接 I/O，是指跳过操作系统的页缓存，直接跟文件系统交互来访问文件。
    • 非直接 I/O 正好相反，文件读写时先要经过系统的页缓存，然后再由内核或额外的系统调用，真正写入磁盘。

  • 根据应用程序是否阻塞自身运行，可以把文件 I/O 分为阻塞 I/O 和非阻塞 I/O

    • 阻塞 I/O，是指应用程序执行 I/O 操作后，如果没有获得响应，就会阻塞当前线程，自然就不能执行其他任务。
    • 非阻塞 I/O，是指应用程序执行 I/O 操作后，不会阻塞当前的线程，可以继续执行其他的任务，随后再通过轮询或者事件通知的形式，获取调用的结果。

  • 根据是否等待响应结果，可以把文件 I/O 分为同步和异步 I/O

    • 同步 I/O，是指应用程序执行 I/O 操作后，要一直等到整个 I/O 完成后，才能获得 I/O 响应。
    • 异步 I/O，是指应用程序执行 I/O 操作后，不用等待完成和完成后的响应，而是继续执行就可以。等到这次 I/O 完成后，响应会用事件通知的方式，告诉应用程序。

• 性能观测工具

  • 容量

    • df。所用命令：df -h（-h用可读性更好的容量单位，-i表示展示索引节点的容量占用情况）

  • 缓存

    • cat /proc/meminfo | grep -E "SReclaimable|Cached"
    • cat /proc/slabinfo | grep -E '^#|dentry|inode'
    • slabtop

Linux 磁盘I/O是怎么工作的

• 虚拟文件系统（VFS）

  • 目录项，记录了文件的名字，以及文件与其他目录项之间的目录关系（内存缓存）
  • 索引节点，记录了文件的元数据（持久化数据）
  • 逻辑块，是由连续磁盘扇区构成的最小读写单元，用来存储文件数据（持久化数据）
  • 超级块，用来记录文件系统整体的状态，如索引节点和逻辑块的使用情况等（持久化数据）

• 磁盘

  • 按存储介质分类：机械磁盘（HDD）、固态磁盘（SSD）

    • 机械磁盘

      • 盘片和磁头组成；随机I/O性能慢（要移动磁头）
      • 最小读写单位：扇区（512byte）

    • 固态磁盘

      • 无需寻址，速度快；
      • 最小读写单位：页（通常4KB、8KB）
    • 文件系统会把连续的扇区或页，组成逻辑块，作为最小管理单元

  • 按接口分类：IDE、SCSI 、SAS 、SATA 、FC等

    • 不同接口的设备，会分配不同的前缀作为设备名（例如IDE设备以hd开头，SCSI以sd开头）
    • 相同接口的多块设备，再以字母a、b、c等编号（例如sda，sdb）
    • 同一块设备，又可以分为不同的逻辑分区，以数字区分（sda1，sda2）
  • 在 Linux 中，磁盘实际上是作为一个块设备来管理的，也就是以块为单位读写数据，并且支持随机读写。
  • 每个块设备都会被赋予两个设备号，分别是主、次设备号。主设备号用在驱动程序中，用来区分设备类型；而次设备号则是用来给多个同类设备编号。

• I/O栈

  • Linux存储系统的I/O栈，从上至下整体分为三个层次：文件系统层、通用块层、设备层

  • 文件系统层

    • 包括虚拟文件系统和其他各种文件系统的具体实现。它为上层的应用程序，提供标准的文件访问接口；对下会通过通用块层，来存储和管理磁盘数据

  • 通用块层

    • 主要功能

      • 向上，为文件系统和应用程序提供访问块设备的标准接口；向下，把各种异构的磁盘设备抽象为统一的块设备，并提供统一框架来管理这些设备的驱动程序
      • 给上层发来的 I/O 请求排队，并通过重新排序、请求合并等方式，提高磁盘读写的效率

    • 包括块设备 I/O 队列和 I/O 调度器。它会对文件系统的 I/O 请求进行排队，再通过重新排序和请求合并，然后才要发送给下一级的设备层

      • I/O调度算法：NONE、NOOP、CFQ 以及 DeadLine

        • NONE，相当于没算法。它完全不使用任何 I/O 调度器，对上层的 I/O 不做任何处理
        • NOOP ，是最简单的一种 I/O 调度算法。它实际上是一个先入先出的队列，只做一些最基本的请求合并
        • CFQ（Completely Fair Scheduler），也被称为完全公平调度器，是现在很多发行版的默认 I/O 调度器，它为每个进程维护了一个 I/O 调度队列，并按照时间片来均匀分布每个进程的 I/O 请求（支持优先级调度）
        • DeadLine，分别为读、写请求创建了不同的 I/O 队列，可以提高机械磁盘的吞吐量，并确保达到最终期限（deadline）的请求被优先处理

  • 设备层

    • 包括存储设备和相应的驱动程序，负责最终物理设备的 I/O 操作

• 磁盘性能指标

  • 使用率，是指磁盘处理 I/O 的时间百分比。过高的使用率（比如超过 80%），通常意味着磁盘 I/O 存在性能瓶颈。
  • 饱和度，是指磁盘处理 I/O 的繁忙程度。过高的饱和度，意味着磁盘存在严重的性能瓶颈。当饱和度为 100% 时，磁盘无法接受新的 I/O 请求。
  • IOPS（Input/Output Per Second），是指每秒的 I/O 请求数。
  • 吞吐量，是指每秒的 I/O 请求大小。
  • 响应时间，是指 I/O 请求从发出到收到响应的间隔时间。

• 磁盘I/O观测工具

  • 系统维度：iostat

    • 命令范例：iostat -d -x 2 10（-d显示磁盘情况，-x显示详细信息，每隔2秒输出10次）
    • r/s，每秒发送给磁盘的读请求数量（合并后）
    • w/s，每秒发送给磁盘的写请求数量（合并后）
    • rkB/s，每秒从磁盘读取的数据量（单位kB）
    • wkB/s，每秒写入磁盘的数据量（单位kB）
    • rrqm/s，每秒合并的读请求数（%rrqm表示合并读请求的百分比）
    • wrqm/s，每秒合并的写请求数（%rrqm表示合并写请求的百分比）
    • avgrq-sz，请求队列中的平均大小
    • avgqu-sz，平均请求队列长度
    • r_await，读请求处理完成等待时间（包括队列中的等待时间和设备实际处理实际，单位ms）
    • w_await，写请求处理完成等待时间（包括队列中的等待时间和设备实际处理实际，单位ms）
    • await，即r_await和w_await的平均值
    • svctm，处理I/O请求所需的平均实际（不包括等待时间，单位ms，该时间只是推断）
    • %util，磁盘处理I/O的时间百分比

  • 进程维度：pidstat

    • 命令范例：pidstat -d 2 10
    • 每秒读取的数据大小（kB_rd/s） ，单位是 KB。
    • 每秒发出的写请求数据大小（kB_wr/s） ，单位是 KB。
    • 每秒取消的写请求数据大小（kB_ccwr/s） ，单位是 KB。

【案例】如何找出狂打日志的“内鬼”

• 排查经过

  • 通过top，查看系统整体性能

    • （CPU iowait%占比高，内存buffer/cache容量大，说明是I/O问题）

  • 通过iostat，查看系统整体I/O性能

    • 命令：iostat -d -x 2 10
    • (sda磁盘的 I/O使用率%util大，wkB/s、w_await数值高，说明sda磁盘有写瓶颈)

  • 通过pidstat，查看可疑进程的I/O性能

    • 命令：pidstat -d
    • （某进程的kB_wr/s数值很高，说明该进程一直在写I/O）

  • 通过strace，查看某进程的系统调用

    • 命令：strace -p
    • （发现该进程确实在写某个文件）

  • 通过lsof，查看进程打开的文件

    • 命令：lsof -p
    • （发现确实在打开某个文件疯狂写入）
  • 查看该进程的源代码，定位写文件的代码

【总结】如何迅速分析出系统I/O的瓶颈在哪里

• 文件系统I/O性能指标

  • 存储空间容量、使用量、剩余空间
  • 索引节点容量、使用量、剩余空间
  • 页缓存、目录项缓存、索引节点缓存、具体文件系统缓存
  • IOPS（包括 r/s 和 w/s）、响应时间（延迟）、吞吐量（B/s）

• 磁盘I/O性能指标

  • 使用率，是指磁盘忙处理 I/O 请求的百分比
  • IOPS（Input/Output Per Second），是指每秒的 I/O 请求数
  • 吞吐量，是指每秒的 I/O 请求大小
  • 响应时间，是指从发出 I/O 请求到收到响应的间隔时间

• 性能工具

  • 系统维度

    • df：容量、使用量、剩余空间（加-i表示看索引，不加是磁盘；-h展现更好的容量单位）
    • /proc/meminfo：普通文件系统占用的缓存页Cached、可回收的slab的大小SReclaimable
    • /proc/slabinfo：目录项、索引节点、文件系统的缓存
    • slabtop：同上，但更直观
    • iostat：磁盘I/O使用率、IOPS、吞吐量、响应时间、平均队列长度与大小等等（-d显示磁盘情况，-x显示详细信息）
    • vmstat（加-d展示磁盘状态信息）

  • 进程维度

    • pidstat：进程读写I/O大小与延迟（加-d）
    • strace：查看某进程的系统调用
    • lsof：查看进程打开的文件

• I/O问题整体分析思路

  • 先用 iostat 发现磁盘 I/O 性能瓶颈；
  • 再借助 pidstat ，定位出导致瓶颈的进程；
  • 随后分析进程的 I/O 行为；
  • 最后，结合应用程序的原理，分析这些 I/O 的来源。

【总结】磁盘 I/O 性能优化的几个思路

• I/O基准测试

  • 基准测试工具：fio
  • 命令范例：fio -name=randread -direct=1 -iodepth=64 -rw=randread -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=/dev/sdb

  • 入参选项

    • direct，表示是否跳过系统缓存（1表示跳过）
    • iodepth，表示使用异步 I/O时，同时发出的 I/O 请求上限
    • rw，表示 I/O 模式（ read/write 分别表示顺序读 / 写， randread/randwrite 则分别表示随机读 / 写）
    • ioengine，表示 I/O 引擎，支持同步（sync）、异步（libaio）、内存映射（mmap）、网络（net）等
    • bs，表示 I/O 的大小
    • filename，表示文件路径。它可以是磁盘路径（测试磁盘性能），或文件路径（测试文件系统性能）

  • 返回内容

    • slat ，是指从 I/O 提交到实际执行 I/O 的时长（Submission latency）
    • clat ，是指从 I/O 提交到 I/O 完成的时长（Completion latency）
    • lat ，指的是从 fio 创建 I/O 到 I/O 完成的总时长

• 应用程序优化

  • 用追加写代替随机写，减少寻址开销，加快 I/O 写的速度
  • 借助缓存 I/O ，充分利用系统缓存，降低实际 I/O 的次数
  • 在应用程序内部构建自己的缓存，或者用 Redis 这类外部缓存系统
  • 在需要频繁读写同一块磁盘空间时，可以用 mmap 代替 read/write，减少内存的拷贝次数
  • 在需要同步写的场景中，尽量将写请求合并，而不是让每个请求都同步写入磁盘，即可以用 fsync() 取代 O_SYNC
  • 在多个应用程序共享相同磁盘时，为了保证 I/O 不被某个应用完全占用，推荐使用 cgroups 的 I/O 子系统，来限制进程 / 进程组的 IOPS 以及吞吐量

• 文件系统优化

  • 根据实际负载场景的不同，选择最适合的文件系统

  • 优化文件系统的配置选项，包括文件系统的特性（如 ext_attr、dir_index）、日志模式（如 journal、ordered、writeback）、挂载选项（如 noatime）等

    • 调整文件系统的特性（tune2fs）
    • 调整文件系统的日志模式和挂载选项（/etc/fstab，mount）

  • 优化文件系统的缓存

    • 优化 pdflush 脏页的刷新频率（设置 dirty_expire_centisecs 和 dirty_writeback_centisecs）
    • 优化脏页的限额（调整 dirty_background_ratio 和 dirty_ratio 等）

  • 优化内核回收目录项缓存和索引节点缓存的倾向

    • 调整 /proc/sys/vm/vfs_cache_pressure（默认值 100），数值越大，就表示越容易回收
  • 在不需要持久化时，还可以用内存文件系统 tmpfs，以获得更好的 I/O 性能

• 磁盘优化

  • 换用性能更好的磁盘，比如用 SSD 替代 HDD
  • 可以使用 RAID ，把多块磁盘组合成一个逻辑磁盘，构成冗余独立磁盘阵列
  • 针对磁盘和应用程序 I/O 模式的特征，我们可以选择最适合的 I/O 调度算法
  • 可以对应用程序的数据，进行磁盘级别的隔离

  • 在顺序读比较多的场景中，我们可以增大磁盘的预读数据

    • 调整内核选项 /sys/block/sdb/queue/read_ahead_kb，默认大小是 128 KB，单位为 KB。
    • 使用 blockdev 工具设置，比如 blockdev --setra 8192 /dev/sdb

  • 可以优化内核块设备 I/O 的选项

    • 调整磁盘队列的长度 /sys/block/sdb/queue/nr_requests，适当增大队列长度