Linux系统死机后，如何快速排查原因？

Linux系统出现hang机（即系统无响应，鼠标键盘失灵，屏幕卡住）时，排查问题需要从硬件到软件逐步深入，结合系统日志、资源监控工具和诊断命令定位根本原因，以下是详细的检查步骤和方法：

物理检查与硬件状态排查

硬件问题是系统hang机的常见诱因,首先需确认物理层面是否存在异常。

1. 电源与散热检查：观察主机电源指示灯是否正常，风扇（CPU风扇、显卡风扇、机箱风扇）是否转动，若风扇停转或散热口堵塞，可能导致CPU/显卡过热触发保护机制，系统强制停止响应，可用手触摸机箱外壳或使用红外测温仪检测硬件温度（正常CPU温度应低于90℃，显卡低于85℃）。
2. 硬件连接稳定性：关闭电源后，重新插拔内存条、硬盘数据线（SATA/SATAe）、电源线等，确保接口接触良好，内存松动可能导致系统随机hang机，硬盘接触不良可能引发I/O阻塞。
3. 外设兼容性：拔除外接设备（如U盘、打印机、扩展坞），仅保留键盘、鼠标、显示器等必要设备，观察是否因外设驱动或供电问题导致系统卡死。

系统资源监控与进程分析

硬件正常后,需检查系统资源是否被异常占用，导致资源耗尽而hang机。

1. CPU资源检查：

   • 使用top或htop命令（需提前安装htop：sudo apt install htop/sudo yum install htop），查看“%CPU”列是否存在持续占用100%的进程，若发现僵尸进程（状态为“Z”）或不可中断进程（状态为“D”），可能触发系统hang机。
   • 定位高CPU进程后,可通过ps -ef | grep 进程PID查看进程详情，或kill -9 PID强制终止（谨慎操作，避免关键进程被误杀）。

2. 内存与交换空间检查：

   • 执行free -h命令，查看“available”列（可用内存）是否接近0，“buff/cache”列是否占用过高，若内存不足，系统会频繁使用交换空间（swap），导致I/O等待升高，进而hang机。
   • 使用vmstat 1持续监控内存变化，若“si”（swap in）和“so”（swap out）数值持续较高，说明内存压力过大，需排查是否存在内存泄漏进程（可通过smem工具分析进程内存占用）。

3. 磁盘I/O与文件系统检查：

   

   • 使用iostat -xz 1命令，观察“%util”（磁盘利用率）是否持续接近100%，“await”（平均等待时间）是否显著升高（正常应低于10ms），若磁盘I/O繁忙，可能因坏道、文件系统错误或进程疯狂读写导致系统卡死。
   • 检查文件系统错误：执行dmesg | grep -i "error|fail"，查看是否有磁盘或文件系统相关的错误信息（如“ext4 error: bad inode”）。

内核日志与驱动问题排查

内核或驱动异常是系统hang机的深层原因,需重点关注内核日志和驱动状态。

1. 内核日志分析：

   • 执行dmesg | tail -n 50查看内核启动及运行时的最新日志，重点关注“Oops”（内核错误）、“panic”（内核严重错误）、“call trace”（调用栈）等关键词，若日志中出现“general protection fault”，可能是驱动代码缺陷导致内核崩溃。
   • 持续监控内核日志：dmesg -w（实时跟踪），在系统hang机前观察是否有异常输出（如硬件检测失败、驱动超时等）。

2. 驱动状态检查：

   • 使用lspci -k查看硬件设备（如显卡、网卡、存储控制器）加载的驱动版本，若驱动版本过旧或与内核不兼容，可能导致设备响应异常。
   • 对于显卡驱动（如NVIDIA闭源驱动），可尝试切换到开源驱动（如nouveau），或通过nvidia-smi查看显卡状态是否存在死锁。
   • 检查内核模块冲突：执行lsmod | grep -v "Module"查看已加载模块，对比硬件驱动列表，确认是否存在重复加载或不必要的模块（如卸载未使用的模块：sudo rmmod 模块名）。

系统服务与文件系统完整性

系统关键服务异常或文件系统损坏也可能引发hang机。

1. 失败服务检查：

   

   • 执行systemctl --failed查看所有失败的服务，重点关注systemd-init.service、network.service、log.service等基础服务，若存在失败服务，可通过journalctl -u 服务名查看服务日志定位原因（如配置错误、依赖缺失）。
   • 对于图形界面hang机,可切换到tty终端（Ctrl+Alt+F1-F6），执行startx尝试重启图形服务，或查看/var/log/Xorg.0.log（Xorg日志）排查显卡驱动问题。

2. 文件系统完整性检查：

   • 若系统异常关机后hang机,可能是文件系统未正确卸载导致损坏，使用fsck命令检查文件系统（需在单用户模式或挂载其他磁盘时执行）：

     sudo fsck /dev/sda1  # /dev/sda1替换为实际分区

   • 检查磁盘坏道：使用badblocks -s /dev/sda1扫描磁盘坏道（需卸载分区），若发现坏道需及时更换硬盘。

内核参数与系统配置优化

部分系统配置或内核参数可能间接导致hang机,需针对性调整。

1. OOM Killer触发检查：
   • 当内存不足时,Linux内核会启动OOM Killer终止进程释放内存，执行dmesg | grep -i "oom-killer"查看是否因OOM Killer终止关键进程，可通过调整/proc/sys/vm/overcommit_memory参数（如设置为2，禁止过量分配内存）缓解。
2. 内核参数调整：
   • 编辑/etc/sysctl.conf文件，优化内核参数（如增大文件描述符限制：fs.file-max=1000000，调整网络缓冲区：net.core.rmem_max=16777216），保存后执行sysctl -p生效。

常用检查命令速查表

相关问答FAQs

Q1：Linux系统hang机后如何强制重启？
A：若系统完全无响应，可通过以下方式强制重启：

• 硬件重启：长按电源键5-10秒强制关机，再重新开机。
• 命令重启：若终端可用，执行sudo reboot或sudo shutdown -r now；若终端卡死，尝试Ctrl+Alt+Delete（部分系统支持触发重启）。
• 内核重启：在tty终端执行echo b > /proc/sysrq-trigger（需开启sysrq功能：echo 1 > /proc/sys/kernel/sysrq），触发强制重启。

Q2：如何预防Linux系统频繁hang机？
A：预防措施包括：

• 定期更新系统与驱动：执行sudo apt update && sudo apt upgrade（Debian/Ubuntu）或sudo yum update（CentOS/RHEL），及时修复内核和驱动漏洞。
• 监控硬件状态：使用smartctl（硬盘健康检查：sudo smartctl -a /dev/sda）和sensors（硬件温度监控：sensors）定期检测硬件状态，避免过载或损坏。
• 优化系统配置：关闭不必要的服务（systemctl disable 服务名），合理设置内核参数（如vm.swappiness=10减少swap使用），避免资源过度占用。
• 保持良好散热：定期清理机箱灰尘，确保风扇正常运转，避免硬件过热降频或hang机。