实战案例 | 基于ramoops的kernel panic故障定位技巧

 

前言：

对于嵌入式产品的开发使用，尽管会经历大量的测试和验证，但在大批量生产中，硬件物料的适配一致性，应用软件的异常消息队列等因素，使得现场使用中存在极小概率发生意外状况，出现如 kernel opps、panic等死机现象。这时系统日志无法及时写入 flash，重启后没有存到任何关键信息，工程师也崩溃了。下文则基于眺望电子T113-i核心板产品为例，介绍如何在Linux系统上搭建并验证ramoops， 以便在系统崩溃或异常时进行故障排查。

 

 

一、ramoops 简介

 

 

ramoops 是一个 oops/panic 日志记录器，它在系统崩溃之前将其日志写入 RAM。它的工作原理是将 oops 和 panic 记录在循环缓冲区中。ramoops 需要具有持久 RAM 的系统，以便该区域的内容在重启后仍然存在。

 

 

二、ramoops 搭建

 

 2.1  环境说明

平台： T113-I Tina 
 

SDK ： talowe-T113-I-Tina-sdk_2025_03_10.tar.gz 
 

Kernel 版本： 5.4.61 
 

查看系统内存

DRAM 类型： DDR3 

•  

[root@T113-I:/]# cat /proc/iomem

可以看到SRAM地址为0x40000000~0x5FFFFFFF，共512M，可以选择kernel code和kernel data以外的地址用作ramoops空间。

 

 2.2  内核配置修改

 

ramoops在内核里面叫pstore ram，源码路径为： 

kernel/linux-5.4/fs/pstore/ram_core.c

kernel/linux-5.4/fs/pstore/ram.c

•  
•  
•  

CONFIG_PSTORE_RAM=y        # 下面的根据自己需求 CONFIG_PSTORE_CONSOLE=y    # 保存控制台日志（上一次的） CONFIG_PSTORE_PMSG=y   # 用户信息存储，可以往/dev/pmsg0节点写入

设备树配置

•  
•  
•  
•  
•  
•  
•  
•  
•  
•  
•  
•  
•  
•  

reserved-memory {  #address-cells = <2>;  #size-cells = <2>;  ranges;
  ramoops@5f000000 {    compatible = "ramoops";    reg = <0 0x5f000000 0 0x100000>; // 1M内存    record-size = <0x40000>;  // oops/panic信息存储    console-size = <0x4000>;  // 内核信息存储    pmsg-size = <0x4000>;   // 用户信息存储             no-map;  }; };

 

使用参数解析：

reg = <0 0x5f000000 0 0x100000>; 从0x5f000000开始，划分0x100000内存（也就是1M），用于ramoops 

record-size = <0x40000>; 分配使用256K来存储oops/panic信息，文件名称为dmesg-ramoops-0 

console-size = <0x4000>; 分配使用16K来存储上一次的内核信息，文件名称为console-ramoops-0 

pmsg-size = <0x4000>; 分配使用16K来存储用户上一次向/dev/pmsg0节点写入的信息，文件名称为pmsg-ramoops-0 

no-map; 必须添加，亦或者修改kernel的内存初始化，将这部分空间预留出来

其他参数：

lecc-size = ；
 

使用ecc纠错机制，纠错字节数为value，value为1时，使用16字节来纠错，其他值会直接使用

使用ecc会消耗更多内存消耗的内存，消耗的内存与cnt有关，如下面注2，cnt为3，则会消耗3*ecc_value。

 

 

 

 

注1：size为2的幂向下取整 

注2：如果内存划分不规范，可能record的实际大小由(mem_size - console_size - pmsg_size) / record_size决定，如上面例子（0x100000 - 0x4000 - 0x4000）/0x40000，结果向下取整为3，所以record的大小为（0x100000 - 0x4000 - 0x4000）/ 3 ，结果向下取整为330k

 

 2.3  系统加载确认

2.3.1 驱动加载查看

将如上修改后的固件镜像烧写到T113-i核心板，进入系统后，使用以下指令查看ramoops内存分配是否成功，如下图显示：成功从0x5f000000开始分配了0x100000（既1M），未启用ECC纠错码（设备树添加ecc-size属性可以开启）

•  

[root@T113-I:/]# dmesg | grep ramoops

 

 

 

•  

[root@T113-I:/]# cat /proc/iomem

 

5f000000~5f052aa9：330K，用作存储上一次oops/panic信息

5f052aaa~5f0a5553：330K，用作存储上一次oops/panic信息

5f0a5554~5f0f7ffd：330K，用作存储上一次oops/panic信息

5f0f7ffe~5f0fbffd：16K，用作存储上一次系统的内核信息

5f0fbffe~5f0ffffd：16K，用于存储上一次用户自定义信息（向/dev/pmsg0写入的信息）

 

注3：建议record按照实际大小分配一份即可，因为ramoops使用一个计数器来记录多个转储，但计数器在重启时重置（即，重启后的新转储将覆盖旧转储），所以每次都会将dmesg-ramoops-0覆盖。

 

2.3.2 查看ramoops起始地址（mem_address）

•  
•  

[root@T113-I:/]# cat /sys/module/ramoops/parameters/mem_address[root@T113-I:/]# printf "0x%x\n" $(cat /sys/module/ramoops/parameters/mem_address)

2.3.3 查看ramoops分配大小（mem_size）

•  
•  

[root@T113-I:/]# cat /sys/module/ramoops/parameters/mem_size[root@T113-I:/]# printf "0x%x\n" $(cat /sys/module/ramoops/parameters/mem_size)

2.3.4 查看设备树record-size设置（record_size）

•  
•  

[root@T113-I:/]# cat /sys/module/ramoops/parameters/record_size[root@T113-I:/]# printf "0x%x\n" $(cat /sys/module/ramoops/parameters/record_size)

既256K

2.3.5 查看设备树console-size设置（console_size）

•  
•  

[root@T113-I:/]# cat /sys/module/ramoops/parameters/console_size[root@T113-I:/]# printf "0x%x\n" $(cat /sys/module/ramoops/parameters/console_size)

既16K

2.3.6 查看设备树pmsg-size设置（pmsg_size）

•  
•  

[root@T113-I:/]# cat /sys/module/ramoops/parameters/pmsg_size[root@T113-I:/]# printf "0x%x\n" $(cat /sys/module/ramoops/parameters/pmsg_size)

既16K

2.3.7 查看是否开启ecc纠错（ecc）

•  

[root@T113-I:/]# cat /sys/module/ramoops/parameters/ecc

0：未开启

非0：开启，使用该值的字节进行纠错

 

2.3.8 查看存储哪些的内核信息类型（dump_oops）

•  

[root@T113-I:/]# cat /sys/module/ramoops/parameters/dump_oops

1：存储panic和oops

2：跳过oops存储，只存储panic

其他：请查看kernel/linux-5.4/include/linux/kmsg_dump.h和ramoops的ramoops_pstore_write函数

 

三、ramoops 机制验证

 

 3.1  触发panic测试

•  
•  

[root@T113-I:/]# echo 5 > /proc/sys/kernel/panic         # 设置触发panic时，5秒后重启[root@T113-I:/]# echo c > /proc/sysrq-trigger # 触发panic

重启后，挂载pstore系统查看日志

•  
•  
•  

[root@T113-I:/]# mount -t pstore pstore /sys/fs/pstore/[root@T113-I:/]# ls /sys/fs/pstore/[root@T113-I:/]# tail -n 20 /sys/fs/pstore/dmesg-ramoops-0 #防止信息太多，只看之后20行

如下图，可以看到前面的系统时间与内容和崩溃时打印的一模一样，同时前面多了日志等级标记

 

 

同时，console-ramoops-0也会有以上信息，这里只看最后10行方便对比

•  
•  

[root@T113-I:/]# tail -n 10 /sys/fs/pstore/dmesg-ramoops-0[root@T113-I:/]# tail -n 10 /sys/fs/pstore/console-ramoops-0

 3.2  ramoops文件对比

由上一小节panic的测试可以看到console-ramoops-0的日志内容和dmesg-ramoops-0的日志内容一模一样，两者的区别是console-ramoops-0为reboot前的内核所有信息，dmesg-ramoops-0为上一次触发panic/oops时内核的所有信息

 

 

在上小节测试完成后，执行reboot，系统重新启动后可以看到信息不一致，console为上一次内核信息

 

 

•  
•  
•  

[root@T113-I:/]# mount -t pstore pstore /sys/fs/pstore/[root@T113-I:/]# tail -n 10 /sys/fs/pstore/dmesg-ramoops-0[root@T113-I:/]# tail -n 10 /sys/fs/pstore/console-ramoops-0

 3.3  用户自定义pmsg-ramoops

写入信息

•  
•  
•  
•  
•  

[root@T113-I:/]# echo 123 > /dev/pmsg0[root@T113-I:/]# echo 456 > /dev/pmsg0[root@T113-I:/]# reboot[root@T113-I:/]# mount -t pstore pstore /sys/fs/pstore/[root@T113-I:/]# cat /sys/fs/pstore/pmsg-ramoops-0

 

四、小结

 

以上则是基于ramoops在全志T113-i平台上的简单使用技巧，若您也有linux系统方面的问题或想了解更多相关技术知识或产品信息，请关注眺望电子公众号并联系我们，我们将竭诚为您服务！