RAS(二)Intel MCA初探

描述

谈到当前业界使用最广泛、最好的RAS商用解决方案,那么必定是Intel公司。从广泛上来说,大部分公司使用的x86服务器,首选Intel;从RAS能力来说,Intel CPUMCA架构,从故障检测、故障上报、故障恢复等层面功能都非常完善。所以笔者认为,想要学习Linux RAS,那么Intel CPU手册中MACHINE-CHECK ARCHITECTURE章节和对应的Linux arch/x86/kernel/cpu/mce目录相关代码将是非常好的入门学习资料。

 

 

MCA介绍

 

 

MCAMachine Check Architecture)是Intel XeonIntel AtomP6 family系列Processors支持的硬件错误检测、上报机制,硬件错误包括system bus errorsECC errorsparity errorscache errors and TLB errors

 

 

从硬件层面看,MCA通过一些MSRModel Specific Register)来实现检测、记录错误信息等功能。它包含了一组Global Control MSRs和多组Error-Reporting Bank RegistersEach Hardware Unit)记录和上报硬件错误。如下图: 

MCA

关于这一点,很多人开始都不太理解,也被问过多次。通过下面图可以很清楚的理解: 

MCA

Intel把各个Processor内硬件以bank为单位分组,每个bank涉及多个硬件,共用一组error-reporting register。这个划分并不是随便的、杂乱的,反而是非常规整的。

MCA故障分类

 

 

 

MCA

 

IntelHardware Error分类以及行为如下:

 

 

CECorrected Error):指硬件自行恢复的故障,通常也会通知软件,软件读取Status寄存器记录故障信息;

 

 

Fata Error:指严重的硬件错误,比如Processor 电源故障,Memory Control严重故障等。此类故障发生后,Intel芯片会直接挂起所有CPU,服务器挂死,不会通知到OS

 

 

UCEUncorrected Error):硬件无法自行恢复的故障。在Intel MCA架构下,此类错误是MCi_STATUS寄存器PCC bit1表示Processor可能已经被故障损坏,同时重启Processor也不可靠。软件会根据此信息主动Panic

 

 

UCRUncorrected RecoverableError:硬件无法自行恢复,但软件可以采取某些行为修复的错误;

 

 

至于UCNASRAOSRAR在讲MCA Recovery机制时再细讲。

 

 

当然上述分类并不是绝对的,只能算是最全面的分类。比如IntelPCIe DeviceRAS故障只分为UCECE,这是因为Pcie连接外设一般是非核心硬件,比如USB、磁盘、网卡等。这些组件发生UCE后,都会通知到OS尝试修复。

 

 

Machine-Check Global Control寄存器组

 

 

Machine-Check Global Control MSRs是一组全局寄存器,用于Machine-Check的配置、状态显示等,包括IA32_MCG_CAP/IA32_MCG_STATUS/IA32_MCG_CTL/IA32
_MCG_EXT_CTL寄存器。

IA32_MCG_CAP MSR

 

 

MCA

IA32_MCG_CAP MSR是只读寄存器,表示当前Processor拥有的MCA的能力。

Count field, bits 7:0表示某Processor支持Hardware unit error-reporting banks的数量;

 

 

MCG_CTL_P (control MSR present) flag, bit 8MCG_CTL MSR有效位;

 

 

MCG_EXT_P (extended MSRs present) flag, bit 9MCG_EXT_CTL有效位;

 

 

MCG_CMCI_P (Corrected MC error counting/signaling extension present) flag, bit 10表示当发生一个CECE个数超过阈值后,是否通过CMCI中断通知错误;

 

 

MCG_TES_P (threshold-based error status present) flag, bit 11Set时,表示IA32_MCi_STATUS MSR54:53用来上报threshold-based error状态;

 

 

MCG_EXT_CNT, bits 23:16表示extended machine-check state registers个数,仅当MCG_EXT_P set时有效;

 

 

MCG_SER_P (software error recovery support present) flag, bit 24Set时,表示Processor支持software error recovery,同时IA32_MCi_STATUS MSR56:55位提供uncorrected recoverable errors信息,以及判断软件是否需要task recovery actions来进行恢复。IA32_MCi_STATUS MSR56:55位是ARS位,可以对UER进行分类;

 

 

MCG_EMC_P (Enhanced Machine Check Capability) flag, bit 25Set时,表示Processor支持MCA增强特性;

 

 

MCG_ELOG_P (extended error logging) flag, bit 26Set时,Processor允许firmware接收硬件错误并将bank寄存器信息记录在ACPI“Generic Error Data Entry”。这样MCA就可以改为Firmware First并兼容APEI上报方式。

 

 

MCG_LMCE_P (local machine check exception) flag, bit 27是否支持Local Machine Check Exception (LMCE)。当Set后,IA32_MCG_STATUS LMCE_S位有效;

 

 

Linux内核中使用举例(v6.3arch/x86/kernel/cpu/mce/core.c

 

 

C++
/*
 * Initialize Machine Checks for a CPU.
 */
static void __mcheck_cpu_cap_init(void)
{
        u64 cap;
        u8 b;

        rdmsrl(MSR_IA32_MCG_CAP, cap);

        b = cap & MCG_BANKCNT_MASK;

        if (b > MAX_NR_BANKS) {
                pr_warn("CPU%d: Using only %u machine check banks out of %u ",
                        smp_processor_id(), MAX_NR_BANKS, b);
                b = MAX_NR_BANKS;
        }

 

 

这段cap init代码即开始读取MCG_CAP寄存器的Count field, bits 7:0,获取Banks数量,MCG_BANKCNT_MASK定义在mce.h

 

 

#define MCG_BANKCNT_MASK 0xff         /* Number of Banks */

 

 

IA32_MCG_STATUS MSR

 

 

 

MCA

IA32_MCG_STATUS MSR描述的是machine-check exception发生后的当前Processor状态。

RIPV (restart IP valid) flag, bit 0set时,表示machine-check exception发生后程序是否还可以从异常打断后的指令处重新可靠的执行;当clear时,表示程序无法可靠地从instruction pointer处重新执行;

 

 

EIPV (error IP valid) flag, bit 1set时,表示machine-check exception和当前instruction pointed有直接关联。当clear时,表示instruction pointed与错误无关;

 

 

MCIP (machine check in progress) flag, bit 2set时,表示当前machine-check exception正在处理中。软件可以设置或清除此标志位。

 

 

LMCE_S (local machine check exception signaled), bit 3set时,表示当前的machine-check event被当前Processor捕获和处理。这个bit很有意思,intel以前的cpumachine-check event可以上报到其他Processor,当前处理的Processor需要遍历所有Banks来找到真正的machine-check even。这个机制对于同步MCE来说非常不友好,后面icelakearm64,都是自动报到local cpu,省去了很多不必要的麻烦,代码也更简洁。

 

 

Linux内核中使用举例(v6.3arch/x86/kernel/cpu/mce/core.c

 

 

C++
noinstr void do_machine_check(struct pt_regs *regs)
{
        int worst = 0, order, no_way_out, kill_current_task, lmce, taint = 0;
        DECLARE_BITMAP(valid_banks, MAX_NR_BANKS) = { 0 };
        DECLARE_BITMAP(toclear, MAX_NR_BANKS) = { 0 };

        /*
         * MCEs are always local on AMD. Same is determined by MCG_STATUS_LMCES
         * on Intel.
         */
        lmce = 1;

        /*
         * Check if this MCE is signaled to only this logical processor,
         * on Intel, Zhaoxin only.
         */
        if (m.cpuvendor == X86_VENDOR_INTEL ||
            m.cpuvendor == X86_VENDOR_ZHAOXIN)
                lmce = m.mcgstatus & MCG_STATUS_LMCES;

        /*
         * Local machine check may already know that we have to panic.
         * Broadcast machine check begins rendezvous in mce_start()
         * Go through all banks in exclusion of the other CPUs. This way we
         * don't report duplicated events on shared banks because the first one
         * to see it will clear it.
         */
        if (lmce) {
                if (no_way_out)
                        mce_panic("Fatal local machine check", &m, msg);
        } else {
                order = mce_start(&no_way_out);
        }

 

 

这里代码在发生UCEMCE的处理函数do_machine_check()中,通过MCG_STATUS_LMCES确定故障是否是local machine check

 

 

IA32_MCG_CTL MSR

 

 

控制machine-check exceptions的上报,写1使能machine-check特性。

 

 

IA32_MCG_EXT_CTL MSR

 

 

MCA

 

 LMCE_EN (local machine check exception enable) flag, bit 0LMCE功能的使能位。

Error-Reporting Register Banks寄存器组

 

 

每个error-reporting register bank包括IA32_MCi_CTL, IA32_MCi_STATUS, IA32_MCi_ADDR, and IA32_MCi_MISC MSRs

 

 

IA32_MCi_CTL MSRs

 

 

 

MCA

IA32_MCi_CTL控制每个bank发生硬件错误时产生的#MC信号。

IA32_MCi_STATUS MSRS

 

 

 

MCA

每个IA32_MCi_STATUS MSR包含了machine-check error的信息。这个寄存器是比较重要的,包含了硬件错误的故障类型信息等,Linux主要通过这个寄存器对故障进行分类并采取相应的Action

MCA (machine-check architecture) error code field, bits 15:0MCA架构定义的Error Code,内部包含了详细的错误信息,比如错误发生硬件、触发原因等。下面会单独将MCA Error Codes

 

 

Model-specific error code field, bits 31:16MCA架构定义的model-specific error code

 

 

Reserved, Error Status, and Other Information fields, bits 56:32 Error StatusOther Information区域。这些bit包含了更多错误信息,比如UCE的错误类型等等。

 

 

PCC (processor context corrupt) flag, bit 57Set时,表示Processor可能已经被故障损坏,同时重启Processor也不可靠。当Clear时,表示错误并未影响到Processor状态,并且软件可以采取recovery actions隔离、恢复故障;

 

 

ADDRV (IA32_MCi_ADDR register valid) flag, bit 58ADDR有效位,当Set时,IA32_MCi_ADDR包含了错误发生的物理地址。这个寄存器仅当MemoryCache dataTLB data发生错误时才会写入物理地址;

 

 

MISCV (IA32_MCi_MISC register valid) flag, bit 59Set时,表示IA32_MCi_MISC寄存器内包含了附加的错误信息。当Clear时,不要读取IA32_MCi_MISC寄存器信息;

 

 

EN (error enabled) flag, bit 60对应IA32_MCi_CTL register使能位;

 

 

UC (error uncorrected) flag, bit 61Set时,表示Processor硬件无法恢复这个硬件故障。即UCE;当Clear时,表示Processor可以纠正这次错误,即CE

 

 

OVER (machine check overflow) flag, bit 62Set时,表示前一次错误还在上报、处理过程中时又发生了硬件错误,即多次machine error同时发生;

 

 

VAL (IA32_MCi_STATUS register valid) flag, bit 63IA32_MCi_STATUS寄存器信息是否有效;

 

 

Linux内核中使用举例(v6.3arch/x86/kernel/cpu/mce/severity.c

 

 

C++
static struct severity {
        u64 mask;
        u64 result;
        
} severities[] = {

        MCESEV(
                KEEP, "Corrected error",
                NOSER, BITCLR(MCI_STATUS_UC)
                ),
        /*
         * known AO MCACODs reported via MCE or CMC:
         *
         * SRAO could be signaled either via a machine check exception or
         * CMCI with the corresponding bit S 1 or 0. So we don't need to
         * check bit S for SRAO.
         */
        MCESEV(
                AO, "Action optional: memory scrubbing error",
                SER, MASK(MCI_UC_AR|MCACOD_SCRUBMSK, MCI_STATUS_UC|MCACOD_SCRUB)
                ),
        MCESEV(
                AO, "Action optional: last level cache writeback error",
                SER, MASK(MCI_UC_AR|MCACOD, MCI_STATUS_UC|MCACOD_L3WB)
                ),

 

 

Intel服务器在mce_severity_intel()函数中

 

 

通过MCI_STATUS_UC=0确定发生CE类型故障;

 

 

通过MCI_STATUS_UC=1MCI_UC_AR=1确定发生AO类型故障;

 

 

IA32_MCi_ADDR MSRs

 

 

 

MCA

IA32_MCi_STATUSADDRV位设置后,IA32_MCi_ADDR MSR表示硬件故障的codedata地址信息:The address returned is an offset into a segment, linear address, or physical address. This depends on the error encountered.

Linux内核中使用举例(v6.3arch/x86/kernel/cpu/mce/core.c

 

 

C++
/*
 * Read ADDR and MISC registers.
 */
static noinstr void mce_read_aux(struct mce *m, int i)
{
        if (m->status & MCI_STATUS_MISCV)
                m->misc = mce_rdmsrl(mca_msr_reg(i, MCA_MISC));

        if (m->status & MCI_STATUS_ADDRV) {
                m->addr = mce_rdmsrl(mca_msr_reg(i, MCA_ADDR));

                /*
                 * Mask the reported address by the reported granularity.
                 */
                if (mca_cfg.ser && (m->status & MCI_STATUS_MISCV)) {
                        u8 shift = MCI_MISC_ADDR_LSB(m->misc);
                        m->addr >>= shift;
                        m->addr <<= shift;
                }

                smca_extract_err_addr(m);
        }

 

 

MCE驱动代码中,通过mce_rdmsrl(mca_msr_reg(i, MCA_ADDR))函数读取MCA_ADDR计算内存故障的物理地址。

 

 

IA32_MCi_MISC MSRs

 

 

 

MCA

如果IA32_MCi_STATUS寄存器的MISCV标志位Set时,IA32_MCi_MISC MSR包含了附加的machine-check error信息。

Recoverable Address LSB (bits 5最低地址有效位。比如IA32_MCi_MISC01001b,十进制是9,那么故障地址的bits [8:0]需要忽略。

 

 

Address Mode (bits 8 IA32_MCi_ADDR的地址模式,如下图 

MCA

Model Specific Information (bits 63 Not architecturally defined.

IA32_MCi_CTL2 MSRs 

MCA

IA32_MCi_CTL2 MSR描述了进程使用CE的通知能力。

Corrected error count threshold, bits 14:0软件必须初始化这个区域。描述CMCIcorrected machine-check error interrupt)触发的CE阈值,即corrected error数量达到阈值会触发CMCI信号;

 

 

CMCI_EN (Corrected error interrupt enable/disable/indicator), bits 30CMCI使能位

 

 

本篇主要对Intel MCA机制、Global Control MSR/Error-reporting Register Bank进行介绍。了解上述2组寄存器,对MCA硬件有个大概的了解,后续会结合内核介绍MCA的增强功能。

 

 

参考文档:《Intel 64 and IA-32 Architectures Software Developer’s Manual

 


打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分