KPTI实现机制及性能与开销

龚婷 发表于 2018-03-13 16:30:37 收藏 已收藏
赞(0) •  评论(0

KPTI实现机制及性能与开销

龚婷 发表于 2018-03-13 16:30:37

1 KPTI概述

KPTI(Kernel PageTable Isolation)全称内核页表隔离。KPTI是由KAISER补丁修改而来。之前,进程地址空间被分成了内核地址空间和用户地址空间。其中内核地址空间映射到了整个物理地址空间,而用户地址空间只能映射到指定的物理地址空间。内核地址空间和用户地址空间共用一个页全局目录表(PGD表示进程的整个地址空间),meltdown漏洞就恰恰利用了这一点。攻击者在非法访问内核地址和CPU处理异常的时间窗口,通过访存微指令获取内核数据。为了彻底防止用户程序获取内核数据,可以令内核地址空间和用户地址空间使用两组页表集(也就是使用两个PGD)。

图1 修改后的进程地址空间

2 问题

当然事情并没有那么简单,有两个问题:

问题1: X86架构中,在上下文切换的间隙(注意是间隙)内存中的一部分需要对内核空间和用户空间都是有效的,也就是说在切换CR3之前内核就要开始工作了。

问题2:修改CR3时,CPU会冲刷TLB,从而带来很大的性能问题

3 KPTI实现机制

在KAISER的论文中针对这两个问题,提出了以下解决方案

3.1 影子地址空间(Shadow Address Spaces)

KPTI中每个进程有两个地址空间,第一个地址空间只能在内核态下访问,可以创建到内核和用户的映射(不过用户空间受SMAP和SMEP保护,具体可查询Intel手册)。第二个地址空间被称为影子地址空间,只包含用户空间。不过由于涉及到上下文切换,所以在影子地址空间中必须包含部分内核地址,用来建立到中断入口和出口的映射。

当中断在用户态发生时,就涉及到切换CR3寄存器,从影子地址空间切换到用户态的地址空间。中断上半部的要求是尽可能的快,从而切换CR3这个操作也要求尽可能的快。为了达到这个目的,KAISER中将内核空间的PGD和用户空间的PGD连续的放置在一个8KB的内存空间中。这段空间必须是8K对齐的,这样将CR3的切换操作转换为将CR3值的第13位(由低到高)的置位或清零操作,提高了CR3切换的速度。

用户空间和内核空间的PGD分布示意图

3.2 内核空间的最小映射

上文提到,在从影子地址空间切换到内核地址空间的过程中,为了使得内核在CR3切换之前就能够开始工作,影子地址空间必须包含部分内核地址空间。

如下图所示,阴影处就是在陷入内核态过程中,需要映射的内核数据和代码。图a 是常规OS的进程的地址空间。图b和图c是页表隔离后的进程地址空间,两者的区别再与是否使用了SMAP和SMEP机制。

那么如何确定影子地址空间应该映射那些内核数据呢?由于中断可能发生在用户态,所以应该包含中断向量表(IDT),中断栈,中断向量。另外内核栈,GDT和TSS也应该映射到影子地址空间。

4 性能与开销(performance and overhead)

4.1 TLB

在intel手册中提到,线性地址的高位被称为页号(page number),低位被称为页偏移(page offset, 如果页大小是4K则是低12位)。物理地址的高位被称为页框(page frame)。

TLB用于加速从线性地址到物理地址的转换,本质上还是一种缓存。TLB使用页号来获取线性地址所对应的页的基地址。TLB中的每一项包含以下内容:

页号对应页的物理地址

页的访问权限(R/W,U/S )

页属性(dirty flag,memory type)

图4-1  基于TLB的访存过程

一个处理器可能包含不同类型的TLB,比如专用于取指令的TLB和用于数据访问的TLB

切换CR3时,CPU会隐式的冲刷TLB。TLB的miss penalty可以达到10 – 100 个 时钟周期(clock cycles)。内存中的一些页(比如共享库)的一些页是由所有的进程共享的。这些页由页表项的全局位(G)来标示。共享页并不会参与TLB的隐式冲刷。

有两种方法防止数据的泄露,第一种需要冲刷整个TLB,而第二种则是禁用页表项的全局位。

通过PCID的使用可以缓解由于冲刷TLB带来的性能问题。

4.2 Process-Context Identifiers(PCID)

PCID全称进程上下文标示符,CR4寄存器的PCIDE位表示是否启用CPU的PCID功能。PCIDE=1表示启用PCID。启用之后,CR3(页目基址寄存器)的低12位用来存储PCID。每个进程都有一个PCID,当未启用PCID时,CR3的低12位为全0(000H)。

Intel手册对于TLB失效的行为作出了很详细的解释,在使用mov指令修改CR3时会使TLB失效(mov to CR3),具体行为如下:

如果CR4.PCIDE = 0(表示未启用PCID),CPU会使所有与PCID 000H关联的TLB缓存项(TLB entry)失效,除了全局页。

如果CR4.PCIDE = 1(启用PCID),并且源操作数的第63位=0,源操作数的0-11位为指定的PCID。那么CPU会使所有与指定PCID关联的TLB缓存项失效。TLB中与其他PCID关联的TLB缓存项并不会失效。

如果CR4.PCIDE=1,并且源操作数的第63位=1,CPU不会对TLB做任何的失效操作。

5 代码分析

我们选取linux4.15版本作为演示,说明KPTI补丁的内核中的分布这是4.15版本和PTI(pagetable isolation)有关的diff stat. 可以看到共涉及到45个文件的修改,插入了1636行代码,删除202行代码。

增加代码行数的前三名是

mm/pti.c

arch/x86/include/asm/tlbflush.h

arch/x86/entry/calling.h

5.1 arch/x86/mm/pti.c

pti.c是补丁新增的文件. 其中的入口函数是pti_init(), 该函数在init/main.c中的mm_init()函数中调用。这个文件中的函数总共分为两种,第一种类似pti_clone_user_shared(),将内核的页表项复制到用户空间。第二种类似pti_user_pagetable_walk_p4d(unsigned long address),根据参数中的虚拟地址,得到该地址相应的页表项指针。

void __init pti_init(void)

{

if(!static_cpu_has(X86_FEATURE_PTI))

return;

pr_info("enabled\n");

pti_clone_user_shared();

pti_clone_entry_text();

pti_setup_espfix64();

pti_setup_vsyscall();

}

5.2 arch/x86/include/asm/tlbflush.h

该文件包含一系列的有关TLB flush的函数在KPTI中并不仅仅使用PCID,由于内核中的进程地址空间标示符必须从0开始。所以ASID是地址空间真正的标示符。又因为补丁中进程的地址空间有两个部分,所以我们需要两个PCID。kPCID内核空间使用的标示符。uPCID用户空间使用的标示符。

* ASID  -[0, TLB_NR_DYN_ASIDS-1]

*         the canonical identifier for an mm

*

* kPCID -[1, TLB_NR_DYN_ASIDS]

*         the value we write into the PCID part of CR3; corresponds to the

*         ASID+1, because PCID 0 is special.

*

* uPCID -[2048+1,2048+ TLB_NR_DYN_ASIDS]

*         for KPTI each mm has two address spaces and thus needs two

*         PCID values, but we can still do with a single ASID denomination

*         for each mm.Corresponds to kPCID +2048.

#define CR3_HW_ASID_BITS        12

# define PTI_CONSUMED_PCID_BITS 1

/*

* 6 because 6 should be plenty and struct tlb_state will fit in two cache

* lines.

*/

#define TLB_NR_DYN_ASIDS    6

5.3 /arch/x86/entry/calling.h

calling.h 是系统调用的入口函数,用于处理系统调用时的寄存器保存操作。系统调用涉及到由用户态到内核态的切换。所以calling.h需要修改。

以下一系列的汇编宏指令涉及到用户PGD和内核PGD的切换. 下面我们挑选几个宏进行说明:

1. SWITCH_TO_KERNEL_CR3

该宏的任务是清楚CR3存储的PCID,并将CR3的第13置1,从而使其指向内核PGD

.macro SWITCH_TO_KERNEL_CR3 scratch_reg:req

ALTERNATIVE "jmp .Lend_\@","", X86_FEATURE_PTI

mov %cr3, \scratch_reg

ADJUST_KERNEL_CR3 \scratch_reg

mov \scratch_reg,%cr3

.Lend_\@:

.endm

2. SWITCH_TO_USER_CR3_NOSTACK该宏的任务是根据进程的ASID判断其TLB是否需要flush, 如果不需要就在CR3中标记为no_flush。随后将kPCID转换为uPCID,并使CR3指向用户PGD。这一切都在很短的时间内发生,因为它们只是对CR3寄存器的置位操作。

.macro SWITCH_TO_USER_CR3_NOSTACK scratch_reg:req scratch_reg2:req

ALTERNATIVE "jmp .Lend_\@","", X86_FEATURE_PTI

mov %cr3, \scratch_reg

ALTERNATIVE "jmp .Lwrcr3_\@","", X86_FEATURE_PCID

/*

* Test if the ASID needs a flush.

*/

movq    \scratch_reg, \scratch_reg2

andq    $(0x7FF), \scratch_reg     /* mask ASID */

bt  \scratch_reg, THIS_CPU_user_pcid_flush_mask

jnc .Lnoflush_\@

/* Flush needed, clear the bit */

btr \scratch_reg, THIS_CPU_user_pcid_flush_mask

movq    \scratch_reg2, \scratch_reg

jmp .Lwrcr3_pcid_\@

.Lnoflush_\@:

movq    \scratch_reg2, \scratch_reg

SET_NOFLUSH_BIT \scratch_reg

.Lwrcr3_pcid_\@:

/* Flip the ASID to the user version */

orq $(PTI_USER_PCID_MASK), \scratch_reg

.Lwrcr3_\@:

/* Flip the PGD to the user version */

orq     $(PTI_USER_PGTABLE_MASK), \scratch_reg

mov \scratch_reg,%cr3

.Lend_\@:

.endm

收藏

相关话题
文章来源专栏
+关注

评论(0)

加载更多评论

参与评论

分享到

QQ空间 QQ好友 微博
取消