介绍SMMU的相关知识

描述

为了适应大规模的SoC设计,GIC-600被设计成分布式IP。所谓分布式,GIC-600由几种组件构成,每个组件可以跟其它相关模块在物理设计上摆放在一起,并与其拥有共同的电源域;组件之间通过片上网络(network on chip,简称NoC)通信,从而达到更好的时序。

SMMU即system memory management unit,在其他体系结构中对应的是IOMMU。先上图,此图节选自SMMU spec文档,从图中可以直观看到SMMU的基本功能,其被放置在device的DMA master的前端,device与其采用AXI相连,SMMU直接连接片上总线。

MMU与SMMU位置相似,只不过MMU后边的master是CPU。SMMU在此主要作用是将device发起的DMA请求中的IOVA虚拟地址转换为系统物理地址进行访存。而MMU是将CPU看到的VA值转换为系统物理地址,IOVA的值与CPU看到的VA可以相同也可以不同,如果说IOVA值的类型有一万种选择,那么使用SMMU的方法就有一万种。

在ARM体系结构中,SMMU可以承载很多东西,包括:安全,虚拟化,pcie相关功能,SVA等等。

SVA

现在捋一下SMMU的基本使用场景:

1)扩大设备DMA寻址范围,一些legacy设备DMA寻址是32bit,无法访问高32bit地址,通过SMMU的转换可以解决这个问题。同样的,当系统无法提供大块连续物理内存时,也可以通过SMMU转换让设备可以访问分散物理内存

2)一个SMMU可以有多个master设备,每个设备所看到的物理地址范围可通过SMMU进行隔离和划定,硬件提供了这种应用的灵活性,具体策略需要软件来实现。

3)ARM体系结构中的安全域分为secure和normal域,secure具有更高的权限,理论上normal域的设备DMA无法访问划分为secure的物理地址,但是这种访问控制机制是如何实现的呢?就是通过SMMU,它可以使设备DMA master发出的请求带有secure域或Normal域的安全属性。 

SMMU之所以能完成上述功能,是因为其内部硬件结构。

SVA

如上图,SMMU大部分功能数据均存在于主存储器中,在硬件上有基地址寄存器分别指向相应的内存区域,command queue提供了软件配置SMMU的命令队列,event queue用来存放SMMU工作产生的事件或错误。STE基址寄存器指向了内存中的一系列STE表,该表是用smmu设备master的streamid来索引的,位宽16位,steamid是deviceIP在设计时硬件设定好的,一个streamid唯一对应一个STE表,理论上一个设备可以有多个streamid,因此一个设备可能有多个STE表,在不同的场景下,软件可以灵活应用,硬件提供了这种灵活性。

每个STE表存在一个指针指向CD表,CD表可以有多个,是通过substreamid来索引的,substreamid位宽20位。CD表中有指针直接指向了SMMU进行地址转换用的页表,这个页表记录了IOVA到PA的映射。CD表所指的页表只提供了一级页表转换,STE表的其他域提供了二级页表转换,这个在后续章节遇到再详细介绍。

以上是SMMU内部结构的静态描述,那么它实际工作的过程是怎样的?设备master发起一笔DMA请求,请求的总线信息中带有streamid、subtreamid、iova等参数,smmu硬件收到该请求会自动通过streamid检索到STE表,再通过substreamid检索到这个STE表指向的CD表,从CD表中找到页表基地址,开始页表查找过程,找到IOVA对应的物理地址,再对这个物理地址发起一次DMA请求。

从这个过程可以看出SMMU在做地址转换时有一定的overhead,因此SMMU硬件也提供了bypass模式,可以不进行任何地址转换,事实上目前linux kernel在默认情况下的SMMU就是采用这种工作模式的。STE和CD表以及SMMU硬件工作过程中涉及到的参数较多,这里不一一说明,抓大放小,我们期望能够以最简捷的方式理解SMMU的工作机理。

为了提高页表查找效率,SMMU与MMU相同,在其内部设计有TLB缓存,用于缓存页表项,同时硬件提供了DVM 接口,接收从互联总线上的TLBI广播,当CPU对页表进行更改后,同时需要清除MMU本地的相应的页表项缓存,该TLBI指令会通过DVM接口进行广播,ARM架构要求SMMU接收到广播的前置条件是MMU与SMMU同处于一个Inner shareable domain中,在接受到广播后,SMMU硬件会自动清除其内部的TLB缓存对应项,达到与MMU同步的作用。该机制是ARM系统结构下SVA(shared virtual addressing)的基础,即SMMU与MMU共享页表,设备可以看到和CPU相同的VA,设备也就能“理解”各种进程虚拟内存的语义。

下面分享一个SMMU的实际使用场景的有趣例子。

SVA

上图中engine是一个硬件运算模块,硬件设定其与SMMU之间的streamid有2个,一个是read steam,另一个是write stream,因此SMMU对应的STE表就有2个,即DMA读操作对应一份页表,该页表与MMU对应页表相同,通过DVM接口进行硬件同步,DMA写对应另一份页表,该页表指向的物理地址为ARM的secure域内存。Crypto engine通过对normal域的操作系统内存数据进行某种操作后输出结果到secure域,这种机制既增强了安全性,又增加了系统的效率。步骤如下:

1)normal域软件发起SMC指令传递虚拟内存地址VA和页表基地址等参数到secure域软件

2)secure域软件用上述参数配置engine硬件,启动DMA

3)DMA通过SMMU read stream抓取normal域地址VA内存数据进行运算

4)结果通过DMA write stream输出到secure域内存

5)Secure 域软件返回此次操作状态信息给normal域软件

细心的读者可能会发现上述过程存在一些问题,比如该虚拟地址对应页面不在内存中,被换出了,这时SMMU在查找相应页面时就无法进行DMA操作,遇到这样的页表整个地址转换过程会停下,相应的错误event会被SMMU硬件写到event queue中,此时需要secure域软件处理该event,向normal域软件请求处理,与处理Page fault过程类似,完成后再重复上述步骤。




审核编辑:刘清

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分