如何在Linux中驱动Generic Timer

描述

一、前言

关注ARM平台上timer driver(clocksource chip driver和clockevent chip driver)的驱动工程师应该会注意到timer硬件的演化过程。在单核时代,各个SOC vendor厂商购买ARM core的IP,然后自己设计SOC上的peripherals,这里面就包括了timer的硬件。由于没有统一的标准,各个厂商的设计各不相同,这给驱动工程师带来了工作量。然而,如果仅仅是工作量的话就还好,实际上,不仅仅如此。linux的时间子系统要求硬件timer提供下面两种能力:一是free running的counter,此外需要能够在指定的counter值上产生中断的能力。有些硬件厂商会考虑到软件的需求(例如:PXA270的timer硬件),但是有些硬件厂商做的就不够,例如:S3C2451的timer硬件。我们在写PXA270的timer硬件驱动的时候是毫无压力的,而在写S3C2451的timer的驱动的时候,最大的愿望就是把三星的HW timer的设计人员拉出来打一顿。

进入多核时代后,ARM公司提供了timer的硬件设计,集成在了自己的多核结构中。例如:在Cortex A15 MPcore的硬件体系结构中有一个HW block叫做Generic Timer(该硬件取代了A9中的global timer、private timer的功能),为系统提供了计时以及触发timer event的功能。

本文主要描述了Generic Timer的相关硬件知识以及在linux kernel中如何驱动该硬件。Generic Timer的代码位于linux-3.14/drivers/clocksource/目录下,该目录保存了所有clock source相关的driver,arm_arch_timer.c就是驱动Cortex A15 MPcore的Generic Timer的。

二、硬件描述

1、block diagram

ARM generic timer相关的硬件block如下图所示(用绿色标记): 

Linux

ARM generic timer的硬件block主要是SOC上的System counter(多个process共享,用来记录时间的流逝)以及附着在各个processor上的Timer(用于触发timer event)组成,其他的generic timer的硬件电路主要是用来进行交流generic time event的。例如各个processor中的timer和system counter外设进行交互,各个processor中的timer进行信息交互。System counter的功能很简单,就是计算输入时钟已经过了多少个clock,开始的时候是0,每一个clock,System counter会加一。System counter的counter value需要分发到各个timer中,也就是说,从各个timer的角度看,system counter value应该是一致的。Timer其实就是定时器,它可以定义一段指定的时间,当时间到了,就会assert一个外部的输出信号(可以输出到GIC,作为一个interrupt source)。

从power domain来看,ARM generic timer分成两个部分:System counter和各个Multiprocessor系统中的Timer_x、接口电路等。之所以这么分原因很明显:功耗方面(电源管理)的考量。在power saving mode下,可以shutdown各个processor系统的供电,但是可以保持system counter的供电,这样,至少系统时间可以保持住。

和power domain类似,clock domain也是不同的,system counter和processor工作在不同的clock下,软件修改了CPU的频率也不会影响system counter的工作节奏,从而也不会改变timer的行为。  

2、System counter

关于System Counter的规格整理如下: 

Linux

除了基本的计时功能,system count还提供了event stream的功能。我们知道,ARMv7的处理器提供了wait for event的机制,该机制允许processor进入low power state并等待event的到来。这个event可能是来自另外的process的send event指令,也可能是外部HW block产生的event,比如来自system counter的wake-up event。软件可以配置system counter产生周期性的event,具体可以配置的参数包括:

(1)指定产生event的bit。我们可以选择system counter中的低16bit。

(2)选定的bit当发生0到1的迁移(或是1到0的迁移)产生event

经过配置后,实际上system counter产生的是一个event stream,event产生的频率是由选定的bit位置决定的。设定bit 0会产出频率非常高的event stream,而设定15bit会产生频率最慢的event stream,因为system counter的值不断累加,直到bit 15发生翻转才会触发一个event。 

3、Timers

各个cpu的timer是根据system counter的值来触发timer event的,因此,系统中一定有一个机制让System counter的值广播到各个CPU的timer HW block上,同时运行在各个processor上的软件可以通过接口获取System counter的值。

处理器可以通过CNTPCT寄存器来获取system counter的当前值,我们称之physical counter。有physical就有virtual,processor可以通过CNTVCT寄存器访问virtual counter,不过,对于不支持security extension和virtualization extension的系统,virtual counter和physical counter是一样的值。

系统中每个processor都会附着多个timer,具体如下:

(1)对于不支持security extension的SOC(不支持security extension也就意味着 不支持virtualization extension),timer实际上有两个,一个是physical timer,另外一个是virtual timer。虽然有两个,不过从行为上看,virtual timer和physical timer行为一致

(2)对于支持security extension但不支持virtualization extension的SOC,每个cpu有三个timer:Non-secure physical timer,Secure physical timer和virtual timer

(3)对于支持virtualization extension的SOC,每个cpu有四个timer:Non-secure PL1 physical timer,Secure PL1 physical timer,Non-secure PL2 physical timer和virtual timer

每个timer都会有三个寄存器(我们用physical timer为例描述):

(1)64-bit CompareValue register。该寄存器配合system counter可以实现一个64 bit unsigned upcounter。如果physical counter - CompareValue >= 0的话,触发中断。也就是说,CompareValue register其实就是一个64比特的upcounter,设定为一个比当前system counter要大的值,随着system counter的不断累加,当system counter value触及CompareValue register设定的值的时候,便会向GIC触发中断。

(2)32-bit TimerValue register。该寄存器配合system counter可以实现一个32 bit signed downcounter(有的时候,使用downcounter会让软件逻辑更容易,看ARM generic timer的设计人员考虑的多么周到)。开始的时候,我们可以设定TimerValue寄存器的值为1000(假设我们想down count 1000,然后触发中断),向该寄存器写入1000实际上也就是设定了CompareValue register的值是system counter值加上1000。随着system counter的值不断累加,TimerValue register的值在递减,当值<=0的时候,便会向GIC触发中断

(3)32-bit控制寄存器。该寄存器主要对timer进行控制,具体包括:enable或是disable该timer,mask或者unmask该timer的output signal(timer interrupt)

各个processor的各个Timer都可以产生中断,因此它和GIC有接口。当然,由于timer的中断是属于各个CPU的,因此使用PPI类型的中断,具体可以参考GIC文档。当然,如果让timer触发中断,当然要确保该timer是enable并且是umask的。

4、软件编程接口

由上面的描述可知,ARM generic timer的硬件包括两个部分:一个是per cpu的timer硬件,另外一个就是system level的counter硬件。对于per cpu的timer硬件,使用system control register(CP15)来访问是最合适的,而且速度也快。要访问system level的counter硬件,当然使用memory mapped IO的形式(请注意block diagram中的APB总线,很多system level的外设都是通过APB访问的)。 

三、初始化

1、Generic Timer的device node和Generic Timer clocksource driver的匹配过程

(1)clock source driver中的声明

在linux/include/linux/clocksource.h目录下的clocksource.h文件中定义了CLOCKSOURCE_OF_DECLARE宏如下: 

Linux

CLOCKSOURCE_OF_DECLARE这个宏其实就是初始化了一个struct of_device_id的静态常量,并放置在__clksrc_of_table section中。arm_arch_timer.c文件中使用CLOCKSOURCE_OF_DECLARE这个宏定义了若干个静态的struct of_device_id常量,如下:

Linux

这里compatible的名字使用了armv7、armv8这样的字样而不是Cortex A15,我猜测ARM公司是认为这样的generic timer的硬件block是ARMv7或者v8指令集的特性,所有使用这些指令集的core都应该使用这样的generic timer的硬件结构。不论是v7还是v8,其初始化函数都是一个arch_timer_init。从这个角度看,把ARM的generic timer的驱动放到drivers的目录下更合理(原来是放在arch目录下),这样多个arch(ARM和ARM64)可以共享一个ARM ARCH timer的驱动程序。

这里还有一个疑问是:"arm,armv7-timer"和"arm,armv7-timer-mem"有什么不同?实际上访问ARM generic timer有两种形式,一种是通过协处理器CP15访问timer的寄存器,我们称之CP15 timer。另外一种是通过寄存器接口访问timer,也就是说,generic timer的控制寄存器被memory map到CPU的地址空间,这种我们称之memory mapped timer。arch_timer_mem_init是for memory mapped timer类型的驱动初始化的,arch_timer_init是for CP15 timer类型的驱动进行初始化的。

Travelhop同学在他的程序员的“纪律性”文章中说到:有技术追求的年轻人要多问几个为什么?因此,我们这里再追问一个问题:为何要有CP15 timer和memory mapped timer呢?都能完成对ARM generic timer的控制,为什么要提供两种方式呢?其实最开始的时候,driver只支持CP15 type的timer访问形态,毕竟这种方式比memory mapped register的访问速度要更快一些。但是,这种方式不能控制system level的counter硬件部分(只能使用memory mapped IO形式访问),因此功能受限。比如:system counter可以提供一组frequency table,可以让软件设定当然counter的输入频率以及每个clock下counter增加的数目。这样的设定可以让system counter的硬件在不同的输入频率下工作,有更好的电源管理特性。

此外,有些系统不支持协处理的访问,这种情况下又想给系统增加ARM generic timer的功能,这时候必须使用memory mapped register的方式来访问ARM generic timer的所有硬件block(包括system counter和per cpu的timer)。这时候,在访问timer硬件的时候虽然性能不佳,但总是好过功能丧失。

在linux kernel编译的时候,你可以配置多个clocksource进入内核,编译系统会把所有的CLOCKSOURCE_OF_DECLARE宏定义的数据放入到一个特殊的section中(section name是__clksrc_of_table),我们称这个特殊的section叫做clock source table。这个table也就保存了kernel支持的所有的clock source的ID信息(最重要的是驱动代码初始化函数和DT compatible string)。我们来看看struct of_device_id的定义: 

Linux

这个数据结构主要被用来进行Device node和driver模块进行匹配用的。从该数据结构的定义可以看出,在匹配过程中,device name、device type和DT compatible string都是考虑的因素。更细节的内容请参考__of_device_is_compatible函数。

(2)device node

一个示例性的Generic Timer(CP15 type的timer)的device node(我们以瑞芯微的RK3288处理器为例)定义如下: 

Linux

Generic Timer这个HW block的Device node中定义了各种属性,其中就包括了System counter的输入clock frequency,中断资源描述等信息。compatible 属性用于驱动匹配的,在系统启动的时候,系统中的所有的device node形成一个树状结构,在clock source初始化的时候进行device node和driver匹配(compatible 字符串的比对),device node携带的信息会在初始化的时候传递给具体的驱动。该节点的各个属性的具体含义后面会详细描述。

MMIO type的timer的device node(我们以高通的msm8974处理器为例)定义如下: 

Linux

(3)device node和clock source driver的匹配

在系统初始化的时候start_kernel函数会调用time_init进行时间子系统的初始化,代码如下: 

Linux

clock source的初始化有两种形态,一种是调用machine driver的init_time函数,另外一种是调用clocksource_of_init,使用device tree形式的初始化。具体使用哪种形态的初始化是和系统设计相关的,我们这里来看看device tree形式的初始化,毕竟device tree是未来的方向。具体代码如下:

Linux

__clksrc_of_table就是内核的clock source table,这个table也就保存了kernel支持的所有的clock source driver的ID信息(用于和device node的匹配)。clocksource_of_init函数执行之前,系统已经完成了device tree的初始化,因此系统中的所有的设备节点都已经形成了一个树状结构,每个节点代表一个设备的device node。clocksource_of_init是针对系统中的所有的device node,扫描clock source table,进行匹配,一旦匹配到,就调用该clock source driver的初始化函数,并把该timer硬件的device node作为参数传递给clocksource driver。

2、CP15 Timer初始化代码分析

CP15 Timer初始化代码如下所示: 

Linux

(1)arch_timers_present用来记录系统中的timer情况,定义如下:

Linux

该变量只有两个bit有效,bit 0标识是否有CP15 timer,bit 1标识memory mapped timer是否已经初始化。

如果在调用arch_timer_init之前,ARCH_CP15_TIMER已经置位,说明之前已经有一个ARM arch timer的device node进行了初始化的动作,这多半是由于device tree的database中有两个或者多个cp15 timer的节点,这时候,我们初始化一个就OK了。

(2)这部分的代码是分配IRQ。ARM generic timer使用4个PPI的中断,对于Cortex A15,和timer相关的PPI包括: 

Linux

函数irq_of_parse_and_map对该device node中的interrupt属性进行分析,并分配IRQ number,建立HW interrupt ID和该IRQ number的映射。irq_of_parse_and_map这个函数在中断子系统中已经详细描述过了,这里不再赘述。至此,arch_timer_ppi数组中保存了ARM generic timer使用IRQ number。

(3)arch_timer_detect_rate这个函数用来确定system counter的输入clock频率,具体实现如下: 

Linux

arch_timer_rate这个全局变量用来保存system counter的输入频率,基本上,这个数据有两个可能的来源:

(a)device tree node中的clock-frequency属性

(b)寄存器CNTFRQ

我们优先考虑从clock-frequency属性中获取该数据,如果device node中没有定义该属性,那么从CNTFRQ寄存器中读取。访问CNTFRQ寄存器有两种形态,如果cntbase是NULL的话,说明是CP15 timer,可以通过协处理器来获取该值(调用arch_timer_get_cntfrq函数)。如果给出了cntbase的值,说明是memory mapped的方式来访问CNTFRQ寄存器(直接使用readl_relaxed函数)。

(4)如果没有定义virtual timer的中断(arch_timer_ppi[VIRT_PPI]==0),那么我们只能是使用physical timer的,这时候,需要设定arch_timer_use_virtual这个全局变量为false。arch_timer_use_virtual这个变量名字已经说明的很清楚了,它标识系统是否使用virtual timer。ok,既然使用physical timer,那么需要定义physical timer中断,包括secure和non-secure physical timer event PPI。只要有一个没有定义,那么就出错退出了。

如果系统支持虚拟化,那么CPU会处于HYP mode,这时候,我们也是应该使用physical timer的,virtual timer是guest OS需要访问的。

(5) arch_timer_register的代码如下: 

Linux

(a)分配一个类型是struct clock_event_device的per cpu变量。struct clock_event_device是对一个能够触发timer event的设备进行抽象。对于ARM generic timer而言,每个CPU都有一个timer硬件block,就是一个clock event device。

(b)根据当前是使用physical timer还是virtual timer,分别注册一个per cpu的IRQ。如果使用physical timer的话,需要注册secure和non-secure physical timer event PPI。如果使用virtual timer的话,需要注册virtual timer中断。

(c)这里的代码主要是formulti core系统的,用于non-BSP上的generic timer硬件的初始化,其概念类似GIC driver的初始化,这里就不再具体描述了。

(d)这里主要是注册一个回调函数,在processor进入和退出low power state的时候会调用该回调函数进行电源管理相关的处理。

(e)初始化BSP上的timer硬件对应的clock event device,并调用clockevents_register_device函数将该clock event device注册到linux kernel的时间子系统中。non-BSP的timer硬件的setup是通过event notifier机制完成的,具体请参考步骤c。

(6)CP15 timer和memory mapped timer虽然接口形态不一样,但是总是有共同的部分,这些代码被封装到arch_timer_common_init函数中,具体如下: 

Linux

(a)实际上,即便是系统中存在两种timer,这个函数的代码执行一次就OK了。这很好理解,例如arch_counter_register函数用来注册system count,而实际上,无论是CP15 timer还是memory mapped的timer,system counter是system level的,只有一个,注册一次就OK了。

明白了上面的思路后,这段代码就比较简单了。在系统中存在两种timer的时候,要等到后一个timer初始化的时候再执行后面具体的arch_timer_banner到arch_timer_arch_init部分的代码。

(b)输出ARM generic timer的相关信息到控制台

(c)向linux kernel的时间子系统注册clock source、timer counter、shed clock设备。

(d)主要是注册delay timer(忙等待那种)。

3、memory mapped Timer初始化代码分析

TODO 

四、和linux kernel时间子系统的接口

linux的时间子系统需要两种时间相关的硬件:一个是free running的counter(system counter),抽象为clock source device,另外一个就是能够产生中断的能力的timer(per cpu timer),抽象为clock event device。对于ARM generic timer driver而言,我们需要定义linux kernel时间子系统的clock source和clock event device并注册到系统。

1、定义clocksource并注册到系统

ARM generic timer中的system counter硬件block对应的clock source定义如下: 

Linux

(这里顺便吐槽一下clocksource_counter这个变量名,实在是太差了)rating标识该clock source的精度等级,数字越大,精度等级越高。read函数用来读取当前counter的值。在ARM generic timer驱动初始化的过程中会调用arch_counter_register函数注册该clock source:

Linux

(1)在定义ARM generic timer的clock source的时候,read函数被设定成arch_counter_read,该函数会调用arch_timer_read_counter 函数,而这个函数指针会在初始化的时候根据timer的类型进行设定。

(2)向系统注册一个clock soure(也就是一个free running的counter),并给出counter的工作频率作为传入的参数。linux时间子系统的clock source模块会根据counter的工作频率设定struct clocksource的各个成员,例如mult和shitf等

(3)clocksource模块是为timekeeping模块提供服务的,但是其他的驱动模块也有一些计时需求,这时候可以考虑使用timercounter。ARM generic timer静态定义了一个timercounter的全局变量,其他模块可以通过arch_timer_get_timecounter获取timercounter,并可以调用timecounter_read获取一个纳秒值。

(4)TODO

2、定义clock_event_device并注册到系统

和clocksource不同,ARM generic timer是由alloc_percpu动态分配的。考虑到system counter只有一个,而timer是附着在各个CPU上,这样的分配也是合理的。在driver的初始化过程中(先是BSP初始化,然后其他CPU的初始化是通过event notifier机制完成),会调用arch_timer_setup来初始化clock_event_device数据结构并注册到系统中。 

Linux

TODO:这里等到完成clockevent文档之后再来更新。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分