关于ESM6802的多媒体编程应用方案

ESM6802是英创公司推出的基于Freescale i.MX6DL双核处理器(ARM Cortex-A9，主频1GHz)的高性能工控主板。我们在ESM6802上做了针对性的优化来使其更好的支持多媒体音视频的处理，在测试时我们的环境及测试效果如下表所示：

硬件环境
开发板	ESM6802
CPU	i.MX6DL
硬件视频处理模块（VPU）	√ 用于视频编解码等处理
硬件图像处理模块（GPU）	√ 用于应用界面的图像显示
内存	1GB 64位DDR3
存储	4GB eMMC高速存储
显示	8.4吋LVDS显示屏800x600
摄像头	罗技C310USB摄像头

软件环境及配置
操作系统	Linux
图形界面	X11
编程库	Qt-5.8.0
开发环境	QtCreator
音频格式	MP3
视频格式	H264（选用），H263，MP4等
视频分辨率	640x480 30帧
视频封装格式	Flv

运行效果	优化后的系统	未优化的系统
硬件加速	有	无
录制效果	流畅无卡顿	完全卡死
CPU占用率	49.1%	>100%
CPU温度	71.1℃	75．0℃

下面将介绍ESM6802上面的多媒体编程应用方案供客户在实际开发中参考。

1、应用程序图形界面

　　在处理多媒体时，需要提供一个良好的控制界面，来控制音视频的播放或者录制。ESM6802提供了X11和Qt5.8.0来给客户提供一个良好的编程环境，X11平台能够使用imx6dl处理器内部的GPU模块，使得图像显示获得硬件加速，但是X11一般不作为直接的开发环境来搭建应用程序，实际使用中多是选择更加高级的库比如Qt以及gtk，在此我们选择Qt进行介绍。ESM6802中预装了Qt 5.8.0版本。Qt运行于X11（Qt概念中的xcb平台）上又能获益于X11得到的硬件图形显示加速，从而提升Qt的运行效果。Qt官方提供了很完整的文档以及应用示例作为开发的参考的资料，我们不再详细介绍着写内容，下面我们将展示Qt例程中的camera以及player的界面，两者显示效果如下例图片，其中camera提供了拍照和录像两种模式，两个模式分别有自己不同的设置界面；player提供了文件选择功能，可以方便的浏览选择视频文件：

图1　camera显示界面

图2　录像设置界面

图3　拍照设置界面

图4　player播放界面

这两个程序的源码都可以在Qt源码中获得，或者在QtCreator的示例选择界面获得，也可以向我们的工程师获取。

为了方便监视程序运行的CPU占用以及CPU温度，我们在camera例程中增加了部分代码，添加两个标签用于展示CPU占用率以及CPU温度。部分代码如下：

通过读取/proc/stat文件获取CPU占用率：

void CPUINFO::read_cpu_jiffy(jiffy_counts_t *p_jif)

{

FILE *fp = fopen("/proc/stat", "r");

static const char fmt[] = "cpu %llu %llu %llu %llu %llu %llu %llu %llu";

int ret;

char line_buf[80];

if (!fgets(line_buf, 80, fp) || line_buf[0] != 'c' /* not "cpu" */)

return ;

ret = sscanf(line_buf, fmt,

&p_jif->usr, &p_jif->nic, &p_jif->sys, &p_jif->idle,

&p_jif->iowait, &p_jif->irq, &p_jif->softirq,

&p_jif->steal);

if (ret >= 4) {

p_jif->total = p_jif->usr + p_jif->nic + p_jif->sys + p_jif->idle

+ p_jif->iowait + p_jif->irq + p_jif->softirq + p_jif->steal;

/* procps 2.x does not count iowait as busy time */

p_jif->busy = p_jif->total - p_jif->idle - p_jif->iowait;

}

fclose(fp);

return;

}

void CPUINFO::get_cpu_load(double *p_load)

{

total = cur.total - pre.total;

busy = cur.busy - pre.busy;

if ((total > busy) && (total > 0) && (busy > 0))

*p_load = (double)busy / (double)total * 100;

}

读取/sys/class/thermal/thermalzone0/temp文件获取CPU温度：

void CPUINFO::read_cpu_temp(unsigned int *p_temp)

{

FILE *fp = fopen("/sys/class/thermal/thermal_zone0/temp", "r");

fscanf(fp, "%u", p_temp);

fclose(fp);

return;

}

加入CPU占用率和CPU温度检测后的界面如下，CPU信息显示在右上角：

2、音视频处理

　　Freescale官方针对imx6dl的硬件编解码器提供了特有的gstreamer插件，gstreamer是一个基于流水线的流媒体处理框架，以插件的形式提供对不同格式的音视频处理的支持。使用Gstreamer可以很容易地创建各种多媒体功能组件，包括简单的音视频回放、录制、编辑等，但是对于不熟悉Gstreamer框架的客户可能独立使用Gstreamer编程有一定困难，因此我们将是用Qt的多媒体处理模块来进行音视频的播放和录制。Qt的多媒体处理模块(multimedia)是基于Gstreamer的，我们将Qt 的multimedia模块编译进了ESM6802的文件系统，同时针对imx6dl特有的gstreamer插件修改了Qt源码，使得用户在使用中可以参考Qt官方的编程文档而不需要进行特殊设置，同时又能够使用到硬件加速来处理音视频，包括视频的编解码以及视频的显示。

ESM6802硬件支持的视频格式如下：

支持解码的视频格式为：

●　H.264 BP/MP/HP

●　VC-1 SP/MP/AP

●　MPEG-4 SP/ASP （不包括GMC）

●　DivX(Xvid)

●　MPEG-1/2

●　VP8

●　AVS

●　MJPEG

支持的编码格式为：

●　H.264

●　MPEG-4

●　H.263

●　MJPG

关于更多详细的资料可以参考我们之前的文章以及Qt的官方文档：

《ESM6802视频处理简介》

《ESM6802支持Qt摄像头应用》

《ESM6802支持基于Qt的视频播放》

在进行视频录制时需要自己设置使用的编码格式，视频播放时Qt能够自动选择解码器。我们下面将介绍怎么在应用中选择要使用的编码格式，只有选择硬件编码器支持的格式才能获得赢家加速，我们推荐用户在使用中采用H264的格式，还是以Qt官方例程camera为例，部分代码如下：

//audio codecs 获取支持的音频格式

ui->audioCodecBox->addItem(tr("Default audio codec"), QVariant(QString()));

foreach (const QString &codecName, mediaRecorder->supportedAudioCodecs()) {

QString description = mediaRecorder->audioCodecDescription(codecName);

ui->audioCodecBox->addItem(codecName+": "+description, QVariant(codecName));

}

//sample rate 支持的采样率:

foreach (int sampleRate, mediaRecorder->supportedAudioSampleRates()) {

ui->audioSampleRateBox->addItem(QString::number(sampleRate), QVariant(sampleRate));

}

ui->audioQualitySlider->setRange(0, int(QMultimedia::VeryHighQuality));

//video codecs 支持的视频编码格式

ui->videoCodecBox->addItem(tr("Default video codec"), QVariant(QString()));

foreach (const QString &codecName, mediaRecorder->supportedVideoCodecs()) {

QString description = mediaRecorder->videoCodecDescription(codecName);

ui->videoCodecBox->addItem(codecName+": "+description, QVariant(codecName));

}

ui->videoQualitySlider->setRange(0, int(QMultimedia::VeryHighQuality));

//video codecs 支持的分辨率

ui->videoResolutionBox->addItem(tr("Default"));

QList supportedResolutions = mediaRecorder->supportedResolutions();

foreach (const QSize &resolution, supportedResolutions) {

ui->videoResolutionBox->addItem(QString("%1x%2").arg(resolution.width()).arg(resolution.height()),QVariant(resolution));

}

ui->videoFramerateBox->addItem(tr("Default"));

QList supportedFrameRates = mediaRecorder->supportedFrameRates();

qreal rate;

foreach (rate, supportedFrameRates) {

QString rateString = QString("%1").arg(rate, 0, 'f', 2);

ui->videoFramerateBox->addItem(rateString, QVariant(rate));

}

//containers 支持的封装格式

ui->containerFormatBox->addItem(tr("Default container"), QVariant(QString()));

foreach (const QString &format, mediaRecorder->supportedContainers()) {

ui->containerFormatBox->addItem(format+":"+mediaRecorder->containerDescription(format), QVariant(format));

设置采用的视频格式等参数：

void VideoSettings::setAudioSettings(const QAudioEncoderSettings &audioSettings)

{

return;

selectComboBoxItem(ui->audioCodecBox, QVariant(audioSettings.codec()));

selectComboBoxItem(ui->audioSampleRateBox, QVariant(audioSettings.sampleRate()));

ui->audioQualitySlider->setValue(audioSettings.quality());

}

void VideoSettings::setVideoSettings(const QVideoEncoderSettings &videoSettings)

{

selectComboBoxItem(ui->videoCodecBox, QVariant(videoSettings.codec()));

selectComboBoxItem(ui->videoResolutionBox, QVariant(videoSettings.resolution()));

ui->videoQualitySlider->setValue(videoSettings.quality());

//special case for frame rate

for (int i = 0; i < ui->videoFramerateBox->count(); ++i) {

qreal itemRate = ui->videoFramerateBox->itemData(i).value();

if (qFuzzyCompare(itemRate, videoSettings.frameRate())) {

ui->videoFramerateBox->setCurrentIndex(i);

break;

}

}

}

在使用中进入camera程序的录制视频的设置界面就可以看到各个设置支持的参数， 然后可以手动选择要使用的参数，之后点击OK就能是设置生效。用户在自己的应用程序中可以选择固定的参数简化应用程序，使用硬件编码加速视频的录制。

3、总结

　　imx6dl处理器内部提供了针对多媒体处理和图像显示的硬件模块来辅助相关功能的实现，在编程中使用这些硬件模块提供的功能能够加速应用的处理过程，减小CPU等系统资源的占用。我们针对这些硬件模块定制了ESM6802的文件系统，提供了Qt+X11的平台来简化客户的应用程序开发过程，用户使用Qt来开发自己的图形界面多媒体处理程序可以直接参考Qt官方的文档进行编程，就可以使用到ESM6802的硬件资源，而不需要做特殊设置。实际测试中，在我们修改过的Qt上运行程序CPU占用率以CPU温度都相对于没有进过修改的程序有明显的改善。开发中用户可以参考以上介绍的程序中的源码来实现自己需要的功能，有兴趣的客户可以直接和我们的工程师进行沟通获取相关资料以及程序源码。