玩转Zynq连载44——[ex63] MT9V034摄像头的图像平滑处理

rousong1989

1系统概述

如图所示，这是整个视频采集系统的原理框图。上电初始，FPGA需要通过IIC接口对CMOS Sensor进行寄存器初始化配置。这些初始化的基本参数，即初始化地址对应的初始化数据都存储在一个预先配置好的FPGA片内ROM中。在初始化配置完成后，CMOS Sensor就能够持续输出标准RGB的视频数据流，FPGA通过对其同步信号，如时钟、行频和场频进行检测，从而从数据总线上实时的采集图像数据。MT9V034摄像头默认初始化数据就能输出正常的视频流，因此FPGA中实际上未作任何IIC初始化配置。

在FPGA内部，采集到的视频数据先通过一个fifo，将原本25MHz频率下同步的数据流转换到50MHz的频率下。接着将这个数据再送入写DDR3缓存的异步FIFO中，这个FIFO中的数据一旦达到一定数量，就会通过AXI HP0总线写入DDR3中。与此同时，AXI HP0总线也会读取DDR3中缓存的图像数据，缓存到FIFO中，并最终送往LCD驱动模块进行显示。LCD驱动模块不断的发出读图像数据的请求，并驱动液晶显示器显示视频图像。

本实例除了前面提到对原始图像做DDR3缓存和显示，还会在原始图像缓存到DDR3之前，另外做图像的多行缓存和平滑处理运算，获得新的平滑后的图像流，这个图像流通过AXI HP1总线写入到DDR3中。AXI HP1总线也会根据LCD显示模块的请求，读取处理后的图像进行显示。最终在VGA液晶显示器上，可以看到左侧图像是原始的图像，右侧图像是经过平滑处理后的图像。

2图像平滑与滤波2.1 基本概念

从统计学的观点来看，凡是统计特征不随时间变化的噪声称为平稳噪声，而统计特征随

时间变化的噪声称为非平稳噪声。幅值基本相同，但是噪声出现的位置是随机的，称为椒盐

噪声；如果噪声的幅值是随机的，根据幅值大小的分布，有高斯型和瑞利型两种，分别称为

高斯噪声和瑞利噪声。

图像滤波，即在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预

处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可

靠性。

消除图像中的噪声成分叫作图像的平滑化或滤波操作。信号或图像的能量大部分集中在

幅度谱的低频和中频段是很常见的，而在较高频段，感兴趣的信息经常被噪声淹没。因此一

个能降低高频成分幅度的滤波器就能够减弱噪声的影响。

图像滤波的目的有两个，一是抽出对象的特征作为图像识别的特征模式；另一个是为适应图像处理的要求，消除图像数字化时所混入的噪声。而对滤波处理的要求也有两条，一是不能损坏图像的轮廓及边缘等重要信息；二是使图像清晰视觉效果好。

平滑滤波是低频增强的空间域滤波技术。它的目的有两类：一类是模糊；另一类是消除

噪音。空间域的平滑滤波一般采用简单平均法进行，就是求邻近像元点的平均亮度值。邻域的大小与平滑的效果直接相关，邻域越大平滑的效果越好，但邻域过大，平滑会使边缘信息损失的越大，从而使输出的图像变得模糊，因此需合理选择邻域的大小。

关于滤波器，一种形象的比喻法是：我们可以把滤波器想象成一个包含加权系数的窗口，

当使用这个滤波器平滑处理图像时，就把这个窗口放到图像之上，透过这个窗口来看我们得

到的图像。举一个滤波在我们生活中的应用：美颜的磨皮功能。如果将我们脸上坑坑洼洼比作是噪声的话，那么滤波算法就是来取出这些噪声，使我们自拍的皮肤看起来很光滑。

2.2 滤波算法

         各种不同的滤波算法如下：

•限幅滤波法（又称程序判断滤波法）

• 中位值滤波法

• 算术平均滤波法

• 高斯滤波法

• 递推平均滤波法（又称滑动平均滤波法）

• 中位值平均滤波法（又称防脉冲干扰平均滤波法）

• 限幅平均滤波法

• 一阶滞后滤波法

• 加权递推平均滤波法

• 消抖滤波法

• 限幅消抖滤波法

•卡尔曼滤波（非扩展卡尔曼）

2.3 均值滤波

均值滤波器是图像处理中一种常见的滤波器，它主要应用于平滑噪声。它的原理主要是利用某像素点周边像素的平均值来达到平滑噪声的效果。

         例如，1~8像素是（x,y）点周围邻近的8个像素点。最简单的均值滤波，即对（x,y）以及周边8个像素点求平均替代原来的（x,y）点。

         这种滤波方式的优点很明显，算法简单，计算速度快。缺点是降低噪声的同时使图像产生模糊，特别是景物的边缘和细节部分。

2.4 加权均值滤波器

         由于我们已经注意到了中心点和周边像素点的重要程度不同，因此可以将均值滤波进行改进，获得图像平滑滤波效果的同时，也在一定程度上尽量降低图像边缘和细节的损失。

         基于1/16的加权均值滤波，我们的Matlab代码如下：

clear

clc

I1=imread('.\lena.jpg');

I=im2double(I1);

[m,n,c]=size(I);

A=zeros(m,n,c);

%           1   2   1

%   1/16 *  2  4   2

%           1   2   1

%for R

for i=2:m-1

    for j=2:n-1

       A(i,j,1)=I(i-1,j-1,1)+I(i+1,j-1,1)+I(i-1,j+1,1)+I(i+1,j+1,1)+2*I(i+1,j,1)+2*I(i-1,j,1)+2*I(i,j+1,1)+2*I(i,j-1,1)+4*I(i,j,1);

    end

end

%for G

for i=2:m-1

    for j=2:n-1

       A(i,j,2)=I(i-1,j-1,2)+I(i+1,j-1,2)+I(i-1,j+1,2)+I(i+1,j+1,2)+2*I(i+1,j,2)+2*I(i-1,j,2)+2*I(i,j+1,2)+2*I(i,j-1,2)+4*I(i,j,2);

    end

end

%for B

for i=2:m-1

    for j=2:n-1

       A(i,j,3)=I(i-1,j-1,3)+I(i+1,j-1,3)+I(i-1,j+1,3)+I(i+1,j+1,3)+2*I(i+1,j,3)+2*I(i-1,j,3)+2*I(i,j+1,3)+2*I(i,j-1,3)+4*I(i,j,3);

    end

end

B=A/16;

%output

imwrite(B,'lena.tif','tif');

imshow('.\lena.jpg');title('origin image');figure

imshow('lena.tif');title('image after average filter')

         滤波效果如下。

         Matlab源码、Lena.jpg原图和比对图存放在project\zstar_ex63\matlab文件夹下。

3基于FPGA的图像平滑处理

         工程文件夹project\zstar_ex63\zstar.srcs\sources_1\new下的average_filter.v模块实现了1/16的图像加权均值滤波处理。该模块功能框图如下，使用2个FIFO，分别缓存前后行，即进入图像处理的3组数据流分别是第n-1行、第n行和第n+1行的图像，控制输入数据流和2个FIFO缓存的图像在同一个位置、寄存器对前后2个像素的图像值进行缓存，这样便可实现中心像素点以及前后列、上下行之间数据的同步处理了。

4装配说明

         MT9V034摄像头模块通过Zstar ISB底板（P3）与Zstar Zynq开发板连接，VGA也是通过Zstar ISB底板与Zstar Zynq开发板连接，VGA板同时需要连接到VGA显示器。连接示意如图所示。

5板级调试

         本实例对应ex63实例工程，已经制作好的BOOT.bin放置在工程路径“zstar_ex63\zstar.sdk\BOOT”下。也可以参考文档《玩转Zynq-实例篇：[ex51] 制作裸跑程序的启动文件BOOT.bin.pdf》制作包含.bit文件的BOOT.bin文件，将其拷贝到TF卡中，插入Zstar开发板的卡槽中，做好装配连接，上电，可以看到VGA显示器同时显示左右两个图像，左侧图像为原始图像，右侧图像为平滑处理后图像。

更多资料共享

腾讯微云链接：https://share.weiyun.com/5s6bA0s

百度网盘链接：https://pan.baidu.com/s/1XTQtP5LZAedkCwQtllAEyw

提取码：ld9c