DM8168 HDVPSS EDE图像边缘细节增强(一)
1. 边缘细节增强器(EDE)1.1 概述
放大后的图像看起来会变得平滑而让人感觉清晰度不够,EDE(边缘和细节增强器:Edge and Detail Enhancement)用来恢复因放大而失去的高频信息或者增强高频信息,以便使画面看得显得更加清晰一些,EDE模块的组成是:LTI(Luma Transit Improvement)、CTI(Chroma Transit Improvement)和2D Peaking、水平和垂直peaking。它还提供一些高级特征,包括Negative Coring用来避免放大噪声,因为通常噪声看起来也像是一个peaking、基于coring的肤色检测以便估计特别是在人皮肤上的轮廓(contouring)和噪声(noise flicker)。
LTI(CTI)和peaking都是为了锐化图像。LTI(CTI)通常使用非线性技术以改善灰度和色度的边缘变化。Peaking通常使用线性技术(一般是FIR滤波)来提升图像中的高频信息。LTI(CTI)并不是像Peaking那样提升(boost)高频信息而是产生(create)高频信息以使画面看得更加清晰。
尽管LTI(CTI)都会使画面尖锐,但是它们通常应用于不同目的,比如像人脸这样相对平缓变化的区域,一般使用Peaking,而LTI(CTI)一般更倾向于应用于强烈变化的边缘区域,因为LTI(CTI)会导致尖锐的变化边缘和轮廓效果。
在我们的设计里,除了锐化色度变化边缘,CTI还能使色度跳变中心向灰度跳变中心移动,以消除灰度和色度跳变位置的失配。
在EDE中的peaking模块能是2D-peaking或者垂直peaking,2D-peaking可应用于灰度和色度,而垂直peaking仅应用于灰度,在2D-peaking中使用5x5的FIR滤波器,所有系数用户可编程,滤波输出值被剪切(clip)在规定的范围内。
1.1 特点模块支持下面关键特征:
图像格式: YUV4:4:4,10-bit数据; LTI/CTILTI(灰度边缘锐化)、CTI(色度边缘锐化)增强边缘
灰度和色度对齐,以获得更好的registration和清晰度
基于Coring的肤色检测,用来估计轮廓和噪声
Peaking2D peaking和垂直peaking,用来增强细节
2D peaking:Negative Coring非线性模块用来减少噪声
2D peaking:5x5 peaking滤波器系数可编程
垂直peaking:软化的limiting,减少剪切造成的缺陷
噪声鲁棒性Negative Noise Coring阻止放大噪声
阻止剪切和轮廓化造成的缺陷
1.1 功能描述图87显示了EDE模块的方块图,EDE模块由LTI、水平Peaking、CTI、线性缓冲和peaking模块组成。输入数据格式是YCbCr444,输出数据格式也是YCbCr444。
LTI锐化Y边缘水平peaking提升水平方向的peakCTI锐化色度边缘,并将色度的变化边缘与灰度变化边缘对齐行缓冲存储数据用于peaking模块的垂直处理Peaking模块用于在峰值的2D或垂直位置的边缘剪切模块剪切Y和C值用于保证输出数据在合理范围之内1.1.1 操作原理图88描述了LTI和peaking模块锐化图像示意
为了执行水平peaking或LTI,首先在一个搜索窗口里搜索水平突变。搜索窗口是26个像素,灰度变化的起始点(min/max)和终点(min/max)与中心值(均值),沿着斜坡,LTI算法发挥作用,基本方法是朝最大值移动斜坡的上半部分,朝最小值方向移动斜坡的下半部分,在边缘(起点和终点)使用Peaking,在其他部分啥也不做,LTI和peaking的增益由一个增益曲线来定义,斜坡越窄增益越强,斜坡约宽,增益越弱,除了规则的Peaking和LTI外,可变的基于核的肤色检测算法用来估计轮廓和噪声。
图89描述了CTI的算法,除了与LTI一样外,CTI搬移色度的斜坡中心到灰度的斜坡中心位置,以减少灰度和色度位置的失配。
CTI算法类似于LTI,有自己的独立的配置参数,水平Peaking并不应用于色度数据,用户能选择是否将色度和灰度的变化位置对齐,如果它们的中心不是匹配的,这一点我们在模拟视频源中经常看到,当这个特征被使能的时候,色度的变化中心将被搬移到灰度变化中心一致的位置上,搬移数量的设置由CTI对齐增益来确定。
2D peaking模块执行5x5的2D peaking,5x5 peaking滤波器系数是可编程的,由于系数矩阵是对称的,所以它们当中有8个系数需要编程。
在peaking期间,通常噪声也会被放大,Negative Coring在Coring区域引入了一个负的增益,这样,在输入端噪声能被消除,Coring阈值依赖于对噪声的测量,软化的limiting限制的设计减少了clipping造成瑕疵,比如极强光和极弱光。
在EDE模块中,用户可以选择2D peaking或垂直peaking,垂直peaking跨越5行的5个像素上,在peaking像素上,peaking仅应用于灰度,在peak附近的斜坡上,peaking应用于灰度和色度。