小波理论揭示了子带滤波器的本质结构。结合中国音视频编码工作组及国家高技术研究发展计划(863)《高效帧间预测与新型变长编码及小波编码框架》的工作,对用作变换的正交平衡滤波器、小波系数的量化和组织、图像和视频编码等方面进行研究。分析了标量小波与多小波之间的关系。讨论了尺度向量的性质,从理论上保证构造出多小波的有效性。多小波滤波器至少有2个低通,如果2个低通道有不同的频谱特性,会引起通道的不平衡。研究分析表明,在这种情况下,矩阵滤波的方法会造成低频信号与高频信号的混叠,在对信号进行压缩处理的场合下,重构的信号会产生强烈的振荡,从而影响重构信号的质量。解决信号混叠问题,一种方法是预滤波技术,提出另外一种方法是,从构造平衡的滤波器组出发,进而实现平衡多小波的构造,这种滤波器不用预滤波,高、低通的频谱性能较其它滤波器好。分析与研究了格子编码量化(Trellis Coded Quantization,TCQ)的状态、状态格子、Viterbi算法、集合划分、码字选择进行。实验表明,独立同分布的均匀和高斯数据,当状态数逐渐增大时,可达到接近率失真理论允许的均方误差,性能比Lloyd-Max量化器提高了约0.2-2dB。率失真的分析表明,加权方差较大或较小的频带,其所分配的码率应多于或少于期望码率,所有频带的码率加权平均为期望码率。对标量及TCQ量化,选择各个子带的码率,等效于选择量化器的码字或步长的选择问题。提出了一种基于多小波变换和多层阈值的TCQ编码方法,利用四叉树分类算法进行重要系数划分,采用了8状态格子,新的子集划分方法,实验表明,相对于单一阈值的TCQ量化,提高了约0.03~0.14dB对多小波变换分析结果是:对普通的多小波变换,由于它有低频信号被分解到高频子带内,而高频信号则被分解到低频子带内,高低频信号混叠;而预滤波及平衡的多小波则能正确的分解信号。对多小波系数的统计分析表明,对光滑性较好的Lenna图像,无论是对高频子带还是次高频子带,双正交9/7小波具有最好的分布,但如果纹理较多的复杂图像如Barbara,对系数的幅值小于8,则多小波变换比双正交9/7小波高出1.45%。实验结果也表明,多小波比标量小波更适合处理复杂图像的编码。经多小波变换后,图像的绝大多数能量集中到低频子带里。等级树分隔(Spatial partitioning of images into hierarchical trees, SPIHT)等零树量化器由于通过利用子带间小波系数的空间相关性来实现良好的编码性能。但是,二重小波分解得到的子带结构并不完全保持这种子带之间的相关性。分析表明,在同一频率方向不同尺度的2×2个小块中存在很大的相似性。为了利用这种相似性,更好地对二重小波系数采用SPIHT算法编码,研究了不同类型的多小波滤波器是如何重新组织每个2×2小块的数据的,以满足SPIHT算法所需满足的条件,有利于提高编码效率。在视频编码方面,MPEG-2、MPEG-1以及H.264等标准的变换都是DCT变换。尽管出现了很多新技术,如:多参考帧运动估算、多运动预测块尺寸、4×4的DCT(Discrete cosine transform)变换、环滤波等,但变换还是基于块的局部的变换。正是这种局部性,在低码率编码时,容易造成了重构图像的不连续性即块效应。由于小波变换是全局的变换,它在去块效应等方面有良好性能。提出的基于多小波变换的视频编码方法,结合H.264的先进技术,对预测图像的残差作多小波变换。对多个视频序列的测试结果表明,H.264的编码效果普遍好于MWDT(Multiwavelet discrete transform)框架的编码效率,H.264的稳定性比MWDT框架好,每帧波动小。对于运动剧烈的场景,多参考帧技术效果不是十分的明显,而对于相对缓慢的帧,采用多参考帧技术信噪比有较明显的提高。环滤波的重构图像具有更好的主观质量,但环滤波对重构图像的信噪比影响非常小。总之,探讨了多小波变换编码中的平衡滤波器构造,多小波图像编码时图像的多小波变换、系数的组织、量化方法、码率控制,视频编码时,参考帧大小、参考运动块尺寸的选择、环滤波方面,在这些探讨的基础上提出了编码效率较高的图像编码方法和一个比较完整的视频编码的框架。尽管提出的视频编码框架,其编码效率比不上H.264,但是随着小波变换编码的率失真运动搜索技术的成熟,具有进一步提高的潜力,还是非常有意义的。