随着近年来互联网和多媒体技术的不断发展，面向互联网的视频流化(streaming)技术已经成为数字视频通信领域的一个新的热点研究方向。可伸缩视频编码，因其可以在不同的质量、帧率、分辨率甚至复杂度下解码，被视为网络环境下的一种很有前景的视频编码方案。然而目前可伸缩视频编码普遍编码效率较低，而且只适用于规则的矩形区域，限制了可伸缩视频编码的广泛应用。本文的研究工作即由此展开。在现有的高级精细可伸缩视频编码(FGS)基础上，本文创新性的提出了基于码率段的率失真优化编码器控制算法和三角区域的广义三角变换算法。前者可以有效的提高可伸缩视频编码的性能，而后者作为数字信号处理的基础算法之一，不仅为非规则区域的可伸缩视频编码提供了一种有效的变换方法，而且对非规则区域上的模式识别、图形图像处理以及几何造型等问题都有着重要的借鉴意义。具体来讲，本论文的主要研究成果如下： 首先，提出了一种面向高级FGS的两点率失真优化编码器控制算法。先对可伸缩视频编码中的率失真优化问题进行建模，提出了基于码率段的率失真优化模型，并针对高级FGS将模型进一步简化。通过实验指出了帧间相关性在可伸缩视频编码的率失真优化中不可忽略，并首次提出了通过定义EOD函数来近似帧间相关性的方法。作为一个实例，导出了PFGS中的EOD函数模型，并在此基础上得到了面向PFGS的两点率失真优化编码器控制算法。 其次，提出了基于PFGS的两点率失真优化的联合基本层和增强层模式选择算法。将两点率失真优化编码器控制算法应用到PFGS的模式选择中，提出了基于PFGS的两点率失真优化模式选择算法，并系统的讨论了算法中三种常用的权重策略。实验表明，算法可以大大提高整个码率段的编码效率，通过采用不同的权重策略，算法可以灵活的偏向于低码率段或高码率段的编码效率。 第三，构造出了三角区域的广义三角函数。DCT是视频编码的核心算法，但是对于三角区域目前没有相应的算法。本文通过求解重心坐标下的Sturm-Liouville特征方程，构造出了三角区域的广义正弦函数和广义余弦函数，并通过可视化与理论推导相结合的方法系统的研究了这两组函数的性质。 第四，提出了三角区域的离散广义三角变换以及相应的快速算法。在三角区域的广义正弦函数和广义余弦函数基础上，定义了三角区域的离散广义正弦变换和离散广义余弦变换。通过构造辅助函数和辅助变换，给出了相应的快速算法，并在此基础上实现了一个基于Matlab的非规则区域广义傅式变换函数库。实验表明，离散广义余弦变换对于光滑的三角采样数据具有良好的去相关作用。