在动力系统领域,熵是反映系统复杂程度的重要不变量.拓扑熵和测度熵分别从几何和统计的角度刻画了系统轨道的复杂度,而著名的变分原理给出了二者之间的内在联系.在微分动力系统、随机动力系统及其遍历理论的研究中,著名的熵公式深刻揭示了正Lyapunov指数是产生正测度熵的根源.一个自然的问题是:如果将注意力集中在与正Lyapunov指数相对应的不稳定流形上,如何合理地定义测度熵和拓扑熵,并得到联系二者的变分原理?最近,有学者针对部分双曲微分同胚系统地研究了这一课题,成功引入了不稳定测度熵、不稳定拓扑熵和不稳定压的概念,并得了相应的变分原理.本文的主要目的是针对随机动力系统与自同态研究不稳定熵与不稳定压的相关问题.特别地,各种不同版本的变分原理被建立起来.本文主要包括如下两部分内容:在第一部分(第一章与第二章),我们在随机情形下考虑不稳定熵与不稳定压的问题.令F是一个C~2光滑的部分双曲的随机动力系统.在第一章,引入并研究了F沿着不稳定叶层的不稳定测度熵、不稳定拓扑熵以及不稳定拓扑压.得到了关于不稳定测度熵的Shannon-McMillan-Breiman定理,同时也给出了关于不稳定拓扑压(不稳定拓扑熵)的变分原理.进一步,做为变分原理的应用,研究了不稳定拓扑压的包括Gibbs u-态在内的平衡态的问题.在第二章,引入并研究了F沿着不稳定叶层的局部不稳定测度熵、局部不稳定拓扑熵以及局部不稳定拓扑压.同时分别得到了局部不稳定拓扑熵与局部不稳定拓扑压的变分原理.在第二部分(第三章与第四章),我们针对自同态考虑了不稳定熵与不稳定压的相关问题.在第三章,针对部分双曲的自同态引入并研究了不稳定测度熵、不稳定拓扑熵以及不稳定拓扑压.建立了相应的Shannon-McMillan-Breiman定理,同时也得到了变分原理,该变分原理给出了不稳定测度熵与不稳定拓扑压(不稳定拓扑熵)之间的关系.做为该变分原理的应用,给出了一些关于u-平衡态的结果.在第四章,针对部分双曲的自同态引入并研究了局部不稳定测度熵、局部不稳定拓扑熵以及局部不稳定拓扑压.特别地,得到了两个涉及上述局部不稳定熵与局部不稳定压的变分原理.