本学位论文主要利用复合矩阵和对称群研究了动力系统的稳定性,尤其是Hopf分支问题.复合矩阵和对称群是代数中两个重要概念,这两个概念在动力系统的稳定性研究中起重要作用.复合矩阵不仅是研究矩阵稳定性的很好的工具,也是建立从低维动力系统到高维动力系统联系的桥梁,在解决连续动力系统的全局稳定性、周期轨道的存在性等问题中独具魅力.对称群是研究对称性动力系统稳定性,尤其是Hopf分支的基石.　　分支问题是动力系统中最重要的研究课题之一,本论文通过复合矩阵的谱性质给出了利用复合矩阵有效地判断矩阵Schur稳定的方法,进而可以判断离散动力系统的平衡解的渐近稳定性及Hopf分支的存在性.　　时滞微分方程用于描述既依赖于当前状态也依赖于过去状态的发展系统.毫无疑问,时滞所引起的无限维空间性质的研究是一项很困难的任务,所以对时滞微分方程分支问题的研究既要用到微分方程理论,又要用到代数、泛函、拓扑等相关知识.虽然基于复合矩阵和对称群对研究时滞微分方程中的Hopf分支问题已有一些一般性的理论,如n维Bendixson准则、对称性泛函微分方程Hopf分支定理等.然而将这些一般性的结果应用到具体的动力系统模型中,却可能遇到其中以下困难：(I)计算系统的线性化矩阵的二阶可加复合矩阵和复合方程,目前只能计算3维、4维动力系统的复合方程;(Ⅱ)特征方程通常是超越的而且是依赖于参数的,很难分析它的零点分布;(Ⅲ)讨论线性化系统所产生的连续半群的无穷小生成元的广义特征空间;(IV)系统的对称性分析.本论文解决了上述部分问题,内容如下:　　(1)给出了任意n阶矩阵的二阶可加复合矩阵的简单、直接算法.用此算法可以计算任意n维动力系统的复合方程.作为此算法的应用,再结合Muldowney等人的n维Bendixson准则和J. Wu的全局Hopf分支定理,讨论了一类具时滞的BAM神经网络模型的Hopf分支,得出该系统不存在以某一特殊常数为周期的非常数周期解,讨论了其Hopf分支周期解的全局存在性.　　(2)给出了分块循环矩阵的特征值与特征向量,解决了所有以二面体群Dn为对称群的动力系统的广义特征空间的计算问题.作为此算法的应用,结合J. Wu的对称性时滞微分方程Hopf分支定理,论述了一类具时滞的n个BVP振子模型和一类具时滞的带耦合振子的神经元模型的稳定性和Hopf分支.讨论了系统零解的一般Hopf分支,给出了出现等变Hopf分支的充分条件.　　(3)利用对称群及其表示论,研究了具体动力系统模型的对称性.通过刻画对称群的迷向子群的不动点子空间,描述了上述两类模型的Hopf分支的时空存在模式.　　(4)借助空间分解,讨论了对称模型相应的超越方程的零点分布,从而给出系统平衡解渐近稳定的条件.