在航空、航天以及工业生产等领域中解决系统失稳的控制问题时,不仅要知道系统平衡状态是否是稳定的,而且还要搞清楚系统的稳定域(或吸引域)究竟有多大。因此动力系统稳定域的研究长期以来一直受控制理论、控制工程、力学等领域学者的普遍关注。对于线性系统,若系统在李雅普诺夫意义下是稳定的,则必是全局稳定的,而对于非线性系统,则涉及稳定域的求取和分析边界结构等问题。混杂系统的动态行为由连续动态和离散动态以及它们之间的相互作用所确定,因而十分复杂,同时这类系统有着广泛的实际背景和重要的应用意义。发展了五十多年的吸引域理论表明：期望用代数解析方法去解决动力系统吸引域精确边界问题几乎是不可能的。于是一些学者将目光转移到稳定域的数值算法、稳定域边界的拓扑学描述上。上述方法的研究的确取得了令人瞩目的成果,然而将这些方法应用于分析混杂系统吸引域时却遇见了很大的困难,从理论角度来看,上述研究吸引域边界的拓扑与动力系统方法都是针对微分同胚作用下的理论结果,而混杂系统整体上存在许多不可微分的点,微分动力系统下流形分析的方法失效。特别对于混杂(或切换)系统多吸引域边界结构问题是系统和控制领域尚未解决的难题之一,也是混杂系统多稳定性控制方向的迫切需求。尽管这一课题的理论和实际意义均很强,但这一领域的研究成果还十分有限,因而在这一方向上开展研究工作,将会进一步推动混杂系统吸引域理论的发展。本文在总结前人工作的基础上,开展了典型混杂系统吸引域及边界的理论描述、流形分析及吸引域算法研究,针对多稳定系统的不同控制目标,分析了具有复杂多域边界系统的混杂控制策略,并将一些理论成果应用于工程中的碰撞振动系统和机器人行走控制系统。本文的主要创新性及研究特色如下：(1)针对周期切换系统提出了辅助动力系统思想,建立了基于辅助动力系统的吸引域流形分析方法。给出了判定这类系统Wada域边界判定准则(流形意义下的切换律),主要通过辅助动力系统的域胞探讨切换系统吸引域边界流形结构,用严格的数学方法证实了非微分动力系统以外的非光滑系统吸引域边界也存在Wada复杂拓扑这一公开未解决的问题,从而揭示出切换导致复杂吸引域边界的形成机理。借助辅助动力系统方法,给出了此类系统吸引域边界的进一步描述方法---极限集、主末端及不可分解的连续统方法。切换系统的安全域侵蚀等价于每个条件(a)切换系统所对应的辅助系统的某个吸引域,存在每条发散路径通过这个域的边界作为它的极限集；(b)切换系统对应的辅助系统吸引域中存在一个主末端类型3而其余主末端为类型1；(c)切换系统对应的辅助系统边界是一个不可分解的连续统。上述研究结果给出了流形分析下的切换律准则,为选择切换控制信号获得安全域提供理论参考。(2)研究相调制切换系统众多吸引域及边界结构问题,通过分区配置分析方法,探讨了系统吸引域边界鞍点流形之间的规律,在主区域内利用微分动力系统中的鞍点序理论及流形定理探讨了复杂吸引域边界随系统控制参数质变的三种数学机理。在次区域内,描述系统存在的不连通或多连通吸引域主体结构,为系统吸引域估计提供了理论和数值参考。这些研究方法不仅为研究控制系统的参数稳定域选取提供了基础,而且为进一步研究混杂系统多稳定性控制提供基础。(3)针对发现的七个吸引域具有公共边界这种复杂域结构(域胞理论严格证实这个新现象),提出了不同控制目标的混杂控制方法,首先实现不期望轨道的消除控制,同时保持系统原有的动态属性；其次采用切换控制,镇定任意期望的周期轨道；由于该系统具有多稳态且鲁棒性差,给出了抗噪音的控制及求取安全集的方法。最后,分析了不考虑系统原有特性的条件下,可以设计控制策略有效控制系统多稳态到单稳态且具有全局吸引域结构,使得系统有更大的区域保持稳定性。(4)建立了一类混杂系统吸引域全局分析方法,该方法不仅能分析混杂系统平衡点或极限环的吸引域,还能分析多维环面运动的吸引域,通过改进的胞映射数值算法有效的描述了碰撞振动系统和机器人行走控制系统的吸引域结构,该算法不仅为控制工程中吸引域估计提供了理论基础,而且实现了系统真实吸引域的高精度近似逼近。该方法有助于混杂系统参数调控或控制器参数调节,使得系统的吸引域最大化。