随着互联网络的普及,人们越来越看重网络的安全和优化问题。一方面,人们希望研究新的网络防御技术,保证网络的安全性;另一方面,提升网络的性价比,使得网络拓扑费用最小也是人们关注的热点问题。论文引入博弈理论对提高网络安全性和优化网络的方法进行研究,将论文分为三大部分,主要研究如下问题:第一部分是基于演化博弈的蜜罐有效性研究。研究网络的攻防双方如何根据自身支付函数进行演变,使自己在博弈中能获得收益最大化。防御方是混合系统,包括普通系统和蜜罐系统;攻击方为访问系统的恶意攻击者。论文将混合网络系统看作一个生态环境,来访者只有攻击者一个种群。通过推理计算出满足演化稳定的均衡点,用Matlab仿真观察攻防双方的演变趋势,证明蜜罐是一种积极的主动防御手段。第二部分是基于信令博弈的拟态蜜罐研究。论文将部署了普通系统和拟态系统的混合系统视为信令发送方,发送方可以发送普通信令和拟态信令;信令接收方为攻击者,可以采取三种行动:访问,不访问,判断访问。通过设置收发双方的支付函数计算满足贝叶斯均衡的条件,最后通过Gambit仿真实验验证了均衡条件的正确性。通过影响均衡条件的参数证明拟态蜜罐的保护色机制和警戒色机制是有效的。第三部分是基于合作博弈的网络可靠性与代价研究。将网络可靠性和效用代价视作多目标优化问题进行分析,通过形式化描述在2个优化目标之间建立联系。在此基础上,运用合作博弈中的纳什议价模型对可靠性与代价进行公平性折中,并通过Matlab结合CVX计算得到可靠性与效用代价同时达到最优的纳什议价解集。进一步动态调整威胁值并进行重复博弈,然后得到同时保证可靠性与代价的帕累托最优目标值。最后,通过对一个典型空间网络拓扑链路进行纳什议价求解,阐述了在网络业务量与链路容量值已知时,如何对链路数和链路容量进行设置以降低网络代价。这对空间网络的优化部署有重要意义。