对轨道资源受限,频率资源紧张的卫星通信系统而言,为了满足未来高速率高容量通信的需求,为用户提供高性能服务。我们设想将地面的MIMO技术应用于卫星通信系统,MIMO技术的应用带来了容量的大幅提升的同时还带来了严重的多址干扰问题,进而本文研究旨在解决由多址干扰引起的多用户检测算法在多波束卫星MIMO通信系统中的应用。首先,本文基于多波束卫星系统关键技术以及MIMO通信系统模型设计多波束卫星MIMO通信系统。针对在该系统中用户遭受的容量限制以及多址干扰问题。在此模型上依照多用户检测算法分别进行了前向链路以及反向链路的系统容量,误码率仿真。然后建立多波束卫星MIMO通信系统的链路模型。探讨在多波束卫星MIMO前向链路中采用不同的多用户检测技术时(分别为强干扰消除多用户检测,分时多用户检测,空时编码多用户检测)系统的容量表现。发现该系统内波束边缘用户将会接收到较弱的发射信号。为了保证系统内部用户均能享受合理的资源分配。通过引入智能粒子群优化算法来修正该问题。通过对边缘波束的形状进行修正,从卫星的发射端对信号所要经历的衰减进行补偿,提高用户的接收功率,保证系统公平性。面临的问题则是在地面端采用多用户检测算法时,算法性能受终端体积限制。最后在反向链路中,为了提高卫星端解码性能,降低误码率,同时降低卫星端复杂度。我们研究优化串行干扰消除检测算法,包括基于列范数排序和SINR排序两种。通过结合多阶检测的想法,最后提出了基于列范数排序的分组多阶检测串行干扰消除技术(MS-F-MMSE-GOSIC)算法。通过对误码率进行仿真验证了该方案的可行性。