卫星通信在应急通信、地面蜂窝覆盖以外区域的通信及空中和远海通信方面具有无可替代的地位。与此同时,5G网络的出现和星地一体化架构的引入将在不久的将来极大地改变卫星通信的角色。更高速率和更高系统吞吐量的持续需求推动了高通量卫星的发展。其关键技术之一是多波束传输技术。通过采用点波束,能够大幅度提高天线增益,以支持小型卫星用户终端。同时不同点波束之间可以进行频率重用,提高了频带的利用率,并提高系统容量。但同时,在相邻波束中使用相同频带也带来了严重的波束间干扰问题,也称为共信道干扰（Co-Channel Interference,CCI）。位于波束边缘的用户受到最严重的CCI的影响,导致可实现的传输性能大大降低。本文旨在研究全频率复用下多波束卫星系统的多用户检测和用户调度问题。本文首先研究了多波束卫星通信系统结构及其等效的MIMO系统的模型,接着对三种卫星MIMO传输方案的特点进行分析。进一步针对多波束MIMO的特点,分析了多波束卫星通信系统的链路模型,并给出了相关的信道模型。其次研究了多波束卫星反向链路多用户检测算法。首先对多波束卫星反向链路的系统模型做简要介绍,并对几种传统多用户检测算法进行分析和仿真。接着介绍因子图模型和置信度传播的概念,并根据多波束卫星反向链路的信道特点建立因子图模型。然后针对该模型探讨相应的标准置信度传播多用户检测算法,对算法中的消息设计和消息更新准则进行介绍。然后,针对标准置信度传递算法,分析了对因子图模型中的边进行筛选的思路,提出了低复杂度的基于单边、部分边和混合边消息传递的BP-MIMO检测算法。并在部分边中,进一步分为固定边数和由信道条件自适应调整边数两种方案。仿真结果表明,本文提出的基于边选择的BP检测算法能以低复杂度达到较高的检测性能,并在复杂度与性能之间折中。最后研究多波束卫星通信系统前向链路预编码和用户调度问题。首先对多波束卫星反向链路的系统模型做简要介绍。接着考虑采用ZF预编码消除前向链路中的多用户干扰问题,并从传输速率的公平性出发,在总功率以及单天线功率的约束下设计最优的预编码矩阵。在完成预编码设计的基础上,进一步研究用户分组调度方案,调度算法主要考虑两个因素,一个是满足各用户的业务需求,另一个是分组调度后的传输效率。算法中以计算量较低的信道相关度替代预编码后的SINR作为分组方案的度量,设计低复杂度分组方案。最后,对本文所提的分组调度方案的性能进行仿真,验证其可行性。