近年来,移动通信技术获得了快速的发展,在系统容量、频谱利用、通信时延等方面都有显著的提升,但同时“物联网”的普及以及移动互联网业务量的爆炸式增长也给移动通信技术提出了新的挑战。一方面,移动设备接入量迅速扩增,未来移动通信网络需要更大的系统容量;另一方面,频谱资源有限,新一代移动通信技术需要更有效地利用频谱资源。非正交多址技术允许用户信号以非正交的方式共同占用通信资源,可以有效地提升频谱利用率和系统容量。由于用户的信息是经过码本映射后叠加在同一个资源节点上发送,在检测时难免会存在用户间的干扰,需要设计和优化合适的码本用以区分不同的用户信号,这在非正交多址系统中起着至关重要的作用,因此本文主要是针对非正交多址中的用户码本进行设计和优化,以进一步提升系统的性能。本文首先构建统一的非正交多址模型以及提出通用的码本设计,将多个可优化的信号域融入一个映射矩阵中,同时从系统容量和译码错误率两个方面对系统进行理论评估,并以这两个评估指标作为目标对码本进行优化。其次,本文基于上述的通用码本采用了新的损失函数并提出使用批量梯度下降法去联合优化码本,在密集连接或是对多个信号域做联合优化时,该方法比遗传算法等启发式搜索算法复杂度更低、收敛速度更快,仿真结果显示本方法获得的方法具有更优的误码性能。最后,本文创新性地提出将星座重排应用在非正交多址系统中,使之成为一个新的可优化域,通过改进后的模拟退火算法去优化得到最优的重映射方式,改善了传统的功率域和相位域码本优化对信道状态信息的估计准确性比较敏感的问题,并且可以进一步提高系统的误码性能。