在现代社会,对更高数据速率通信系统的需求不断增加。在多输入多输出（Multiple Input Multiple Output,MIMO）领域,索引调制（Index Modulation,IM）技术作为一种创新性的传递信息的方式,由于在频谱、能量效率及硬件简单性方面的独特优势,IM近年来成为新的研究热点,是未来无线网络很有竞争力的候选技术之一。空间调制（Spatial Modulation）作为IM技术的先锋,它利用发射天线的索引来携带额外的信息比特,且不消耗任何额外能量。广义正交空间调制是在空间调制的基础上分别用两组天线组合分别传递调制符号的同相和正交分量。但是,天线组合利用率低会导致频谱和能量效率不高。为满足更高的性能需求,论文开展了如下研究:（1）首先,为了提高广义正交空间调制的频谱和能量效率,针对广义正交空间调制的缺点,通过引入可变射频链路数,发掘更多的天线组合以携带更多的数据比特,结合功率节省策略,提出两种增强型广义正交空间调制技术,分别为独立型和联合型。并通过MATLAB仿真论证了它们相对于传统广义正交空间调制在频谱效率、能量效率及误码率方面的优势。此外,还比较了两种增强型方法的频谱、能量效率、应用场合和优缺点。（2）其次,为了提高现实生活场景单中继多终端协作网络中的用户服务公平性、频谱效率、能量效率和误码率性能,将独立增强型广义正交空间调制与非正交多址（Non Orthogonal Multiple Access,NOMA）技术相结合,研究空间索引域和功率域的联合应用,并与基于正交多址技术的独立增强型广义正交空间调制进行了误码率方面对比,验证了基于非正交多址的独立增强型广义正交空间调制在提高服务公平性指标上的可行性。（3）最后,针对符号间干扰（Inter Symbol Interference,ISI）信道适合块传输这一特性。提出两种二维空时块增强型广义正交空间调制方法,分别为独立型和联合型。除了利用同相和正交空间域的天线索引组合,还通过同相和正交时隙索引的组合来携带额外的信息比特,并使用MATLAB进行了频谱、能效及误码率性能的仿真,验证了这两种二维空时块方法的可行性。