在物联网系统中,众多发射机同时通过多径衰落信道将消息发送到基站。其中非相干通信由于不需要在接收端进行信道估计,在短包通信和低信噪比通信中具有性能优势,成为了近年来重点研究的对象。然而,传统的非相干收发机设计方法复杂度较高,难以适用于用户数量快速增长的物联网场景。因此,本文以大规模单输入多输出（Massive Single Input Multiple Output,Massive SIMO）中的非相干传输为背景,提出基于机器学习的非相干收发机设计方案,以提高无线通信系统的传输效率和灵活性。根据不同程度的信道先验信息,本文分别研究了两种数据驱动的多用户非相干收发机设计方法。首先,针对码间干扰（Intersymbol Interference,ISI）信道下的非相干通信系统,本文提出了基于自编码器的设计方法。本文用深度神经网络表示非相干收发机,将每个发射机和接收机分别用子神经网络表示,在托普利兹矩阵表示的ISI信道下,通过端到端的训练获得系统编译码方案。与传统方法相比,设计过程不再需要信道响应的分布,仅需要有限的信道样本。同时,本文讨论了收发机设计中训练样本的影响,并提出了给定样本数量时,基于置信区间的传输错误概率估计方法。进一步,针对信道模型未知的情况,本文提出了基于强化学习的收发机设计方法。本文分别用独立的神经网络表示各个发射机与接收机,通过监督学习训练接收机得到译码方式,将训练后损失函数值的相反数反馈给发射机作为收益信号,利用策略梯度算法更新发射机神经网络的参数。在训练特定发射机时,保持其余发射机参数不变,从而迭代、轮转地完成收发机联合设计。通过对训练过程的理论分析,本文指出该方法对含有不可导成分的通信系统同样适用。最后,本文对所提方法进行了仿真实验分析。基于自编码器的非相干收发机在典型ISI信道场景下成功实现了有效传输,同时在信道环境变化时比传统方法有更强的鲁棒性。相较于利用神经网络直接进行端到端的训练,基于强化学习的设计方法有更高的训练收敛速率,同时训练结果有更低的性能方差。上述结果表明,本文所提出的非相干设计方法相较于现有方法有显著性能增益,为机器学习在无线通信中的进一步融合提供了重要参考。