能量收集MQAM无线通信系统基于强化学习的资源分配

来源 :吉林大学 | 被引量 : 0次 | 上传用户:xfengxue
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无线通信中的能量收集(EH,Energy Harvesting)技术是指通信设备可以从周围环境中收集太阳能、风能、电磁能等可再生能源的技术。具有能量收集设备的通信节点可以更加灵活地部署、减少对电网供电的依赖性、而且更加符合节能减排的理念,是未来绿色通信的发展趋势。将能量收集技术结合传统通信的多进制正交幅度调制(MQAM,Multiple Quadrature Amplitude Modulation)技术相结合,可以同时缓解化石能源和频谱资源短缺的问题。本文围绕能量收集MQAM无线通信系统的资源分配问题进行了深入的研究,主要工作如下:1)为了提高通信系统的容量、提高能量收集的利用效率,研究了基于强化学习方法的EH-MQAM点对点无线通信系统的资源分配问题。由于能量收集通信系统的能量达到具有随机性突发性的特点,加之无线信道的多变和衰落,使得我们无法预测能量到达和信道的状态。传统的凸优化方法对解决这类通信系统的优化问题已经不再适用,所以本文利用了一种新颖的方法——强化学习来求解系统最大吞吐量的优化问题。首先尝试了最基本的基于表格式的值函数强化学习算法—Q-learning和SARSA算法来找到分时通信系统每一时隙的最优传输策略。然后通过数学方法证明Q-learning和SARSA算法的收敛性。最后,仿真实验表明,这两种算法均可以达到收敛状态。利用收敛后的表格,它们都可以找到最优传输策略且在吞吐量性能上优于其他相比较的传统传输策略。2)为了优化SARSA和Q-learning算法收敛速度慢,需要额外内存资源储存动作值函数表格的问题。本文尝试了用一种基于Tile-Coding方法的值函数近似SARSA算法改进传统的SARSA算法。根据文中通信系统的优化问题的主要特征,设计了3组狄利克雷基函数。用基函数与权重的向量积逼近存储在表格中的动作值函数。仿真实验表明,近似的SARSA算法同样可以找到最优的传输策略,且收敛速度快,不占用额外内存,更适合体积轻小灵活的无线通信设备。3)为了避免2)中人工寻找系统特征来构造基函数从而逼近动作值函数的麻烦,本文继续深入探索值函数的近似方法,并利用神经网络这一强大的拟合工具来自动获得通信系统传输策略的特征。利用DQN(Deep Q Network)算法中的记忆回放和设置目标网络两大技巧来缓解神经网络不易收敛的特性。仿真实验表明,DQN算法同样可以找到本文通信系统的最优传输策略,且收敛速度非常快、无需人为寻找系统特征。
其他文献
无线传感器网络(WSN,Wireless Sensor Network)作为当今信息社会发展重要的技术载体,是由大量传感器节点根据用途分布在固定的区域,以多跳或自组织两种组网方式形成的无线网
本文是一篇英汉翻译实践报告。原文选自美国最负盛名的蒙元史学家托玛斯·爱尔森所著的《欧亚大陆蒙古文化与征服》(Culture and Conquest in Mongol Eurasia,2001)。全文共
我国作为农业大国,农业的发展水平很大程度上影响着国民经济的发展,近年来我国农业呈高速发展状态,在解决人民温饱、提高国民经济水平的同时也带来了一系列土壤问题。如何处
实际的地球内部介质往往不是我们所理想状态下情况,一般广泛存在于各向异性的波动,而地震波各向异性的形式有多种,主要可表现为地震波传播速度与传播方向的关系函数、地震波
新型的位相匹配过程在非线性光子晶体中不断地被发现,比如非线性切伦科夫辐射,非线性拉曼纳斯衍射和非线性布拉格衍射。非线性切伦科夫辐射满足自动纵向位相匹配条件,非线性
背景:精神分裂症主要以药物治疗为主,其中以奥氮平(Olan)为代表的非典型抗精神病药物(AAPDs)在临床上使用最为广泛,但是伴随着药物疗效的同时一系列副反应逐步凸显。抗精神病药物
目的:通过比较生理盐水及MAP液作为清洗液对回收自体血红细胞的保护作用,为临床工作提供更多的理论及实践基础。方法:随机将符合入组患者分为未行术中自体血回收组(C组)以及术
近几十年来,得益于计算机在运算速度和内存容量上的快速提升,计算电磁学领域获得了飞速的发展。矩量法(Method of Moments,MoM)、有限元法(Finite Element Method,FEM)、时域
溃疡性结肠炎(UC)是一种由环境、基因、免疫等多种因素作用下产生的慢性肠道炎症反应,与克罗恩病(Crohn’s Disease,CD)合称为炎症性肠病(Inflammatory bowel disease,IBD)。
心音是一种常见的人体生理信号,能准确地反映心脏的整体运行状态,通常是判断心脏是否健康的主要依据之一。心音听诊是诊断先心病的主要依据,但听诊容易受到环境和听诊医生等