在现代化机械设备中,旋转机械应用范围广、数量占比大,滚动轴承是旋转机械中极易发生故障的部件之一,因此,对滚动轴承进行状态监测和故障诊断成为保障机械设备正常运行的关键。在机械故障诊断领域,有多种故障诊断方法,其中振动信号分析法是最常用的方法,当机械设备发生故障时,其振动信号往往具有明显的非线性与非平稳性。变分模态分解(Variational Mode Decomposition,VMD)可自适应地分解振动信号,其理论基础坚实可靠,噪声鲁棒性强,频率分辨力高,是处理非线性、非平稳信号的一种理想方法,所以广泛应用于故障诊断中。本文主要针对VMD中分解层数和惩罚参数的设定问题开展研究工作,具体内容如下:首先,针对VMD分解中模态个数需提前设定,且设定值会对分解结果产生重要影响的问题,研究了一种求取最优分解层数的方法。该方法以瞬时频率的幅值特性为依据,通过预设分解层数并分析VMD分解过程中各分量最大幅值(MA)之间的大小关系来确定最佳分解参数。信号经MA-VMD方法处理后,以均方根熵值作为故障特征参量,通过粒子群算法优化的支持向量机实现不同故障类型的判别,并由对比实验验证该方法的有效性和可行性。然后,针对VMD方法中另一个重要参数(惩罚参数)的设定问题,研究了一种基于水循环算法(Water Cycle Algorithms,WCA)的寻优方法。该方法将VMD中的惩罚参数和分解层数当做待优化的参数值进行组合寻优,以VMD各分量的局部极小包络熵为适应度值,将其熵值最小化作为最终目标,以得到两参数最终的优化值,并利用仿真信号和实验信号验证此方法的可行性。最后,针对滚动轴承故障信号的非平稳性及周期性冲击特性,研究了一种基于WCA-VMD和频率加权能量算子(Frequency Weighted Energy Operator,FWEO)解调的故障特征提取方法。通过仿真信号对FWEO解调、Hilbert解调、对称差分能量算子解调进行对比研究,并利用WCA-VMD对实测信号进行分解得到最佳分量,对该分量做FWEO解调及包络谱分析以提取轴承故障特征频率,通过对比实验验证所研究方法在故障特征频率提取方面的有效性,实现轴承故障诊断。