原子团簇是由几个至数千个原子相互作用而形成的稳定聚集体,其物理和化学性质与它所含有原子数目多少有关。由于团簇具有特殊的几何结构和奇特的物理化学性质以及潜在的应用背景,因而引起人们的广泛关注。原子团簇结构的优化是目前物理、化学等领域的研究热点之一。由于团簇中各原子间的相互作用能够用势能函数表示,所以这些相互作用势就成为预测物质结构必不可少的物理量。目前被广泛应用的相互作用势有Sutton-Chen势、Lennard-Jones势等。研究团簇结构的方法有分子动力学法、蒙特卡洛方法和密度泛理论等。由于传统的研究方法蒙特卡洛法和分子动力学法等应用到团簇的基态结构研究时常常会陷入到局域最小。所以新的研究方法如遗传算法(Genetic Algorithm, GA)、粒子群算法(Particle Swarm Optimization, PSO)和差分进化算法(Differential Evolution, DE)等被科学家们所推崇。这些群智能算法作为相对完善、高效的优化方法给原子团簇结构预测、计算带来了极大的便利。本文的主要研究内容为：(1)采用粒子群优化算法结合Sutton-Chen势研究过渡金属铱原子团簇的结构优化问题。包括：(a)通过铱团簇结构进行优化,得到了原子数为n=2～20时的铱团簇基态能量、基态结构、平均束缚能和二阶差分的值,画出了铱的平均束缚能和二阶差分值随粒子数变化的关系曲线;(b)分析其二阶差分值后,得到了铱(n=2～20)团簇的幻数序列。(2)采用不同智能优化算法结合Sutton-Chen势能模型对镍原子团簇结构进行优化。包括：(a)以粒子群算法和遗传算法计算了原子数为n=2～20时的镍团簇的基态能量,并比较了计算时间,根据计算结果画出了镍原子团簇的结构投影图；(b)通过差分演化算法计算,得到了镍原子团簇的空间结构图,讨论了其对称性；(c)为了比较不同算法的优化性能,还讨论了原子数为n=8,15的镍团簇结构的寻优过程。研究结果表明：应用不同的智能优化算法均可得到对称性良好的镍团簇结构,相关实例均验证了将智能优化算法应用于预测过渡金属原子团簇结构是可行且有效的；得到的构型和基态能量与已有文献一致,整体优化性能好于其它传统方法；差分进化算法与遗传算法、粒子群优化算法相比,差分进化算法对镍团簇结构进行优化,具有更好的收敛特性,所需的计算时间更短。本文所获得的结论对今后过渡金属原子团簇结构的实验研究具有一定的指导和参考作用。文中运用的几种智能优化算法也有望成为复杂团簇结构研究的有效方法。