深空探测有助于人们更好地了解宇宙和人类的起源，促进社会发展和科技进步。随着探测距离的不断增加和任务开支的上涨，目前的连续小推力系统也难以满足某些任务的需求。近年来，人们提出了多种形式的无燃料推进系统，其中太阳帆技术最为成熟。与传统航天器相比，太阳帆能够完成一些能量变化很大的非开普勒轨道，如日心角动量翻转逆向轨道和恒星际探测轨道等。在日心二体模型下，太阳帆帆面保持合适的固定姿态角，便可沿着逆向轨道逃离太阳引力场。为求解逆向轨道可行域问题，文中引入速度图法，将参数优化问题转化为方程求根问题，解析地给出了能够形成逆向轨道的最小光压因子。在光压因子给定时，得到了能够形成逆向轨道的精确姿态角范围，并进一步分析了轨道近日点约束对姿态角范围的影响。鉴于逆向轨道的特性，文中通过仿真讨论了轨道的几个应用任务。在固定姿态角逆向轨道研究的基础上，本文提出了两类新型逆向周期轨道，包括“三维双逆向周期轨道”和“多重逆向周期轨道”。由于太阳帆没有燃料消耗，人们往往研究其时间最优轨道设计问题。文中应用间接法将时间最优控制问题转化为两点或多点边值问题求解，得到了两类周期轨道的时间最优解。针对两类轨道的平面和三维情况，仿真分析了轨道的特性，并给出了可能的应用任务。针对间接法求解时可能出现局部最优解的问题，文中详细介绍了排除非期望轨道的方法。在恒星际探测任务中，太阳帆通过日心光压加速能够达到每年10AU甚至更高的飞行速度。光压加速轨道有两类，分别为正向甩摆和逆向甩摆。针对一次光压加速的正向甩摆轨道，本文提出了新的优化目标函数，数值仿真验证了新函数的有效性，减少了任务时间。另外发现逆向轨道是时间最优控制模型下的局部最优解。为了进一步缩短任务时间，引入子星抛射的概念，在正向甩摆轨道近日点处自由释放一颗子航天器，使得原航天器获得更高的巡航飞行速度。文中利用参数化仿真详细讨论了任务飞行时间与各设计变量之间的关系，突出了子星抛射对任务的益处。