随着通信网络技术的发展和多媒体技术的广泛运用，网络资源紧张和分配不合理的问题越来越突出。在IP组播无法被全网范围内部署利用的情况下，基于端系统的应用层组播应运而生。与传统路由节点只能对数据进行复制和转发不同，应用层组播中的端系统可以对接收到的数据进行运算操作（如线性运算）。利用网络编码，端系统对收到的数据进行组合编码，从而有效地利用网络带宽，增加网络容量。 本文在分析了以往传统路由算法的基础上，提出了一种基于网络编码的应用层组播路由算法。根据网络编码的特点，在组播源节点和网络中的每一个目的节点之间建立多条不相交的数据通信路径，形成组播图。将网络编码运用于被多个目的节点共用的瓶颈链路上来解决数据冲突问题，使得每个目的节点同时接收到多路相互独立的数据，通过线性解码就可以得到原始数据，从而大大提高了网络端到端的吞吐量和带宽利用率。在组播图建立过程中，已经加入组播图的端系统，可以为新申请加入的节点提供网络服务，提高网络资源利用率，达到提高网络容量的目的。而后，通过在随机网络拓扑中对所提出的路由算法进行仿真，并与其他路由算法进行性能比较，可以清楚地发现新提出的路由算法可以在网络延时增加较少情况下，明显提高网络的吞吐量。 考虑到启发式算法不能达到网络资源使用的最优化，而传统的集中式优化算法需要掌握网络的全局状态信息，很难应用于大规模P2P的分布式网络中。本文讨论了如何在基于网络编码的应用层组播上建立效用最大的组播分发结构。利用凸优化理论，建立网络效用最大化的目标函数，以及相应的约束条件，利用拉格朗日对偶和次梯度算法求解目标函数。应用层组播中的节点和链路只需要根据自身信息和邻接节点及链路的状态信息进行网络状态的更新，从而实现网络资源的最优化使用。最后给出了算法迭代的仿真结果，讨论了算法的收敛性。