随着用户量的不断增长,互联网服务对可伸缩性、可用性和可修改性的要求越来越高,因此微服务架构在互联网应用领域呈现井喷式的增长。微服务是一组独立部署的应用,这组应用通过网络进行通信。这种架构模式可以解决互联网应用对可伸缩性、可用性和可修改性要求高的问题,不同应用可以交由不同的团队,使用最能满足这个组件需求的技术进行开发,但是这种架构模式使得各个微服务形成复杂的拓扑结构,导致问题排查和性能分析的困难。为了解决微服务带来的问题,我们设计并实现了一个分布式链路跟踪系统来跟踪微服务应用。通过回顾过往的研究工作以及调研现存主流分布式链路跟踪系统,我们对主要的分布式链路跟踪系统的种类以及主流的设计思路进行概述,主要有黑盒模型和基于标注的模型。结合互联网应用的研发背景,我们认为基于标注的分布式链路跟踪系统更加适合微服务架构应用的跟踪。本文介绍了蚂蚁金服的分布式链路跟踪系统——云图。我们改造企业中应用开发共用的中间件以及容器框架,在发生实际调用的时候公共组件以日志的形式打印链路信息。使用日志采集客户端采集日志,将日志投递到消息中间件中,再从消息中间件中消费日志,投递到ElasticSearch集群中。用户查询链路时根据一个TracelD搜索相关的链路日志,链路服务将链路日志预处理并结构化之后返回给前端,前端渲染后呈现给用户。通过多种视图的链路,用户可以高效地进行分布式应用的问题排查和性能分析,链路将清晰地展示RPC、消息、HTTP请求的失败情况,也能展示这个链路各个部分的耗时。完整的链路结构可以让开发者清晰地了解自己开发的服务在整个架构中的位置,链路图甚至可以作为新人培训的工具。云图已经投入生产环境,支撑支付宝、网商银行、芝麻信用等业务的稳定运行。在蚂蚁金服内网部署的版本中,业务开发程序员每天都进行数万次的链路查询。