APM 原理与框架

三丰 soft张三丰

APM简介

随着微服务架构的流行，一次请求往往需要涉及到多个服务，因此服务性能监控和排查就变得更复杂：

不同的服务可能由不同的团队开发、甚至可能使用不同的编程语言来实现服务有可能布在了几千台服务器，横跨多个不同的数据中心因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候，能够快速定位和解决问题，这就是APM系统，全称是（Application Performance Monitor，当然也有叫 Application Performance Management tools）

AMP最早是谷歌公开的论文提到的 Google Dapper。Dapper是Google生产环境下的分布式跟踪系统，自从Dapper发展成为一流的监控系统之后，给google的开发者和运维团队帮了大忙，所以谷歌公开论文分享了Dapper。

谷歌Dapper介绍

在google的首页页面，提交一个查询请求后，会经历什么：

•可能对上百台查询服务器发起了一个Web查询，每一个查询都有自己的Index
•这个查询可能会被发送到多个的子系统，这些子系统分别用来处理广告、进行拼写检查或是查找一些像图片、视频或新闻这样的特殊结果
•根据每个子系统的查询结果进行筛选，得到最终结果，最后汇总到页面上
•总结一下：
一次全局搜索有可能调用上千台服务器，涉及各种服务。用户对搜索的耗时是很敏感的，而任何一个子系统的低效都导致导致最终的搜索耗时如果一次查询耗时不正常，工程师怎么来排查到底是由哪个服务调用造成的？

•首先，这个工程师可能无法准确的定位到这次全局搜索是调用了哪些服务，因为新的服务、乃至服务上的某个片段，都有可能在任何时间上过线或修改过，有可能是面向用户功能，也有可能是一些例如针对性能或安全认证方面的功能改进
•其次，你不能苛求这个工程师对所有参与这次全局搜索的服务都了如指掌，每一个服务都有可能是由不同的团队开发或维护的
•再次，这些暴露出来的服务或服务器有可能同时还被其他客户端使用着，所以这次全局搜索的性能问题甚至有可能是由其他应用造成的
从上面可以看出Dapper需要：

无所不在的部署，无所不在的重要性不言而喻，因为在使用跟踪系统的进行监控时，即便只有一小部分没被监控到，那么人们对这个系统是不是值得信任都会产生巨大的质疑持续的监控

Dapper的三个具体设计目标

性能消耗低

APM组件服务的影响应该做到足够小。服务调用埋点本身会带来性能损耗，这就需要调用跟踪的低损耗，实际中还会通过配置采样率的方式，选择一部分请求去分析请求路径。在一些高度优化过的服务，即使一点点损耗也会很容易察觉到，而且有可能迫使在线服务的部署团队不得不将跟踪系统关停。

应用透明，也就是代码的侵入性小

即也作为业务组件，应当尽可能少***或者无***其他业务系统，对于使用方透明，减少开发人员的负担。

对于应用的程序员来说，是不需要知道有跟踪系统这回事的。如果一个跟踪系统想生效，就必须需要依赖应用的开发者主动配合，那么这个跟踪系统也太脆弱了，往往由于跟踪系统在应用中植入代码的bug或疏忽导致应用出问题，这样才是无法满足对跟踪系统“无所不在的部署”这个需求。

可扩展性

一个优秀的调用跟踪系统必须支持分布式部署，具备良好的可扩展性。能够支持的组件越多当然越好。或者提供便捷的插件开发API，对于一些没有监控到的组件，应用开发者也可以自行扩展。

数据的分析

数据的分析要快，分析的维度尽可能多。跟踪系统能提供足够快的信息反馈，就可以对生产环境下的异常状况做出快速反应。分析的全面，能够避免二次开发。

Dapper的分布式跟踪原理

基本方法

例如下图这样的调用关系：

•黑盒方案：假定需要跟踪的除了上述信息之外没有额外的信息，这样使用统计回归技术来推断两者之间的关系。需要一些额外的数据来获得足够精度。
•基于标注的方案：依赖于应用程序或中间件明确地标记一个全局ID，从而连接每一条记录和发起者的请求。缺点是有代码***。

跟踪树和span

在Dapper跟踪树结构中，树节点是整个架构的基本单元，而每一个节点又是对span的引用。节点之间的连线表示的span和它的父span直接的关系。虽然span在日志文件中只是简单的代表span的开始和结束时间，他们在整个树形结构中却是相对独立的。这里span是跟踪术结构的基本单元，也表示一小段的时间。下图是5个span在Dapper跟踪树种短暂的关联关系

上图说明了span在一个大的跟踪过程中是什么样的。Dapper记录了span名称，以及每个span的ID和父ID，以重建在一次追踪过程中不同span之间的关系。如果一个span没有父ID被称为root span。所有span都挂在一个特定的跟踪上，也共用一个跟踪id（在图中未示出）。所有这些ID用全局唯一的64位整数标示。在一个典型的Dapper跟踪中，我们希望为每一个RPC对应到一个单一的span上，而且每一个额外的组件层都对应一个跟踪树型结构的层级。

上图给出了一个更详细的典型的Dapper跟踪span的记录点的视图。在图中这种某个span表述了两个“Helper.Call”的RPC(分别为server端和client端)。span的开始时间和结束时间，以及任何RPC的时间信息都通过Dapper在RPC组件库的植入记录下来。如果应用程序开发者选择在跟踪中增加他们自己的注释（如图中“foo”的注释）(业务数据)，这些信息也会和其他span信息一样记录下来。

埋点

1.追踪的上下文信息在ThreadLocal中进行存储。
2.当计算过程是延迟调用的或是异步的，google通过通用的控制流来回调，确保所有的回调可以存储这次跟踪的上下文信息。当回调函数被触发时，这次跟踪的上下文会与适当的线程关联上。在这种方式下，Dapper可以使用trace ID和span ID来辅助构建异步调用的路径。
3.google的所有进程通信是建立在一个RPC框架上。在RPC框架本身中来埋点从而定义所有span。
4.dapper允许用户在Dapper跟踪的过程中添加额外的信息，以监控更高级别的系统行为，或帮助调试问题。我们允许用户通过一个简单的API定义带时间戳的Annotation，核心的示例代码如下图所示。
5.dapper支持如下图的文本annotation也支持key-value映射的Annotation。如持续的计数器，二进制消息记录和在一个进程上跑着的任意的用户数据等。

跟踪收集

下图演示了Dapper收集管道：

由上图可知，Dapper的跟踪记录和收集管道的过程分为三个阶段: span数据写入本地日志文件中。然后Dapper的守护进程和收集组件把这些数据从生产环境的主机中拉出来写到Dapper的Bigtable仓库中。一次跟踪被设计成Bigtable中的一行，每一列相当于一个span。Bigtable的支持稀疏表格布局正适合这种情况，因为每一次跟踪可以有任意多个span。Dapper还提供了一个API来简化访问我们仓库中的跟踪数据。Google的开发人员用这个API，以构建通用和特定应用程序的分析工具。

APM组件选型

市面上的全链路监控理论模型大多都是借鉴Google Dapper论文，重点关注以下三种APM组件：

•Zipkin：由Twitter公司开源，开放源代码分布式的跟踪系统，用于收集服务的定时数据，以解决微服务架构中的延迟问题，包括：数据的收集、存储、查找和展现。
•Pinpoint：一款对Java编写的大规模分布式系统的APM工具，由韩国人开源的分布式跟踪组件。
•Skywalking：国产的优秀APM组件，是一个对JAVA分布式应用程序集群的业务运行情况进行追踪、告警和分析的系统。

对比项

主要对比项：

探针的性能

主要是agent对服务的吞吐量、CPU和内存的影响。微服务的规模和动态性使得数据收集的成本大幅度提高。

collector的可扩展性

能够水平扩展以便支持大规模服务器集群。

全面的调用链路数据分析

提供代码级别的可见性以便轻松定位失败点和瓶颈。

对于开发透明，容易开关

添加新功能而无需修改代码，容易启用或者禁用。

完整的调用链应用拓扑

自动检测应用拓扑，帮助你搞清楚应用的架构

如何采集数据

APM是通过采集探针采集应用数据的。采集探针是通过字节码增强技术进行埋点，生成调用数据。调用数据被采集代理ICAgent所获取并处理，然后上报并呈现在界面中。关系如下图所示：

采集哪些数据

APM仅采集应用的业务调用链数据、资源信息、资源属性、内存检测信息、调用请求的KPI数据，不涉及个人隐私数据。所采集的数据仅用于APM性能分析和故障诊断，不会用于其他商业目的。下表为数据采集范围和用途。

行业分析

目前APM市场在海外主要有两类的核心企业。一类是四大传统IT巨头（IBM、HP、CATechnologies、BMC），另一类是ITOM市场新创企业，包括Dynatrace、NewRelic、AppDynamics、Splunk等。随着市场成熟度的不断提高，APM市场的市场格局与ITOM整体的市场格局一样，呈现初创企业加速发展，开始占据市场主导的市场趋势。

根据调查数据显示，NewRelic、AppDynamics以及Dynatrace作为新创企业依旧保持在APM市场的领导者象限，这三家公司是当前全球APM市场的标杆企业。

在国内，博睿、听云、OneAPM、云智慧在国内市场的占用额较大

APM 原理与框架