Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking_数据分析

前言

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第1张

本文小新为大家带来微服务链路追踪SkyWalking 相关知识，具体内容包括SkyWalking简介，SkyWalking环境搭建部署，SkyWalking接入微服务，SkyWalking持久化跟踪数据，自定义SkyWalking链路追踪，SkyWalking集成日志框架，SkyWalking告警功能，SkyWalking高可用，SkyWalking UI介绍等进行详尽介绍~

不积跬步，无以至千里；不积小流，无以成江海。每天进步一点点，在成为强者的路上，小新与大家共同成长！

📌博主主页：小新要变强的主页

👉Java全栈学习路线可参考：【Java全栈学习路线】最全的Java学习路线及知识清单，Java自学方向指引，内含最全Java全栈学习技术清单~

👉算法刷题路线可参考：算法刷题路线总结与相关资料分享，内含最详尽的算法刷题路线指南及相关资料分享~

👉Java微服务开源项目可参考：企业级Java微服务开源项目（开源框架，用于学习、毕设、公司项目、私活等，减少开发工作，让您只关注业务！）

↩️本文上接：Spring Cloud Alibaba全家桶（十）——微服务网关Gateway组件

一、SkyWalking简介

1️⃣链路追踪介绍

对于一个大型的几十个、几百个微服务构成的微服务架构系统，通常会遇到下面一些问题，比如：

（1）如何串联整个调用链路，快速定位问题？
（2）如何缕清各个微服务之间的依赖关系？
（3）如何进行各个微服务接口的性能分折？

（4）如何跟踪整个业务流程的调用处理顺序？

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第3张

2️⃣SkyWalking是什么

SkyWalking是一个国产开源框架，2015年由吴晟开源， 2017年加入Apache孵化器。skywalking是分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。它是一款优秀的APM（Application Performance Management）工具，包括了分布式追踪、性能指标分析、应用和服务依赖分析等。

官网地址：http://skywalking.apache.org/

下载地址：http://skywalking.apache.org/downloads/

Github地址：https://github.com/apache/skywalking

文档地址： https://skywalking.apache.org/docs/main/v8.4.0/readme/

中文文档： https://skyapm.github.io/document-cn-translation-of-skywalking/

3️⃣链路追踪框架对比

（1）Zipkin是Twitter开源的调用链分析工具，目前基于springcloud sleuth得到了广泛的使用，特点是轻量，使用部署简单。
（2）Pinpoint是韩国人开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，UI功能强大，接入端无
代码侵入。
（3）SkyWalking是本土开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，UI功能较强，接入端
无代码侵入。目前已加入Apache孵化器。

（4）CAT是大众点评开源的基于编码和配置的调用链分析，应用监控分析，日志采集，监控报警等一系列的监控平台工具。

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第4张

模拟了三种并发用户：500，750，1000。使用jmeter测试，每个线程发送30个请求，设置思考时间为10ms。使用的采样率为1，即100%，这边与生产可能有差别。pinpoint默认的采样率为20，即50%，通过设置agent的配置文件改为100%。zipkin默认也是1。组合起来，一共有12种。下面看下汇总表：

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第5张

从上表可以看出，在三种链路监控组件中，skywalking的探针对吞吐量的影响最小，zipkin的吞吐量居中。pinpoint的探针对吞吐量的影响较为明显，在500并发用户时，测试服务的吞吐量从1385降低到774，影响很大。然后再看下CPU和memory的影响，在内部服务器进行的压测，对CPU和memory的影响都差不多在10%之内。

4️⃣SkyWalking功能特性

（1）多种监控手段，可以通过语言探针和service mesh获得监控的数据；
（2）支持多种语言自动探针，包括 Java，.NET Core 和 Node.JS；
（3）轻量高效，无需大数据平台和大量的服务器资源；
（4）模块化，UI、存储、集群管理都有多种机制可选；
（5）支持告警；

（6）优秀的可视化解决方案。

二、SkyWalking环境搭建部署

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第6张

skywalking agent和业务系统绑定在一起，负责收集各种监控数据；
skywalking oapservice是负责处理监控数据的，比如接受skywalking agent的监控数据，并存储在数据库中；
接受skywalking webapp的前端请求，从数据库查询数据，并返回数据给前端。skywalking oapservice通常以集群的形式存在；
skywalking webapp，前端界面，用于展示数据；

用于存储监控数据的数据库，比如mysql、elasticsearch等。

1️⃣下载 SkyWalking

下载地址： http://skywalking.apache.org/downloads/

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第7张

目录结构：

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第8张

2️⃣搭建SkyWalking OAP 服务

🍀启动脚本bin/startup.sh

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第9张

🍀日志信息存储在logs目录

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第10张

🍀启动成功后会启动两个服务，一个是skywalking-oap-server，一个是skywalking-web-ui ： 8868

skywalking-oap-server服务启动后会暴露11800 和 12800 两个端口，分别为收集监控数据的端口11800和接受前端请求的端口12800，修改端口可以修改config/applicaiton.yml

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第11张

🍀skywalking-web-ui服务会占用 8080 端口，修改端口可以修改webapp/webapp.yml

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第12张

server.port：SkyWalking UI服务端口，默认是8080；collector.ribbon.listOfServers：SkyWalking OAP服务地址数组，SkyWalking UI界面的数据是通过请求SkyWalking OAP服务来获得；

🍀访问：http://192.168.3.100:8080/

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第13张

页面的右下角可以中英文切换，可以切换选择要展示的时间区间的跟踪数据。

3️⃣SkyWalking中三个概念

服务(Service) ：表示对请求提供相同行为的一系列或一组工作负载，在使用Agent时，可以定义服务的名字；

服务实例(Service Instance) ：上述的一组工作负载中的每一个工作负载称为一个实例，一个服务实例实际就是操作系统上的一个真实进程；

端点(Endpoint) ：对于特定服务所接收的请求路径, 如HTTP的URI路径和gRPC服务的类名 + 方法签名。

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第14张

三、SkyWalking接入微服务

1️⃣linux环境——通过jar包方式接入

准备一个springboot程序，打成可执行jar包，写一个shell脚本，在启动项目的Shell脚本上，通过 -javaagent 参数进行配置SkyWalking Agent来跟踪微服务。

🍀startup.sh脚本启动

#!/bin/sh
# SkyWalking Agent配置
export SW_AGENT_NAME=springboot‐skywalking‐demo #Agent名字,一般使用`spring.application.name`
export SW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800 #配置 Collector 地址。
export SW_AGENT_SPAN_LIMIT=2000 #配置链路的最大Span数量，默认为 300。
export JAVA_AGENT=‐javaagent:/usr/local/soft/apache‐skywalking‐apm‐bin‐es7/agent/skywalking‐agent.jar
java $JAVA_AGENT ‐jar springboot‐skywalking‐demo‐0.0.1‐SNAPSHOT.jar #jar启动

启动日志：

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第15张

🍀以上启动等同于：

java ‐javaagent:/usr/local/soft/apache‐skywalking‐apm‐bin‐es7/agent/skywalking‐agent.jar
‐DSW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800
‐DSW_AGENT_NAME=springboot‐skywalking‐demo ‐jar springboot‐skywalking‐demo‐0.0.1‐SNAPSHOT.jar

参数名对应agent/config/agent.config配置文件中的属性。

属性对应的源码：org.apache.skywalking.apm.agent.core.conf.Config.java。

# The service name in UI
agent.service_name=${SW_AGENT_NAME:Your_ApplicationName}
# Backend service addresses.
collector.backend_service=${SW_AGENT_COLLECTOR_BACKEND_SERVICES:127.0.0.1:11800}

我们也可以使用skywalking.+配置文件中的配置名作为系统配置项来进行覆盖。 javaagent参数配置方式优先级更高。

🍀测试：访问你的微服务

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第16张

2️⃣Windows环境——在IDEA中使用SkyWalking

在运行的程序配置jvm参数，如下图所示：

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第17张

# skywalking‐agent.jar的本地磁盘的路径
‐javaagent:D:\apache\apache‐skywalking‐apm‐es7‐8.4.0\apache‐skywalking‐apm‐bin‐es7\agent\skywalking‐agent.jar
# 在skywalking上显示的服务名
‐DSW_AGENT_NAME=springboot‐skywalking‐demo
# skywalking的collector服务的IP及端口
‐DSW_AGENT_COLLECTOR_BACKEND_SERVICES=192.168.3.100:11800

-DSW_AGENT_COLLECTOR_BACKEND_SERVICES 可以指定远程地址，但是-javaagent必须绑定你本机物理路径的skywalkingagent.jar。

3️⃣SkyWalking跨多个微服务跟踪

Skywalking跨多个微服务跟踪，只需要每个微服务启动时添加javaagent参数即可。

测试：

启动微服务mall-gateway，mall-order，mall-user ，配置skywalking的jvm参数，

访问http://localhost:8888/user/findOrderByUserId/1

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第18张

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第19张

注意：此处存在bug，跟踪链路不显示gateway

拷贝agent/optional-plugins目录下的gateway插件到agent/plugins目录。

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第20张

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第21张

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第22张

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第23张

四、SkyWalking持久化跟踪数据

默认使用的H2数据库存储，config/application.yml配置文件如下：

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第24张

基于mysql持久化：

🍀（1）修改config目录下的application.yml，使用mysql作为持久化存储的仓库

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第25张

🍀（2）修改mysql连接配置

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第26张

storage:
  #选择使用mysql 默认使用h2，不会持久化，重启skyWalking之前的数据会丢失
  selector: ${SW_STORAGE:mysql}
  #使用mysql作为持久化存储的仓库
  mysql:
    properties:
      #数据库连接地址
      jdbcUrl: ${SW_JDBC_URL:"jdbc:mysql://1ocalhost:3306/swtest"}
      #用户名
      dataSource.user: ${SW_DATA_SOURCE_USER:root}
      #密码
      dataSource.password: ${SW_DATA_SOURCE_PASSWORD:root}

注意：需要添加mysql数据驱动包，因为在lib目录下是没有mysql数据驱动包的，所以修改完配置启动是会报错，启动失败的。

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第27张

🍀（3）添加mysql数据驱动包到oap-libs目录下

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第28张

🍀（4）启动Skywalking

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第29张

查看swtest数据库，可以看到生成了很多表：

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第30张

这说明启动成功了，打开配置对应的地址http://192.168.3.100:8080/，j就可以看到skywalking的web界面。

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第31张

🍀（5）测试：重启skywalking，验证跟踪数据会不会丢失

五、自定义SkyWalking链路追踪

如果我们希望对项目中的业务方法，实现链路追踪，方便我们排查问题，可以使用如下的代码引入依赖：



  org.apache.skywalking
  apm‐toolkit‐trace
  8.4.0

1️⃣@Trace将方法加入追踪链路

如果一个业务方法想在ui界面的跟踪链路上显示出来，只需要在业务方法上加上@Trace注解即可：

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第32张

测试：

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第33张

2️⃣加入@Tags或@Tag

我们还可以为追踪链路增加其他额外的信息，比如记录参数和返回信息。实现方式：在方法上增加@Tag或者@Tags。

@Tag 注解中 key = 方法名； value = returnedObj 返回值 arg[0] 参数。

@Trace
@Tag(key = "list", value = "returnedObj")
public List list(){
  return userMapper.list();
}
@Trace
@Tags({@Tag(key = "param", value = "arg[0]"),
@Tag(key = "user", value = "returnedObj")})
public User getById(Integer id){
  return userMapper.getById(id);
}

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第34张

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第35张

性能分析：

skywalking的性能分析，在根据服务名称、端点名称，以及相应的规则建立了任务列表后，在调用了此任务列表的端点后。skywalking会自动记录，剖析当前端口，生成剖析结果，具体流程如图：

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第36张

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第37张

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第38张

六、SkyWalking集成日志框架

🍀（1）引入依赖



  org.apache.skywalking
  apm‐toolkit‐logback‐1.x
  8.5.0

🍀（2）添加logback-spring.xml文件，并配置 %tid 占位符



  
  
  
  
    
    
      
        ${CONSOLE_LOG_PATTERN}

🍀（3）测试

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第39张

🍀（4）Skywalking通过grpc上报日志（需要v8.4.0+）

gRPC报告程序可以将收集到的日志转发到SkyWalking OAP服务器上。

logback-spring.xml中添加：



  
    
      %d{yyyy‐MM‐dd HH:mm:ss.SSS} [%X{tid}] [%thread] %‐5level %logger{36} ‐%msg%n

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第40张

打开agent/config/agent.config配置文件，添加如下配置信息：

plugin.toolkit.log.grpc.reporter.server_host=${SW_GRPC_LOG_SERVER_HOST:192.168.3.100}
plugin.toolkit.log.grpc.reporter.server_port=${SW_GRPC_LOG_SERVER_PORT:11800}
plugin.toolkit.log.grpc.reporter.max_message_size=${SW_GRPC_LOG_MAX_MESSAGE_SIZE:10485760}
plugin.toolkit.log.grpc.reporter.upstream_timeout=${SW_GRPC_LOG_GRPC_UPSTREAM_TIMEOUT:30}

以上配置是默认配置信息,agent与oap在本地的可以不配。

agent配置信息：

配置名	解释	默认值
plugin.toolkit.log.transmit_formatted	是否以格式化或未格式化的格式传输记录的数据	true
plugin.toolkit.log.grpc.reporter.server_host	指定要向其报告日志数据的grpc服务器的主机	127.0.0.1
plugin.toolkit.log.grpc.reporter.server_port	指定要向其报告日志数据的grpc服务器的端口	11800
plugin.toolkit.log.grpc.reporter.max_message_size	指定grpc客户端要报告的日志数据的最大大小	10485760
plugin.toolkit.log.grpc.reporter.upstream_timeout	客户端向上游发送数据时将超时多长时间。单位是秒	30

Skywalking UI效果：

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第41张

访问：https://github.com/apache/skywalking-rocketbot-ui/pull/428

Spring Cloud Alibaba全家桶——微服务链路追踪SkyWalking,在这里插入图片描述,第42张

七、SkyWalking告警功能

SkyWalking 告警功能是在6.x版本新增的，其核心由一组规则驱动，这些规则定义在config/alarm-settings.yml文件中。

告警规则的定义分为两部分：

（1）告警规则：它们定义了应该如何触发度量警报，应该考虑什么条件。
（2）Webhook（网络钩子）：定义当警告触发时，哪些服务终端需要被告知。
1️⃣告警规则

SkyWalking 的发行版都会默认提供config/alarm-settings.yml文件，里面预先定义了一些常用的告警规则。如下：
- （1）过去 3 分钟内服务平均响应时间超过 1 秒。
- （2）过去 2 分钟服务成功率低于80%。
- （3）过去 3 分钟内服务响应时间超过 1s 的百分比
- （4）服务实例在过去 2 分钟内平均响应时间超过 1s，并且实例名称与正则表达式匹配。
- （5）过去 2 分钟内端点平均响应时间超过 1 秒。
- （6）过去 2 分钟内数据库访问平均响应时间超过 1 秒。
- （7）过去 2 分钟内端点关系平均响应时间超过 1 秒。
  这些预定义的告警规则，打开config/alarm-settings.yml文件即可看到。
  
  告警规则配置项的说明：
  - Rule name：规则名称，也是在告警信息中显示的唯一名称。必须以_rule结尾，前缀可自定义
  - Metrics name：度量名称，取值为oal脚本中的度量名，目前只支持long、double和int类型。详见Official OAL script
  - Include names：该规则作用于哪些实体名称，比如服务名，终端名（可选，默认为全部）
  - Exclude names：该规则作不用于哪些实体名称，比如服务名，终端名（可选，默认为空）
  - Threshold：阈值
  - OP：操作符，目前支持 >、<、=
  - Period：多久告警规则需要被核实一下。这是一个时间窗口，与后端部署环境时间相匹配
  - Count：在一个Period窗口中，如果values超过Threshold值（按op），达到Count值，需要发送警报
  - Silence period：在时间N中触发报警后，在TN -> TN + period这个阶段不告警。默认情况下，它和Period一样，这意味着相同的告警（在同一个Metrics name拥有相同的Id）在同一个Period内只会触发一次
  - message：告警消息
    2️⃣Webhook（网络钩子）
    
    Webhook可以简单理解为是一种Web层面的回调机制，通常由一些事件触发，与代码中的事件回调类似，只不过是Web层面的。由于是Web层面的，所以当事件发生时，回调的不再是代码中的方法或函数，而是服务接口。例如，在告警这个场景，告警就是一个事件。当该事件发生时，SkyWalking就会主动去调用一个配置好的接口，该接口就是所谓的Webhook。
    
    SkyWalking的告警消息会通过 HTTP 请求进行发送，请求方法为 POST，Content-Type 为 application/json，其JSON 数据实基于List
```
[{
  "scopeId": 1,
  "scope": "SERVICE",
  "name": "serviceA",
  "id0": "12",
  "id1": "",
  "ruleName": "service_resp_time_rule",
  "alarmMessage": "alarmMessage xxxx",
  "startTime": 1560524171000
}, {
  "scopeId": 1,
  "scope": "SERVICE",
  "name": "serviceB",
  "id0": "23",
  "id1": "",
  "ruleName": "service_resp_time_rule",
  "alarmMessage": "alarmMessage yyy",
  "startTime": 1560524171000
}]
```
    字段说明：
    - scopeId、scope：所有可用的 Scope 详见org.apache.skywalking.oap.server.core.source.DefaultScopeDefine
    - name：目标 Scope 的实体名称
    - id0：Scope 实体的 ID
    - id1：保留字段，目前暂未使用
    - ruleName：告警规则名称
    - alarmMessage：告警消息内容
    - startTime：告警时间，格式为时间戳
      3️⃣邮件告警功能实践
      
      SkyWalking是不支持直接向邮箱、短信等服务发送告警信息的，SkyWalking只会在发生告警时将告警信息发送至配置好的Webhook接口。
      
      但我们总不能人工盯着该接口的日志信息来得知服务是否发生了告警，因此我们需要在该接口里实现发送邮件或短信等功能，从而达到个性化的告警通知。
      接下来开始动手实践，这里基于Spring Boot进行实现。
      
      🍀（1）首先是添加依赖
```
  org.springframework.boot
  spring‐boot‐starter‐mail
```
      🍀（2）配置邮箱服务
```
server:
  port: 9134
  #邮箱配置
  spring:
    mail:
      host: smtp.163.com
      #发送者邮箱账号
      username: 你的邮箱@163.com
      #发送者密钥
      password: 你的邮箱服务密钥
      default‐encoding: utf‐8
      port: 465 #端口号465或587
      protocol: smtp
  properties:
    mail:
      debug:
        false
    smtp:
      socketFactory:
        class: javax.net.ssl.SSLSocketFactory
```
      🍀（3）根据SkyWalking发送的JSON数据定义一个DTO，用于接口接收数据
```
@Data
public class SwAlarmDTO {
  private Integer scopeId;
  private String scope;
  private String name;
  private Integer id0;
  private Integer id1;
  private String ruleName;
  private String alarmMessage;
  private Long startTime;
}
```
      🍀（4）接着定义一个接口，实现接收SkyWalking的告警通知，并将数据发送至邮箱
```
@Slf4j
@RestController
@RequiredArgsConstructor
@RequestMapping("/alarm")
public class SwAlarmController {
  private final JavaMailSender sender;
  @Value("${spring.mail.username}")
  private String from;
  /**
  * 接收skywalking服务的告警通知并发送至邮箱
  **/
  @PostMapping("/receive")
  public void receive(@RequestBody List alarmList) {
    SimpleMailMessage message = new SimpleMailMessage();
    // 发送者邮箱
    message.setFrom(from);
    // 接收者邮箱
    message.setTo(from);
    // 主题
    message.setSubject("告警邮件");
    String content = getContent(alarmList);
    // 邮件内容
    message.setText(content);
    sender.send(message);
    log.info("告警邮件已发送...");
  }
 
  private String getContent(List alarmList) {
    StringBuilder sb = new StringBuilder();
    for (SwAlarmDTO dto : alarmList) {
      sb.append("scopeId: ").append(dto.getScopeId())
        .append("\nscope: ").append(dto.getScope())
        .append("\n目标 Scope 的实体名称: ").append(dto.getName())
        .append("\nScope 实体的 ID: ").append(dto.getId0())
        .append("\nid1: ").append(dto.getId1())
        .append("\n告警规则名称: ").append(dto.getRuleName())
        .append("\n告警消息内容: ").append(dto.getAlarmMessage())
        .append("\n告警时间: ").append(dto.getStartTime())
        .append("\n\n‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐\n\n");
    }
 
    return sb.toString();
  }
}
```
      🍀（5）最后将该接口配置到SkyWalking中，Webhook的配置位于config/alarm-settings.yml文件的末尾，格式为http://{ip}:{port}/{uri}。
      
      如下示例：
```
[root@ip‐236‐048 skywalking]# vim config/alarm‐settings.yml
webhooks:
  ‐ http://127.0.0.1:9134/alarm/receive
```
      🍀（6）测试告警功能
      
      完成告警接口的开发及配置后，我们来进行一个简单的测试。这里有一条调用链路如下：
      
      在/producer接口中增加一行睡2秒的代码：
```
@Override
@Trace
@Tag(key="getAll",value="returnedObj")
public List all() throws InterruptedException {
  TimeUnit.SECONDS.sleep(2);
  return orderMapper.selectAll();
}
```
      访问http://localhost:8072/order/all，执行完测试代码，等待约两分钟后，告警接口的控制台输出了一段日志信息：
      
      八、SkyWalking高可用
      
      在大多数生产环境中，后端应用需要支持高吞吐量并且支持高可用来保证服务的稳定，所以你始终需要在生产环境进行集群管理。
      
      skywalking集群是将skywalking oap作为一个服务注册到nacos上，只要skywalking oap服务没有全部宕机，保证有一个skywalking oap在运行，就能进行跟踪。
      
      搭建一个skywalking oap集群需要：
      - （1）至少一个Nacos（也可以是nacos集群）；
      - （2）至少一个ElasticSearch/mysql（也可以是es/msql集群）；
      - （3）至少2个skywalking oap服务；
      - （4）至少1个UI（UI也可以集群多个，用Nginx代理统一入口）。
        🍀（1）修改config/application.yml文件
        
        使用nacos作为注册中心：
        
        修改nacos配置：
        
        可以选择性修改监听端口：
        
        修改存储策略，使用elasticsearch7作为storage：
        
        🍀（2）配置ui服务webapp.yml文件的listOfServers，写两个地址
        
        🍀（3）启动服务测试
        
        启动Skywalking服务，指定springboot应用的jvm参数：
        
        ‐DSW_AGENT_COLLECTOR_BACKEND_SERVICES=192.168.3.10:11800,192.168.3.12:11800
        
        九、SkyWalking UI介绍
        
        1️⃣菜单栏
        
        仪表盘：查看被监控服务的运行状态；
        拓扑图：以拓扑图的方式展现服务之间的关系，并以此为入口查看相关信息；
        追踪：以接口列表的方式展现，追踪接口内部调用过程；
        性能剖析：对端点进行采样分析，并可查看堆栈信息；
        告警：触发告警的告警列表，包括服务失败率，请求超时等；
        自动刷新：刷新当前页面数据内容。
        2️⃣控制栏
        
        第一栏：不同内容主题的监控面板，应用性能管理/数据库/容器等；
        第二栏：操作，包括编辑/导出当前数据/倒入展示数据/不同服务端点筛选展示；
        第三栏：不同纬度展示，全局/服务/实例/端点。
        3️⃣展示栏
        
        Global全局维度：
        
        第一栏：Global、Service、Instance、Endpoint不同展示面板；
        Services load：服务每分钟请求数；
        Slow Services：慢响应服务，单位ms；
        Un-Health services(Apdex): Apdex性能指标，1为满分；
        Slow Endpoint：慢响应端点，单位ms；
        Global Response Latency：百分比响应延时，不同百分比的延时时间，单位ms；
        Global Heatmap：服务响应时间热力分布图，根据时间段内不同响应时间的数量显示颜色深度；
        底部栏：展示数据的时间区间，点击可以调整。
        
        Service服务维度：
        
        Service Apdex（数字）:当前服务的评分；
        Service Apdex（折线图）：不同时间的Apdex评分；
        Service Avg Response Times：平均响应延时，单位ms；
        Service Response Time Percentile：百分比响应延时；
        Successful Rate（数字）：请求成功率；
        Successful Rate（折线图）：不同时间的请求成功率；
        Servce Load（数字）：每分钟请求数；
        Service Load（折线图）：不同时间的每分钟请求数；
        Service Instances Load：每个服务实例的每分钟请求数；
        Show Service Instance：每个服务实例的最大延时；
        Service Instance Successful Rate：每个服务实例的请求成功率。
        
        Instance服务维度：
        
        Service Instance Load：当前实例的每分钟请求数；
        Service Instance Successful Rate：当前实例的请求成功率；
        Service Instance Latency：当前实例的响应延时；
        JVM CPU：jvm占用CPU的百分比；
        JVM Memory：JVM内存占用大小，单位m；
        JVM GC Time：JVM垃圾回收时间，包含YGC和OGC；
        JVM GC Count：JVM垃圾回收次数，包含YGC和OGC；
        JVM Thread Count：JVM线程数；
        还有几个是.NET的，类似于JVM虚拟机，暂时不做说明。
        
        Endpoint端点（API）维度：
        
        Endpoint Load in Current Service：每个端点的每分钟请求数；
        Slow Endpoints in Current Service：每个端点的最慢请求时间，单位ms；
        Successful Rate in Current Service：每个端点的请求成功率；
        Endpoint Load：当前端点每个时间段的请求数据；
        Endpoint Avg Response Time：当前端点每个时间段的请求行响应时间；
        Endpoint Response Time Percentile：当前端点每个时间段的响应时间占比；
        Endpoint Successful Rate：当前端点每个时间段的请求成功率；
        
        4️⃣拓扑图
        
        1.选择不同的服务关联拓扑；
        2.查看单个服务相关内容；
        3.服务间连接情况；
        4.分组展示服务拓扑。
        
        5️⃣追踪
        
        左侧：api接口列表，红色-异常请求，蓝色-正常请求；
        右侧：api追踪列表，api请求连接各端点的先后顺序和时间。
        
        6️⃣性能剖析
        
        新建任务：新建需要分析的端点
        左侧列表：任务及对应的采样请求
        右侧：端点链路及每个端点的堆栈信息
        
        服务：需要分析的服务；
        端点：链路监控中端点的名称，可以在链路追踪中查看端点名称；
        监控时间：采集数据的开始时间；
        监控持续时间：监控采集多长时间；
        起始监控时间：多少秒后进行采集；
        监控间隔：多少秒采集一次；
        最大采集数：最大采集多少样本。
        
        分析线程栈信息：
        
        8️⃣告警
        
        不同维度告警列表，可分为服务、端点和实例。
        
        后记
        
        👉Java全栈学习路线可参考：【Java全栈学习路线】最全的Java学习路线及知识清单，Java自学方向指引，内含最全Java全栈学习技术清单~
        👉算法刷题路线可参考：算法刷题路线总结与相关资料分享，内含最详尽的算法刷题路线指南及相关资料分享~
        
        建站软件公司学软件开发好找工作吗新网域名注册 html网页设计教程怎么自己开网站个人主页网站设计