skywalking-全链路跟踪(全链路数据监控)
一、概述
1、skywalking 简介
SkyWalking是一款广受欢迎的国产APM(Application Performance Monitoring,应用性能监控)产品,主要针对微服务、Cloud Native和容器化(Docker、Kubernetes、Mesos)架构的应用。SkyWalking的核心是一个分布式追踪系统,目前是Apache基金会的顶级项目。
skywalking 的详细介绍可以查看官方文档:skywalking 官网
2、skywalking 架构
从逻辑上讲,SkyWalking分为四个部分:探针,平台后端,存储和UI,如下图所示:
编辑
- 探针收集数据并重新格式化以符合SkyWalking的要求(不同的探针支持不同的来源)。
- 平台后端支持数据聚合,分析和流处理,涵盖跟踪,指标和日志。
- 存储设备通过开放/可插入的界面存储SkyWalking数据。您可以选择现有的实现,例如ElasticSearch,H2,MySQL,TiDB,InfluxDB,或者实现自己的实现。
- UI是一个高度可定制的基于Web的界面,允许SkyWalking最终用户可视化和管理SkyWalking数据。
3、skywalking 如何自动上报数据
在使用链路追踪控制台追踪应用的链路数据之前,需要通过客户端将应用数据上报至链路追踪。SkyWalking将Java应用数据上报至链路追踪控制台,首先需要完成埋点工作。SkyWalking既支持自动探针(Dubbo、gRPC、JDBC、OkHttp、Spring、Tomcat、Struts、Jedis等),也支持手动埋点(OpenTracing)。本文介绍自动埋点方法。
skywalking 上报数据的原理如下图所示:
编辑
二、使用 docker-compose 安装 skywalking-oap-server 和 skywalking-ui
使用下面的命令在linux中安装 docker-compose:
yum install-y docker-compose
使用下面的命令创建 docker-compose.yaml 文件:
vim docker-compose.yaml
这里启动一个 standlone容器,默认使用 H2存储数据,如需其他存储可以查看官方文档进行设置。
docker-compose.yaml 文件内容如下
编辑
version: '3'
services:
oap:
image: apache/skywalking-oap-server:8.4.0-es6
container_name: oap
restart: always
ports:
- 11800:11800 # agent 上报数据的端口,这是 gRPC 端口
- 12800:12800 # ui 读取数据的端口, 这是 http 端口
skywaling-ui:
image: apache/skywalking-ui:8.4.0
container_name: ui
depends_on:
- oap
links:
- oap
ports:
- 8088:8080
environment:
- SW_OAP_ADDRESS=oap:12800
使用下面的命令启动skywalking:
docker-compose -f docker-compose.yaml up -d
使用下面的命令查看启动日志:
docker-compose -f docker-compose.yaml logs -f
启动成功后,访问:http://localhost:8088,可以看到如下界面:
编辑
三、手动将 spring boot 接入 skywalking
1、下载 skywalking agent
skywalking 官网下载地址:
http://skywalking.apache.org/downloads/
编辑
编辑
我这里下载的是
apache-skywalking-apm-8.4.0.tar.gz,在linux系统中也可以通过下面的命令下载并解压:
wget https://archive.apache.org/dist/skywalking/8.4.0/apache-skywalking-apm-8.4.0.tar.gz
tar -zxvf apache-skywalking-apm-8.4.0.tar.gz
解压后的目录结构如下图:
编辑
agent目录的说明如下图:
编辑
2、spring boot 项目自动上报数据
要上报spring boot项目的数据需要配置 skywalking 的接入点和服务名,可以通过下面的方式配置:
修改配置文件
打开前面下载的 agent/config/agent.config文件,找到下面的两个配置:
agent.service_name=${SW_AGENT_NAME:Your_ApplicationName}
# Backend service addresses.
collector.backend_service=${SW_AGENT_COLLECTOR_BACKEND_SERVICES:127.0.0.1:11800}
根据实际情况进行配置即可,配置修改完成之后,可以通过下面的命令启动spring boot 项目:
java -javaagent:<skywalking-agent-path> -jar spring-boot-demo
请将替换为Agent文件夹中的skywalking-agent.jar的绝对路径。
注意-javaagent参数一定要在-jar参数之前。
通过命令参数进行配置
服务名可以在应用程序的启动命令行中添加
-Dskywalking.agent.service_name参数。
skywalking 接入点可以在应用程序的启动命令行中添加
-Dskywalking.collector.backend_service参数。
完整命令如下:
java -javaagent:<skywalking-agent-path> -Dskywalking.agent.service_name=<ServiceName> -Dskywalking.collector.backend_service=<backend-service-addresses> -jar yourApp.jar
在idea中启动参数中配置
我们也可以在 idea 启动配置选项的 VM options 中进行如下配置:
编辑
配置完成后,启动项目可以看到如下信息打印到控制台:
编辑
查看skywalking 控制台,并没有数据,因为需要先访问接口,才会上报数据到控制台,通过不断的调用测试接口,再次查看控制台可以看到我们的调用情况,如下图所示:
编辑
四、使用 docker 部署 spring boot 并接入 skywalking
这里 spring boot 的基础镜像选择 skywalking-base,此镜像中包含 openjdk11 和 skywalking-agent,详细的信息可以参考下面的参考文档。
编辑
spring boot 的 Dockerfile文件内容如下:
FROM apache/skywalking-base:8.4.0-es6
ENV TZ=Asia/Shanghai
ENV JAVA_OPTS="-Xms128m -Xmx256m -Djava.security.egd=file:/dev/./urandom"
ENV SW_AGENT_COLLECTOR_BACKEND_SERVICES="127.0.0.1:11800" \
SW_AGENT_NAME="spring-boot-demo"
RUN ln -sf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone
RUN mkdir -p /spring-boot-demo
WORKDIR /spring-boot-demo
EXPOSE 6060
ADD ./target/sc-prepaid-card-merchant-biz.jar ./
CMD sleep 10;java -javaagent:/skywalking/agent/skywalking-agent.jar $JAVA_OPTS -jar spring-boot-demo.jar
这里使用环境变量的方式为 skywalking 设置自定义参数,环境变量的其他配置可以查看 agent/config/agent.config文件。
使用下面的命令构建镜像:
docker build -t spring-boot-demo
使用下面的命令启动镜像:
docker run --rm-p 8080:8080 spring-boot-demo
启动成功之后可以访问测试的地址,到 skywalking 控制台查看是否有数据上报,如果没有数据上报,我们需要查看 skywalking agent 的日志,可以在
agent/logs/skywalking-api.log文件中查看报错信息。
总结:通过构建镜像的方式把skywalking安装到服务安装包,会存在个别服务异常,例如从对象存储下载文件会报连接超时,初步判断是由于JDK版本问题导致此问题,现在可以才采用构建docker镜像时手动安装skywalking。
dockerfile 如下:
FROM frolvlad/alpine-oraclejdk8
MAINTAINER allen@xxxx.com
ENV TZ=Asia/Shanghai
ENV JAVA_OPTS="-Xms128m -Xmx256m -Djava.security.egd=file:/dev/./urandom"
ENV SW_AGENT_COLLECTOR_BACKEND_SERVICES="10.7.6.27:11800" \
SW_AGENT_NAME="sc-prepaid-card-merchant-biz"
RUN ln -sf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone
RUN mkdir -p /sc-prepaid-card-merchant-biz
WORKDIR /sc-prepaid-card-merchant-biz
EXPOSE 6060
ADD ./target/sc-prepaid-card-merchant-biz.jar ./
ADD ./agent /usr/local/agent
CMD sleep 10;java -javaagent:/usr/local/agent/skywalking-agent.jar $JAVA_OPTS -jar sc-prepaid-card-merchant-biz.jar