ELk（七）—部署Nginx_百度小程序_上海毫米网络优化公司

部署Nginx

下面是nginx的安装脚本，里面的参数可以根据实际需要进行修改。

#!/bin/bash
#新建一个文件夹用来存放下载的nginx源码包
mkdir -p /opt/nginx
cd /opt/nginx
#解决依赖关系
yum install gcc openssl openssl-devel pcre pcre-devel automake make wget -y
#新建用户
useradd -s /sbin/nologin yandonghao
#下载 nginx
wget http://nginx.org/download/nginx-1.25.0.tar.gz
#解压nginx 源码包
tar -zvxf nginx-1.25.0.tar.gz
#编译前的配置，创建Makefile文件。
cd /opt/nginx/nginx-1.25.0
./configure --prefix=/usr/local/ydhnginx --user=yandonghao --with-http_ssl_module --with-http_v2_module --with-threads --with-http_stub_status_module --with-stream
#编译,开启2个进程同时编译，make其实就是安装Makefile的配置去编译程序成二进制文件，二进制文件就是执行可以运行的程序。
make -j 2
#安装: 将编译好的二进制代码文件复制到指定的安装路径目录下
make install
# 启动nginx
/usr/local/ydhnginx/sbin/nginx
#修改PATH变量
#临时修改
PATH=$PAth:/usr/local/ydhnginx/sbin
#永久修改
echo "PATH=$PATH:/usr/local/ydhnginx/sbin" >>/root/.bashrc
# 设置nginx的开机启动
echo "/usr/local/ydhnginx/sbin/nginx" >> /etc/rc.local
/usr/bin/chmod +x /etc/rc.d/rc.local
# 关闭firewalld防火墙
/usr/bin/systemctl stop firewalld
/usr/bin/systemctl disable firewalld
# 临时关闭SELinux
/usr/sbin/setenforce 0
# 永久关闭SELinux
sed -i 's/^SELINUX=.*/SELINUX=disabled/' /usr/bin/etc/selinux/config

filebeat启动Nginx模块

创建一个 nginx-log.yml配置文件，启动nginx的模块功能

./filebeat modules enable nginx

ELk（七）—部署Nginx,image-20231213121250212,第1张

nginx-log.yml配置文件

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/local/ydhnginx/logs/*.log #nginx日志存放路径
  tags: ["nginx"]
  fields_under_root: false 
setup.template.settings:
  index.number_of_shards: 1
output.elasticsearch:
  hosts: ["192.168.150.190:9200","192.168.150.189:9200","192.168.150.188:9200"]

可以看到，在message中已经获取到了nginx的日志，但是，内容并没有经过处理，只是读取到原数据。

ELk（七）—部署Nginx,image-20231213121647758,第2张

Module

filebeat自带了需要许多模块，但是这些模块都是默认不开启的，之前我就把nginx的模块打开了用来收集nginx的日志。

可以用下面的命令查看有哪些模块，其中启动和未启动的模块也都一目了然。

./filebeat modules list

ELk（七）—部署Nginx,image-20231213121827239,第3张

#启动
./filebeat modules enable nginx 
#禁用
./filebeat modules disable nginx

其他模块的启动和禁用都是这样操作的。

下面两个目录都是和模块有关的。

ELk（七）—部署Nginx,image-20231213122124024,第4张

对nginx模块配置进行修改

想实现日志数据的读取以及处理都是自己手动配置的，我们可以进行"modules.d"修改nginx的配置文件了。

ELk（七）—部署Nginx,image-20231213133445178,第5张

vim nginx.yml

修改为：

# Module: nginx
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.9/filebeat-module-nginx.html
- module: nginx
  # Access logs
  access:
    enabled: true
    # 添加日志文件
    var.paths: ["/usr/local/ydhnginx/logs/access.log*"]
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths:
  # Error logs
  error:
    enabled: true
    var.paths: ["/usr/local/nginx1/logs/error.log*"]

修改nginx-log.yml配置文件

我们需要修改刚刚的nginx-log.yml文件，然后添加到我们的module

filebeat.inputs:
setup.template.settings:
  index.number_of_shards: 1
output.elasticsearch:
  hosts: ["192.168.150.190:9200","192.168.150.189:9200","192.168.150.188:9200"]
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

这个时候我们启动filebeat