使用filbeat模块收集普通nginx日志(非json格式)

测试环境准备:

  • 删除以前的es索引和kibana索引
  • 确认nginx日志是否为普通格式

 

systemctl stop nginx 
rm -rf /var/log/nginx/* 
修改日志格式为main的普通格式,否则不用改

systemctl start nginx

 

0.安装插件

cd /usr/share/Elasticsearch/

安装上传的两个插件包(下方可以下载插件)
./bin/elasticsearch-plugin install file:///root/ingest-geoip-6.6.0.zip 

一条一条安装
./bin/elasticsearch-plugin install file:///root/ingest-user-agent-6.6.0.zip
systemctl restart elasticsearch

 

1.检查Filebeat配置文件里是否包含模块相关参数

vim /etc/filebeat/filebeat.yml

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true 
  reload.period: 10s
使用filbeat模块收集普通nginx日志(非json格式)
  

2.激活filebeat模块并查看

#查看激活相关参数命令
filebeat modules --list 

#激活filebeat的nginx模块
filebeat modules enable nginx

#显示激活的模块
filebeat modules list

 

nginx模块已激活
使用filbeat模块收集普通nginx日志(非json格式)

3.配置filebeat的nginx模块

[root@web01 ~]# cat /etc/filebeat/modules.d/nginx.yml 
- module: nginx
  access:
    enabled: true
    var.paths: ["/var/log/nginx/*.log"]

  error:
    enabled: true
    var.paths: ["/var/log/nginx/error.log"]

 

4.filebeat配置

cat >/etc/filebeat/filebeat.yml <<EOF
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true 
  reload.period: 10s

output.elasticsearch:
  hosts: ["10.0.0.51:9200"]
  indices:
  - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"
    when.contains:
      fileset.name: "access"
  - index: "nginx-error-%{[beat.version]}-%{+yyyy.MM}"
    when.contains:
      fileset.name: "error"

setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
EOF 

 

5.重启filebeat

systemctl restart filebeat

 

6.访问nginx生成测试日志

访问nginx之后用es-head查看已有索引生成

使用filbeat模块收集普通nginx日志(非json格式)

 

创建新的kibana索引(这里与json格式日志不同,需要改成读取的时间)

使用filbeat模块收集普通nginx日志(非json格式)

 

可以看到系统分类的非常细

使用filbeat模块收集普通nginx日志(非json格式)

赞赏

微信赞赏支付宝赞赏

下载权限

查看
  • ¥{{right.value}}
    {{right.value}}
    免费下载
    评论后下载
    登录后下载

  • {{attr.name}}:
您当前的等级为
您有每天下载所有资源次的特权,今日剩余 已取得下载权限
ELK

Filebeat的安装部署

2019-12-7 13:29:34

ELK

kibana的图形统计展示功能

2019-12-8 13:38:31

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
有新消息 消息中心
搜索