日志服务-分隔符模式配置Nginx日志采集，


日志服务支持通过数据接入向导配置采集Nginx日志，并自动创建索引和Nginx日志仪表盘，帮助您快速采集并分析Nginx日志。
参考：
https://help.aliyun.com/document_detail/28988.html
https://help.aliyun.com/document_detail/56728.html
下面介绍另一种方式，用分隔符模式采集Nginx日志。

背景信息

使用nginx log_format配置采集，会根据log_format生成正则，因为一些特殊字段，生成的正则可能会和原始日志不匹配，而用分隔符模式采集就会避免这个问题。

安装Nginx

相关命令

安装Nginx

sudo yum install nginx

查看Nginx版本

nginx -v

设置Nginx开机启动

sudo systemctl enable nginx

启动Nginx

sudo systemctl start nginx

重启Nginx

sudo systemctl restart nginx

检查Nginx运行状态

sudo systemctl status nginx

编辑配置文件

vim /etc/nginx/nginx.conf

日志路径

/var/log/nginx/access.log

用分隔符配置log_format

这个里分隔符设置为|#|

log_format main  '$remote_addr|#|$remote_user|#|$time_local|#|$request|#|'
                '$request_time|#|$request_length|#|'
                '$status|#|$body_bytes_sent|#|$http_referer|#|'
                '$http_user_agent';

nginx.conf配置截图
image.png


日志样例

127.0.0.1|#|-|#|13/Apr/2020:09:44:41 +0800|#|GET /1 HTTP/1.1|#|0.000|#|74|#|404|#|3650|#|-|#|curl/7.29.0

配置日志采集

1. 登录

日志服务控制台。

2. 选择数据源类型

采集分隔符日志请选择分隔符-文本日志。

3. 选择日志空间

请选择Project和Logstore，您也可以直接单击立即创建新建Project和Logstore。具体步骤请参见准备流程。
如果您是通过日志库下的数据接入后的加号进入采集配置流程，系统会直接跳过该步骤。

4. 创建机器组

在创建机器组之前，您需要首先确认已经安装了Logtail。

  • ECS机器： Linux系统勾选实例后单击安装进行一键式安装。Windows系统不支持一键式安装，请参见安装Logtail（Windows系统）手动安装。
  • 自建（非ECS）机器：请根据界面提示进行安装。或者请参见安装Logtail（Linux系统）或安装Logtail（Windows系统）进行安装。

5. 安装完Logtail后单击确认安装完毕创建机器组

具体请参见简介。如果您之前已经创建好机器组 ，请直接单击使用现有机器组。

6. 机器组配置

选择一个机器组，将该机器组从源机器组移动到应用机器组。

image.png

7. Logtail配置

将上文的日志样例粘贴到下图的对应位置中，分隔符选择自定义，设置为|#|，在key上依次填入字段名，点击保存。

image.png
image.png
分隔符详细配置参考：
https://help.aliyun.com/document_detail/31724.html

8. 查询分析配置

查询日志需要开启索引，点击“开启索引”，再点击确定，如果预览可以看到数据，可以点击自动生成索引。


9. 视频

https://v.youku.com/v_show/id_XNDY2NzkxNzQxMg==.html

相关内容