一、 FileScout 简介

FileScout 是基于 Filebeat 二次开发， 增加了 output http 和定时删除过期日志(过期时间可自定义)的日志上传工具

1. 基于各方面原因和考虑， 不方便使用客户端 SDK 上报的用户
2. 已经使用服务端 SDK 保存 DT 格式数据的用户
3. 对传输效率有一定要求的用户

二、 下载 FileScout

三、 使用前准备(请仔细阅读)

1. 确认上传文件的存放目录， 配置后 FileScout 会自动监测目录下文件的变化
2. 请勿对监控目录下的文件进行重命名， 这会导致重新上传， 有可能会造成数据重复
3. 请勿直接使用 kill -9 强杀进程, 这样程序无法正常结束正在处理的工作
4. 确保 FileScout 可执行文件和配置文件在同一目录下
5. 若不使用 DT 的服务端 SDK, 自行写入文件, 请确保文件名和 SDK 写入的文件名格式一致, 文件内容确保单行就是一个有效的 json, FileScout 不对数据是否在业务上合法进行任何校验
6. 请勿删除 FileScout 目录下的文件和文件夹
7. 请根据磁盘空间和 log 文件大小合理配置文件过期时间用以执行定时删除任务

四、 FileScout 安装和使用

1. 下载对应系统的压缩包， 并解压， 修改目录下 filebeat.yml 配置文件后直接执行 ./filescout start 即可
2. 停止程序可以使用 ./filescount stop
3. 输入 ./filescout restart 可以重启项目
4. 定时删除任务一个小时执行一次, log 的过期时间可以在配置项中配置
5. Windows 版本也需要在命令行中使用

五、 配置文件指南

filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - "/path/to/your/log/dir1/*.log"
      - "/path/to/your/log/dir2/*.log"
    json.key_under_root: true
    json.overwrite_keys: true
  - type: log
    enabled: false
    paths:
      - "/path/to/your/log/dir3/*.log"
      - "/path/to/your/log/dir4/*.log"
    json.key_under_root: true
    json.overwrite_keys: true
output.http:
  url: "https://{api_server_url}/sync"
  retry_interval: 5
  batch_size: 100
  app_id: "dt_xxxxxxxx"
  token: "xxxxx"
sweeper:
  unit: "hour"
  offset: 1