<font id="pvzn9"><output id="pvzn9"><form id="pvzn9"></form></output></font>
<thead id="pvzn9"><rp id="pvzn9"></rp></thead>

    <menuitem id="pvzn9"></menuitem><thead id="pvzn9"></thead>
      <menuitem id="pvzn9"></menuitem>

        <cite id="pvzn9"><rp id="pvzn9"><address id="pvzn9"></address></rp></cite>

            <meter id="pvzn9"></meter>

            <mark id="pvzn9"></mark>

            Centos安裝部署filebeat做輕量化日志采集入庫

            最近在做日志采集相關的內容的需求,記錄一下通過filebeat實現輕量化日志采集入庫。日志采集的實現方案有很多種,比如logstash、fluentd、flume、betas等。

            二維碼

            簡介


                最近在做日志采集相關的內容的需求,記錄一下通過filebeat實現輕量化日志采集入庫。日志采集的實現方案有很多種,比如logstash、fluentd、flume、betas等。為什么選擇filebeat呢?因為logstash是jvm跑的,資源消耗比較大,啟動一個logstash就需要消耗500M左右的內存,而filebeat是基于golang開發的,依賴極少,運行時只需要10多M內存資源消耗。

            工作原理

                Filebeat可以保持每個文件的狀態,并且頻繁地把文件狀態從注冊表里更新到磁盤。這里所說的文件狀態是用來記錄上一次Harvster讀取文件時讀取到的位置,以保證能把全部的日志數據都讀取出來,然后發送給output。如果在某一時刻,作為output的ElasticSearch或者Logstash變成了不可用,Filebeat將會把最后的文件讀取位置保存下來,直到output重新可用的時候,快速地恢復文件數據的讀取。在Filebaet運行過程中,每個Prospector的狀態信息都會保存在內存里。如果Filebeat出行了重啟,完成重啟之后,會從注冊表文件里恢復重啟之前的狀態信息,讓FIlebeat繼續從之前已知的位置開始進行數據讀取。

            安裝filebeat服務

            1.下載和安裝key文件

            rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch


            2.創建yum源文件

            vim /etc/yum.repos.d/elk-elasticsearch.repo

            在新建的源文件中添加如下配置

            [elastic-5.x]
            name=Elastic repository for 5.x packages
            baseurl=https://artifacts.elastic.co/packages/5.x/yum
            gpgcheck=1
            gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
            enabled=1
            autorefresh=1
            type=rpm-md


            3.yum安裝filebeat

            yum install filebeat


            4.啟動filebeat

            systemctl start filebeat


            5.查看filebeat運行狀態

            systemctl status filebeat


            ps -ef | grep filebeat


            6.配置filebeat采集源文件和輸出

            vim /etc/filebeat/filebeat.yml

            配置采集日志文件源:

            filebeat.prospectors:
            - input_type: log
              paths:
                - /var/lib/docker/containers/*/*.log

            配置輸出:

            1).輸出到elasticsearch:

            output.elasticsearch:
              hosts: ["127.0.0.1:9200"]

            2).輸出到redis:

            output.redis:
              hosts: ["127.0.0.1:6379"]
              password: "M123456"
              data_type: "list"
              key: "filebeat"
              db: "0"
              timeout: 30


            7.重啟filebeat服務

            systemctl restart filebeat


            至此,filebeat安裝及配置完成!

            點贊(8)

            手機端

            微信掃一掃體驗

            返回
            頂部
            邻居人妻的肉欲满足中文字幕,欧美性爽XYXOOOO,好吊妞国产欧美日韩免费观看,毛多水多WWW偷窥小便