一、概述Filebeat是一個(gè)日志文件托運(yùn)工具,，在你的服務(wù)器上安裝客戶端后,，filebeat會(huì)監(jiān)控日志目錄或者指定的日志文件，追蹤讀取這些文件（追蹤文件的變化,，不停的讀）,，并且轉(zhuǎn)發(fā)這些信息到elasticsearch或者logstarsh中存放,。 以下是filebeat的工作流程：當(dāng)你開啟filebeat程序的時(shí)候，它會(huì)啟動(dòng)一個(gè)或多個(gè)探測(cè)器（prospectors）去檢測(cè)你指定的日志目錄或文件,，對(duì)于探測(cè)器找出的每一個(gè)日志文件,，filebeat啟動(dòng)收割進(jìn)程（harvester），每一個(gè)收割進(jìn)程讀取一個(gè)日志文件的新內(nèi)容,，并發(fā)送這些新的日志數(shù)據(jù)到處理程序（spooler）,，處理程序會(huì)集合這些事件，最后filebeat會(huì)發(fā)送集合的數(shù)據(jù)到你指定的地點(diǎn),。 (個(gè)人理解,，filebeat是一個(gè)輕量級(jí)的logstash，當(dāng)你需要收集信息的機(jī)器配置或資源并不是特別多時(shí),，使用filebeat來收集日志,。日常使用中，filebeat十分穩(wěn)定,，筆者沒遇到過宕機(jī),。)
二、Filebeat入門開始配置使用filebeat之前,，你需要安裝并配置好這些依賴程序： Elasticsearch 作為存儲(chǔ)和索引這些數(shù)據(jù),。 Kibana 作為展示平臺(tái)。 Logstash（可選）去插入數(shù)據(jù)到elasticsearch,。
在安裝完畢elastic集群之后,，閱讀接下來的選項(xiàng)學(xué)習(xí)怎樣安裝，配置,，與運(yùn)行filebeat,。
第一步：安裝filebeat請(qǐng)選擇你系統(tǒng)中的下載安裝命令來下載安裝filebeat。(deb for Debian/Ubuntu, rpm for Redhat/Centos/Fedora, mac for OS X, and win for Windows). 如果你使用yum或者apt,，你可以從我們的安裝倉(cāng)庫(kù)中更方便的安裝或更新到新版本,。
第二步：配置filebeat編輯配置文件來配置filebeat,，對(duì)于rpm或者deb來說,，配置文件是/etc/filebeat/filebeat.yml這個(gè)文件，對(duì)于MAC或者win來說,，請(qǐng)查看你的解壓文件中,。 這里有一個(gè)簡(jiǎn)單的filebeat的配置文件filebeat.yml的樣本，filebeat會(huì)使用很多默認(rèn)的選項(xiàng),。 #---------------prospectors塊----------------
讓我們來配置filebeat： 1,、定義你的日志文件的路徑（一個(gè)或多個(gè)） 對(duì)于大多數(shù)的基本filebeat配置，你可以定義一個(gè)單一探測(cè)器針對(duì)一個(gè)單一的路徑，例如： #---------------prospectors塊----------------
在這個(gè)例子中,，探測(cè)器會(huì)收集/var/log/*.log的所有匹配文件，這意味這filebeat會(huì)手機(jī)所有的/var/log下以.log結(jié)尾的文件,，此處還支持Golang Glob支持的所有模式,。 在預(yù)定義級(jí)別的子目錄中獲取所有文件，可以使用這個(gè)配置：/var/log/*/*.log,，這會(huì)找到/var/log下所有子目錄中所有的以.log結(jié)尾的文件,。但它并不會(huì)找到/var/log文件夾下的以.log結(jié)尾的文件。現(xiàn)在它還不能遞歸的在所有子目錄中獲取所有的日志文件,。 如果你設(shè)置輸出到elasticsearch中,，那么你需要在filebeat的配置文件中設(shè)置elasticsearch的IP地址與端口。 #-----------------elastic output（一般都不直接輸出到elastic,，不建議配置）-----------
如果你設(shè)置輸出到logstarsh,，那么請(qǐng)參考第三步，配置filebeat使用logstarsh 第三步：配置filebeat或elasticsearch使用logstarsh如果要使用logstash對(duì)filebeat收集起來的數(shù)據(jù)執(zhí)行其他處理,，你需要配置filebeat使用logstash,。 你需要編輯filebeat的配置文件，注釋elasticsearch的選項(xiàng),，并打開logstash的配置的注釋： #----------------------------- Logstash output --------------------------------
hosts選項(xiàng)需要指明logstash服務(wù)所監(jiān)聽的地址和它的端口,。 注：若要測(cè)試你的配置文件，切換到你安裝好的filebeat的可執(zhí)行文件的目錄,，然后在命令行運(yùn)行以下選項(xiàng)：./filebeat -configtest -e ,，確保您的配置文件在默認(rèn)配置文件目錄下，見 目錄布局,。 在使用這個(gè)配置之前,，你需要提前設(shè)置好logstash來接收數(shù)據(jù)。 如果想不通過logstash直接入庫(kù)到elasticsearch,，可注釋掉logstash入庫(kù)部分,，直接打開elasticsearch入庫(kù)部分即可。不建議直接寫入es,。 output.elasticsearch: hosts: ["localhost:9200"]
第四步：?jiǎn)?dòng)filebeatrpm安裝： sudo /etc/init.d/filebeat start 現(xiàn)在,，filebeat已經(jīng)準(zhǔn)備好讀取你的日志文件并發(fā)送到你定義的輸出中了！ |
|
|
