文章詳情頁

Spring Boot 搭建 ELK正確看日志的配置流程

瀏覽：28日期：2023-07-21 11:29:57

為什么要用ELK

ELK實際上是三個工具，Elastricsearch + Logstash + Kibana，通過ELK，用來收集日志還有進行日志分析，最后通過可視化UI進行展示。一開始業務量比較小的時候，通過簡單的SLF4J+Logger在服務器打印日志，通過grep進行簡單查詢，但是隨著業務量增加，數據量也會不斷增加，所以使用ELK可以進行大數量的日志收集和分析

簡單畫了一下架構圖

在環境配置中，主要介紹Mac和Linux配置，Windows系統大致相同，當然，前提是大家都安裝了JDK 1.8及以上版本~

[root@VM_234_23_centos ~]# java -versionjava version '1.8.0_161'Java(TM) SE Runtime Environment (build 1.8.0_161-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

注意：高版本的ELK同樣需要高版本的JDK支持，本文配置的ELK版本是6.0+，所以需要的JDK版本不小于1.8

Elasticsearch

Elasticsearch是一個分布式的RESTful風格的搜索和數據分析引擎，能夠解決不斷涌現出的各種用例。作為Elastic Stack的核心，它集中存儲您的數據，幫助您發現意料之中以及意料之外的情況。

Mac安裝和運行：

安裝：brew install elasticsearch 運行：elasticsearch

Linux：從Elasticsearch官方地址下載（也可以下載完，通過ftp之類的工具傳上去），gz文件的話通過tar進行解壓縮，然后進入bin目錄下運行軟件。

[root@VM_234_23_centos app]# curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz[root@VM_234_23_centos app]# tar -zxvf elasticsearch-6.2.4.tar.gz[root@VM_234_23_centos app]# cd elasticsearch-6.2.4[root@VM_234_23_centos elasticsearch-6.2.4]# ./bin/elasticsearch

注意：在Linux機器上，運行Elasticsearch需要一個新的用戶組，文章最后有Elastic在Linux安裝的踩坑記錄。

Logstash

Logstash是開源的服務器端數據處理管道，能夠同時從多個來源采集數據，轉換數據，然后將數據發送到您最喜歡的“存儲庫”中。（我們的存儲庫當然是Elasticsearch。）——官方賣萌

軟件安裝

Mac安裝：

brew install logstash

Linux安裝：

[root@VM_234_23_centos app]# curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.tar.gz% Total % Received % Xferd Average Speed Time Time Time CurrentDload Upload Total Spent Left Speed100 137M 100 137M 0 0 5849k 0 0:00:24 0:00:24 --:--:-- 6597k[root@VM_234_23_centos app]# tar -zxvf logstash-6.3.2.tar.gz

修改配置文件

vim /etc/logstash.conf

conf文件，指定要使用的插件，和配置對應的elasticsearch的hosts。

input { stdin { } }output {elasticsearch { hosts => ['localhost:9200'] }stdout { codec => rubydebug }}

運行

bin/logstash -f logstash.conf

訪問 http://localhost:9600/

{'host': '=-=','version': '6.2.4','http_address': '127.0.0.1:9600','id': '5b47e81f-bdf8-48fc-9537-400107a13bd2','name': '=-=','build_date': '2018-04-12T22:29:17Z','build_sha': 'a425a422e03087ac34ad6949f7c95ec6d27faf14','build_snapshot': false}

在Elasticsearch日志中，也能看到Logstash正常加入的日志。

[2018-08-16T14:08:36,436][INFO ][o.e.c.m.MetaDataIndexTemplateService] [f2s1SD8] adding template [logstash] for index patterns [logstash-*]

看到這種返回值，表示已經成功安裝和啟動。

踩坑

在運行的那一步，有可能遇到內存分配錯誤：

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error=’Cannot allocate memory’ (errno=12)

這個錯誤很明顯就是內存不足，由于個人購買的是騰訊云1G內存的服務器（如果是壕，請隨意購買更高的配置=-=），已經運行了Elasticsearch，導致Logstash分配不到足夠的內存，所以最后要修改一下JVM配置。

[root@VM_234_23_centos logstash-6.3.2]# cd config/[root@VM_234_23_centos config]# lltotal 28-rw-r--r-- 1 root root 1846 Jul 20 14:19 jvm.options-rw-r--r-- 1 root root 4466 Jul 20 14:19 log4j2.properties-rw-r--r-- 1 root root 8097 Jul 20 14:19 logstash.yml-rw-r--r-- 1 root root 3244 Jul 20 14:19 pipelines.yml-rw-r--r-- 1 root root 1696 Jul 20 14:19 startup.options[root@VM_234_23_centos config]# vim jvm.options

將-Xms1g -Xmx1g修改為：

-Xms256m

-Xmx256m

然后就能正常啟動了~~

Kibana

軟件安裝

Kibana讓您能夠可視化Elasticsearch中的數據并操作Elastic Stack，因此您可以在這里解開任何疑問：例如，為何會在凌晨2:00被傳呼，雨水會對季度數據造成怎樣的影響。（而且展示的圖標十分酷炫）

Mac安裝：

brew install kibana

Linux安裝，官方下載地址： https://www.elastic.co/downloads/kibana

[root@VM_234_23_centos app]# curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-linux-x86_64.tar.gz% Total % Received % Xferd Average Speed Time Time Time CurrentDload Upload Total Spent Left Speed0 195M 0 271k 0 0 19235 0 2:57:54 0:00:14 2:57:40 26393

在這一步，有可能下載速度奇慢，所以我本地下載好之后，通過rz命令傳輸到服務器。

[root@VM_234_23_centos app]# rzrz waiting to receive.Starting zmodem transfer. Press Ctrl+C to cancel.Transferring kibana-6.3.2-linux-x86_64.tar.gz...100% 200519 KB 751 KB/sec 00:04:27 0 Errors [root@VM_234_23_centos app]# tar -zxvf kibana-6.3.2-linux-x86_64.tar.gz修改配置

修改config/kibana.yml配置文件，設置elasticsearch.url指向Elasticsearch實例。

如果跟我一樣使用默認的配置，可以不需要修改該文件。

啟動

[root@VM_234_23_centos kibana]# ./bin/kibana

訪問 http://localhost:5601/app/kibana#/home?_g= ()

Spring Boot 搭建 ELK正確看日志的配置流程

界面顯示了這么多功能，下面通過整合SLF4J+LogBack。

整合Spring+Logstash

修改logstash.conf后，重新啟動Logstash

input { # stdin { }tcp { # host:port就是上面appender中的destination，# 這里其實把Logstash作為服務，開啟9250端口接收logback發出的消息 host => '127.0.0.1' port => 9250 mode => 'server' tags => ['tags'] codec => json_lines }}output {elasticsearch { hosts => ['localhost:9200'] }stdout { codec => rubydebug }}

在Java應用中引用依賴

<dependency><groupId>net.logstash.logback</groupId><artifactId>logstash-logback-encoder</artifactId><version>5.2</version></dependency>

在logback.xml中配置日志輸出

<appender name='stash' class='net.logstash.logback.appender.LogstashTcpSocketAppender'><destination>localhost:9250</destination><encoder charset='UTF-8' >  <customFields>{'appname':'ye_test'}</customFields></encoder></appender> <root level='INFO'><appender-ref ref='stash'/></root>

由于我在第一步驟中，沒有指定對應的index，所以在服務啟動的時候，日志采集器Logstash幫我自動創建了logstash-timestamp的index。

在Kibana中添加index索引

Spring Boot 搭建 ELK正確看日志的配置流程

在左邊discover中查看索引信息

Spring Boot 搭建 ELK正確看日志的配置流程

添加可視化圖表Visualize

Spring Boot 搭建 ELK正確看日志的配置流程

還有更多功能還在探索中，首先環境搭起來才會用動力繼續去學習~

踩坑記錄啟動報錯

uncaught exception in thread [main] org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root

原因：不能使用Root權限登錄

解決方案：切換用戶

[root@VM_234_23_centos ~]# groupadd es[root@VM_234_23_centos ~]# useradd es -g es -p es[root@VM_234_23_centos ~]# chown es:es /home/app/elasticsearch/# 切換用戶，記得su - ，這樣才能獲得環境變量[root@VM_234_23_centos ~]# sudo su - esException in thread “main” java.nio.file.AccessDeniedException:

錯誤原因：使用非 root用戶啟動ES，而該用戶的文件權限不足而被拒絕執行。

解決方法： chown -R用戶名:用戶名文件（目錄）名

例如： chown -R abc:abc searchengine，再啟動ES就正常了

Elasticsearch啟動后報Killed

[2018-07-13T10:19:44,775][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [aggs-matrix-stats]

[2018-07-13T10:19:44,779][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [analysis-common]

[2018-07-13T10:19:44,780][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [ingest-common]

[2018-07-13T10:19:44,780][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [lang-expression]

[2018-07-13T10:19:44,780][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [lang-mustache]

[2018-07-13T10:19:44,780][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [lang-painless]

[2018-07-13T10:19:44,780][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [mapper-extras]

[2018-07-13T10:19:44,780][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [parent-join]

[2018-07-13T10:19:44,780][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [percolator]

[2018-07-13T10:19:44,780][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [rank-eval]

[2018-07-13T10:19:44,781][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [reindex]

[2018-07-13T10:19:44,781][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [repository-url]

[2018-07-13T10:19:44,781][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [transport-netty4]

[2018-07-13T10:19:44,781][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [tribe]

[2018-07-13T10:19:44,781][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [x-pack-core]

[2018-07-13T10:19:44,781][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [x-pack-deprecation]

[2018-07-13T10:19:44,781][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [x-pack-graph]

[2018-07-13T10:19:44,781][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [x-pack-logstash]

[2018-07-13T10:19:44,782][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [x-pack-ml]

[2018-07-13T10:19:44,782][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [x-pack-monitoring]

[2018-07-13T10:19:44,782][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [x-pack-rollup]

[2018-07-13T10:19:44,782][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [x-pack-security]

[2018-07-13T10:19:44,782][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [x-pack-sql]

[2018-07-13T10:19:44,782][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [x-pack-upgrade]

[2018-07-13T10:19:44,782][INFO ][o.e.p.PluginsService ] [f2s1SD8] loaded module [x-pack-watcher]

[2018-07-13T10:19:44,783][INFO ][o.e.p.PluginsService ] [f2s1SD8] no plugins loaded

Killed

修改config目錄下的jvm.options，將堆的大小設置小一點。

# Xms represents the initial size of total heap space# Xmx represents the maximum size of total heap space-Xms512m-Xmx512m

虛擬內存不足

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

需要修改虛擬內存的大小（在root權限下）

[2018-07-13T14:02:06,749][DEBUG][o.e.a.ActionModule ] Using REST wrapper from plugin org.elasticsearch.xpack.security.Security

[2018-07-13T14:02:07,249][INFO ][o.e.d.DiscoveryModule ] [f2s1SD8] using discovery type [zen]

[2018-07-13T14:02:09,173][INFO ][o.e.n.Node ] [f2s1SD8] initialized

[2018-07-13T14:02:09,174][INFO ][o.e.n.Node ] [f2s1SD8] starting ...

[2018-07-13T14:02:09,539][INFO ][o.e.t.TransportService ] [f2s1SD8] publish_address {10.105.234.23:9300}, bound_addresses {0.0.0.0:9300}

[2018-07-13T14:02:09,575][INFO ][o.e.b.BootstrapChecks ] [f2s1SD8] bound or publishing to a non-loopback address, enforcing bootstrap checks

ERROR: [1] bootstrap checks failed

[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

[2018-07-13T14:02:09,621][INFO ][o.e.n.Node ] [f2s1SD8] stopping ...

[2018-07-13T14:02:09,726][INFO ][o.e.n.Node ] [f2s1SD8] stopped

[2018-07-13T14:02:09,726][INFO ][o.e.n.Node ] [f2s1SD8] closing ...

[2018-07-13T14:02:09,744][INFO ][o.e.n.Node ] [f2s1SD8] closed

到此這篇關于Spring Boot 搭建 ELK正確看日志的配置流程的文章就介紹到這了,更多相關Spring Boot 搭建 ELK內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網！

Spring

上一條：Spring Boot 項目啟動失敗的解決方案下一條：spring boot使用logback日志級別打印控制操作

相關文章：

1. JS實現前端動態分頁碼代碼實例2. 關于IDEA 2020.3 多窗口視圖丟失的問題3. javascript實現貪吃蛇小練習4. js實現碰撞檢測5. 一文帶你徹底理解Java序列化和反序列化6. 用Spring JMS使異步消息變得簡單7. PHP驗證碼工具－Securimage8. Python 制作查詢商品歷史價格的小工具9. Python 利用Entrez庫篩選下載PubMed文獻摘要的示例10. ASP.NET MVC使用jQuery ui的progressbar實現進度條

排行榜

					
					一文帶你徹底理解Java序列化和反序列化
javascript實現貪吃蛇小練習
用Spring JMS使異步消息變得簡單
關于IDEA 2020.3 多窗口視圖丟失的問題
PHP驗證碼工具－Securimage
js實現碰撞檢測
JS實現前端動態分頁碼代碼實例
AspectJ 支持JAVA 5的新特性
python 網頁解析器掌握第三方 lxml 擴展庫與 xpath 的使用方法
python對批量WAV音頻進行等長分割的方法實現
Android 簡單的實現滑塊拼圖驗證碼功能
				