Docker?日志管理的實現(xiàn)示例

更新時間：2024年12月23日 11:34:41 作者：學堂在線

Docker提供了多種日志驅(qū)動來管理和提取容器日志,包括json-file、syslog、fluentd等,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧

前言

Docker 提供了多種機制來管理和提取容器日志，這些機制被稱為日志驅(qū)動（logging driver）。默認情況下，Docker 使用 json-file 作為默認的日志驅(qū)動，它將日志信息以 JSON 文件的形式存儲在 Docker 主機上。

Docker 日志子命令

docker logs：用于查看容器的日志輸出。使用 -f 參數(shù)可以持續(xù)查看新產(chǎn)生的日志，類似于 tail -f。使用 --tail 參數(shù)可以指定顯示日志的條數(shù)。

docker logs -f --tail 10 my-container

示例注釋如下：

docker logs      # Docker命令，用于獲取容器的日志輸出
-f             # 選項，表示跟隨日志輸出，類似于Unix命令行中的'tail -f'
--tail 10      # 選項，指定要顯示的最后N條日志記錄，這里是最后10條
my-container   # 參數(shù)，指定要獲取日志的容器名稱或ID

docker logs：這是 Docker 用于獲取容器日志的標準命令。
-f：這個選項告訴 Docker 持續(xù)輸出新的日志，直到你手動停止（例如，通過按下 Ctrl+C）。
--tail 10：這個選項指定 Docker 應(yīng)該顯示容器日志的最后10條記錄。如果你不指定 -tail 參數(shù)，docker logs 命令將默認顯示最后幾條日志。
my-container：這是你想要查看日志的容器的名稱或ID。你需要將其替換為實際的容器名稱或ID。

Docker 日志驅(qū)動（logging driver）

Docker 支持多種日志驅(qū)動，可以根據(jù)需要選擇使用。以下是一些常用的日志驅(qū)動及其配置參數(shù)：

json-file

示例：

docker run --log-driver json-file --log-opt max-size=10m --log-opt max-file=3 my-image

max-size：滾動前日志的最大大小，一個正整數(shù)加上一個代表測量單位（k，m 或 g）的修飾符。默認為 -1（無限制）。
max-file：可以存在的最大日志文件數(shù)量。如果滾動日志會創(chuàng)建多余文件，則會刪除最舊的文件。只有在設(shè)置了 max-size 時才有效。一個正整數(shù)，默認為1。
labels 和 env：用于高級日志標記選項。

示例注釋如下：

docker run           # Docker命令，用于創(chuàng)建并啟動一個新的容器
--log-driver json-file  # 選項，指定日志驅(qū)動為json-file，這是一種將日志以JSON格式寫入文件的驅(qū)動
--log-opt max-size=10m  # 選項，設(shè)置日志文件的最大尺寸為10MB
--log-opt max-file=3    # 選項，設(shè)置日志文件的最大文件數(shù)為3，當達到這個數(shù)量時，最舊的日志文件將被刪除
my-image             # 參數(shù)，指定要運行的鏡像名稱或ID

docker run：這是 Docker 命令，用于從鏡像創(chuàng)建并啟動一個新的容器。
--log-driver json-file：這個選項指定了容器的日志驅(qū)動為 json-file，意味著 Docker 將容器的日志以 JSON 格式存儲在文件中。
--log-opt max-size=10m：這個選項用于設(shè)置日志文件的最大尺寸限制。10m 表示每個日志文件的最大大小為 10MB。當達到這個大小時，Docker 將創(chuàng)建一個新的日志文件。
--log-opt max-file=3：這個選項用于設(shè)置可以存在的日志文件的最大數(shù)量。在這個例子中，最多可以有 3 個日志文件。如果創(chuàng)建了第 4 個文件，最舊的文件（第一個文件）將被刪除。
my-image：這是要運行的 Docker 鏡像的名稱或ID。你需要將其替換為實際的鏡像名稱或ID。

syslog

示例：

docker run --log-driver=syslog --log-opt syslog-address=tcp://192.168.0.1:514 my-image

syslog-address：指定 syslog 服務(wù)器的地址和端口。
syslog-facility：指定 syslog 設(shè)施。

示例注釋如下：

docker run           # Docker命令，用于創(chuàng)建并運行一個新的容器
--log-driver=syslog # 選項，指定日志驅(qū)動為syslog，將容器日志發(fā)送到syslog服務(wù)器
--log-opt syslog-address=tcp://192.168.0.1:514  # 選項，設(shè)置syslog服務(wù)器的地址和端口
my-image            # 參數(shù)，指定要使用的鏡像名稱或ID

docker run：這是 Docker 命令，用于從指定的鏡像創(chuàng)建并啟動一個新的容器。
--log-driver=syslog：這個選項指定了容器的日志驅(qū)動為 syslog，意味著 Docker 將容器的日志發(fā)送到配置的 syslog 服務(wù)器。
--log-opt syslog-address=tcp://192.168.0.1:514：這個選項用于指定 syslog 服務(wù)器的地址和端口。在這個例子中，Docker 將通過 TCP 協(xié)議將日志發(fā)送到 IP 地址為 192.168.0.1、端口為 514 的 syslog 服務(wù)器。
my-image：這是要運行的 Docker 鏡像的名稱或ID。你需要將其替換為實際的鏡像名稱或ID。

fluentd

示例：

docker run --log-driver=fluentd --log-opt fluentd-address=localhost:24224 --log-opt tag="my-container" my-image

fluentd-address：指定 Fluentd 服務(wù)器的地址和端口。
tag：指定日志的標簽。

示例注釋如下：

docker run           # Docker命令，用于創(chuàng)建并啟動一個新的容器
--log-driver=fluentd # 選項，指定日志驅(qū)動為fluentd，將容器日志發(fā)送到Fluentd服務(wù)器
--log-opt fluentd-address=localhost:24224  # 選項，設(shè)置Fluentd服務(wù)器的地址和端口
--log-opt tag="my-container"    # 選項，設(shè)置日志標簽，用于在Fluentd中標識日志來源
my-image            # 參數(shù)，指定要使用的鏡像名稱或ID

docker run：這是 Docker 命令，用于從指定的鏡像創(chuàng)建并啟動一個新的容器。
--log-driver=fluentd：這個選項指定了容器的日志驅(qū)動為 fluentd，意味著 Docker 將容器的日志發(fā)送到配置的 Fluentd 服務(wù)器。
--log-opt fluentd-address=localhost:24224：這個選項用于指定 Fluentd 服務(wù)器的地址和端口。在這個例子中，Docker 將日志發(fā)送到本機（localhost）的 24224 端口。
--log-opt tag="my-container"：這個選項用于設(shè)置日志的標簽，tag 是 Fluentd 中用于區(qū)分不同日志來源的標識。在這個例子中，所有來自該容器的日志都將帶有 my-container 這個標簽。
my-image：這是要運行的 Docker 鏡像的名稱或ID。你需要將其替換為實際的鏡像名稱或ID。

none

示例：

docker run --log-driver=none my-image

禁用容器日志，不會輸出任何容器日志。

示例注釋如下：

docker run           # Docker命令，用于創(chuàng)建并啟動一個新的容器
--log-driver=none   # 選項，指定日志驅(qū)動為none，禁用容器日志的輸出和存儲
my-image            # 參數(shù)，指定要使用的鏡像名稱或ID

docker run：這是 Docker 命令，用于從指定的鏡像創(chuàng)建并啟動一個新的容器。
--log-driver=none：這個選項指定了容器的日志驅(qū)動為 none，意味著 Docker 不會為該容器創(chuàng)建或管理任何日志文件，容器的日志不會被輸出或存儲。
my-image：這是要運行的 Docker 鏡像的名稱或ID。你需要將其替換為實際的鏡像名稱或ID。注釋如下：

docker run           # Dockers命令，用于創(chuàng)建并啟動一個新的容器
--log-driver=none   # 選項，指定日志驅(qū)動為none，禁用容器日志的輸出和存儲
my-image            # 參數(shù)，指定要使用的鏡像名稱或ID

docker run：這是 Docker 命令，用于從指定的鏡像創(chuàng)建并啟動一個新的容器。
--log-driver=none：這個選項指定了容器的日志驅(qū)動為 none，意味著 Docker 不會為該容器創(chuàng)建或管理任何日志文件，容器的日志不會被輸出或存儲。
my-image：這是要運行的 Docker 鏡像的名稱或ID。你需要將其替換為實際的鏡像名稱或ID。

日志管理方案：ELK Stack

ELK Stack（Elasticsearch, Logstash, Kibana）是一個流行的開源日志管理和分析工具集。

部署 ELK Stack使用 Docker Compose 部署 ELK Stack：

version: '3'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.0
    environment:
      - discovery.type=single-node
  logstash:
    image: docker.elastic.co/logstash/logstash:7.10.0
    volumes:
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf
    ports:
      - "5000:5000"
  kibana:
    image: docker.elastic.co/kibana/kibana:7.10.0
    ports:
      - "5601:5601"

配置注釋：

version: '3'  # 指定Docker Compose文件的版本，這里使用的是版本3

services:  # 定義服務(wù)的開始，所有服務(wù)都將在這里列出

  elasticsearch:  # 定義一個名為elasticsearch的服務(wù)
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.0  # 使用的Elasticsearch鏡像及其版本
    environment:  # 設(shè)置環(huán)境變量
      - discovery.type=single-node  # 配置Elasticsearch為單節(jié)點模式，適用于測試和開發(fā)環(huán)境

  logstash:  # 定義一個名為logstash的服務(wù)
    image: docker.elastic.co/logstash/logstash:7.10.0  # 使用的Logstash鏡像及其版本
    volumes:  # 定義掛載卷，用于將配置文件從宿主機掛載到容器中
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf  # 將宿主機的logstash.conf文件掛載到容器的指定路徑
    ports:  # 定義端口映射
      - "5000:5000"  # 將容器的5000端口映射到宿主機的5000端口，用于Logstash的輸入

  kibana:  # 定義一個名為kibana的服務(wù)
    image: docker.elastic.co/kibana/kibana:7.10.0  # 使用的Kibana鏡像及其版本
    ports:  # 定義端口映射
      - "5601:5601"  # 將容器的5601端口映射到宿主機的5601端口，用于訪問Kibana的Web界面

這個配置文件定義了三個服務(wù)：Elasticsearch、Logstash 和 Kibana，每個服務(wù)都指定了使用的鏡像和版本。Elasticsearch 被配置為單節(jié)點模式，Logstash 通過掛載卷使用自定義的配置文件，而 Kibana 將容器的端口映射到宿主機，以便可以通過瀏覽器訪問 Kibana 的 Web 界面。
2. 配置 Logstash在 Logstash 的配置文件中添加 Docker 日志的輸入源：

input {
  docker {
    host => "unix:///var/run/docker.sock"
    tags => ["docker", "logs"]
  }
}
output {
  elasticsearch {
    hosts => ["http://elasticsearch:9200"]
    index => "docker-logs-%{+YYYY.MM.dd}"
  }
}

下面是對該配置文件中每個部分的注釋：

input {
  docker {
    host => "unix:///var/run/docker.sock"  # 設(shè)置Docker輸入插件的host參數(shù)，指向Docker的socket文件，用于直接從Docker守護進程讀取日志
    tags => ["docker", "logs"]  # 設(shè)置標簽，用于標識這些日志是由Docker輸入插件處理的
  }
}

output {
  elasticsearch {
    hosts => ["http://elasticsearch:9200"]  # 設(shè)置輸出到Elasticsearch的地址和端口，這里假設(shè)Elasticsearch運行在同一網(wǎng)絡(luò)中的默認端口9200
    index => "docker-logs-%{+YYYY.MM.dd}"  # 設(shè)置輸出到Elasticsearch的索引名稱，使用日期格式化，每天創(chuàng)建一個新的索引
  }
}

input：定義輸入部分，指定 Logstash 從哪里獲取數(shù)據(jù)。

docker：指定使用 Docker 插件作為輸入源。
- host => "unix:///var/run/docker.sock"：指定 Docker 插件監(jiān)聽的 Unix 套接字路徑，這里是 Docker 守護進程的默認路徑。
- tags => ["docker", "logs"]：為輸入的事件添加標簽，方便后續(xù)過濾和處理。

output：定義輸出部分，指定 Logstash 如何處理并輸出數(shù)據(jù)。

elasticsearch：指定輸出到 Elasticsearch。
- hosts => ["http://elasticsearch:9200"]：指定 Elasticsearch 的 HTTP 地址和端口，這里假設(shè) Elasticsearch 服務(wù)運行在默認的 9200 端口上。
- index => "docker-logs-%{+YYYY.MM.dd}"：定義輸出到 Elasticsearch 的索引名稱，使用日期格式化，每天自動創(chuàng)建一個新的索引，例如 docker-logs-2024.12.04。這里的 %{+YYYY.MM.dd} 是 Logstash 的日期格式化語法。