Linux 日志基礎
首先,我們將描述有關 Linux 日志是什么,到哪兒去找它們,以及它們是如何創(chuàng)建的基礎知識。如果你已經(jīng)知道這些,請隨意跳至下一節(jié)。
Linux 系統(tǒng)日志
許多有價值的日志文件都是由 Linux 自動地為你創(chuàng)建的。你可以在 /var/log 目錄中找到它們。下面是在一個典型的 Ubuntu 系統(tǒng)中這個目錄的樣子:
一些最為重要的 Linux 系統(tǒng)日志包括:
-
/var/log/syslog 或 /var/log/messages 存儲所有的全局系統(tǒng)活動數(shù)據(jù),包括開機信息。基于 Debian 的系統(tǒng)如 Ubuntu 在 /var/log/syslog 中存儲它們,而基于 RedHat 的系統(tǒng)如 RHEL 或 CentOS 則在 /var/log/messages 中存儲它們。
-
/var/log/auth.log 或 /var/log/secure 存儲來自可插拔認證模塊(PAM)的日志,包括成功的登錄,失敗的登錄嘗試和認證方式。Ubuntu 和 Debian 在 /var/log/auth.log 中存儲認證信息,而 RedHat 和 CentOS 則在 /var/log/secure 中存儲該信息。
-
/var/log/kern 存儲內(nèi)核的錯誤和警告數(shù)據(jù),這對于排除與定制內(nèi)核相關的故障尤為實用。
-
/var/log/cron 存儲有關 cron 作業(yè)的信息。使用這個數(shù)據(jù)來確保你的 cron 作業(yè)正成功地運行著。
Digital Ocean 有一個關于這些文件的完整教程,介紹了 rsyslog 如何在常見的發(fā)行版本如 RedHat 和 CentOS 中創(chuàng)建它們。
應用程序也會在這個目錄中寫入日志文件。例如像 Apache,Nginx,MySQL 等常見的服務器程序可以在這個目錄中寫入日志文件。其中一些日志文件由應用程序自己創(chuàng)建,其他的則通過 syslog (具體見下文)來創(chuàng)建。
什么是 Syslog?
Linux 系統(tǒng)日志文件是如何創(chuàng)建的呢?答案是通過 syslog 守護程序,它在 syslog 套接字 /dev/log 上監(jiān)聽日志信息,然后將它們寫入適當?shù)娜罩疚募小?/p>
單詞“syslog” 代表幾個意思,并經(jīng)常被用來簡稱如下的幾個名稱之一:
-
Syslog 守護進程 — 一個用來接收、處理和發(fā)送 syslog 信息的程序。它可以遠程發(fā)送 syslog 到一個集中式的服務器或?qū)懭氲揭粋€本地文件。常見的例子包括 rsyslogd 和 syslog-ng。在這種使用方式中,人們常說“發(fā)送到 syslog”。
-
Syslog 協(xié)議 — 一個指定日志如何通過網(wǎng)絡來傳送的傳輸協(xié)議和一個針對 syslog 信息(具體見下文) 的數(shù)據(jù)格式的定義。它在 RFC-5424 中被正式定義。對于文本日志,標準的端口是 514,對于加密日志,端口是 6514。在這種使用方式中,人們常說“通過 syslog 傳送”。
-
Syslog 信息 — syslog 格式的日志信息或事件,它包括一個帶有幾個標準字段的消息頭。在這種使用方式中,人們常說“發(fā)送 syslog”。
Syslog 信息或事件包括一個帶有幾個標準字段的消息頭,可以使分析和路由更方便。它們包括時間戳、應用程序的名稱、在系統(tǒng)中信息來源的分類或位置、以及事件的優(yōu)先級。
下面展示的是一個包含 syslog 消息頭的日志信息,它來自于控制著到該系統(tǒng)的遠程登錄的 sshd 守護進程,這個信息描述的是一次失敗的登錄嘗試:
<34>1 2003-10-11T22:14:15.003Z server1.com sshd - - pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=10.0.2.2
Syslog 格式和字段
每條 syslog 信息包含一個帶有字段的信息頭,這些字段是結(jié)構(gòu)化的數(shù)據(jù),使得分析和路由事件更加容易。下面是我們使用的用來產(chǎn)生上面的 syslog 例子的格式,你可以將每個值匹配到一個特定的字段的名稱上。
<%pri%>%protocol-version% %timestamp:::date-rfc3339% %HOSTNAME% %app-name% %procid% %msgid% %msg%n
下面,你將看到一些在查找或排錯時最常使用的 syslog 字段:
時間戳
時間戳 (上面的例子為 2003-10-11T22:14:15.003Z) 暗示了在系統(tǒng)中發(fā)送該信息的時間和日期。這個時間在另一系統(tǒng)上接收該信息時可能會有所不同。上面例子中的時間戳可以分解為:
-
2003-10-11 年,月,日。
-
T 為時間戳的必需元素,它將日期和時間分隔開。
-
22:14:15.003 是 24 小時制的時間,包括進入下一秒的毫秒數(shù)(003)。
-
Z 是一個可選元素,指的是 UTC 時間,除了 Z,這個例子還可以包括一個偏移量,例如 -08:00,這意味著時間從 UTC 偏移 8 小時,即 PST 時間。
主機名
主機名 字段(在上面的例子中對應 server1.com) 指的是主機的名稱或發(fā)送信息的系統(tǒng).
應用名
應用名 字段(在上面的例子中對應 sshd:auth) 指的是發(fā)送信息的程序的名稱.
優(yōu)先級
優(yōu)先級字段或縮寫為 pri (在上面的例子中對應 ) 告訴我們這個事件有多緊急或多嚴峻。它由兩個數(shù)字字段組成:設備字段和緊急性字段。緊急性字段從代表 debug 類事件的數(shù)字 7 一直到代表緊急事件的數(shù)字 0 。設備字段描述了哪個進程創(chuàng)建了該事件。它從代表內(nèi)核信息的數(shù)字 0 到代表本地應用使用的 23 。
Pri 有兩種輸出方式。***種是以一個單獨的數(shù)字表示,可以這樣計算:先用設備字段的值乘以 8,再加上緊急性字段的值:(設備字段)(8) + (緊急性字段)。第二種是 pri 文本,將以“設備字段.緊急性字段” 的字符串格式輸出。后一種格式更方便閱讀和搜索,但占據(jù)更多的存儲空間。