Oracle RAC集群時(shí)間同步告警PRVF-5436&PRVF-9652
本文轉(zhuǎn)載自微信公眾號「DBA閑思雜想錄」，作者瀟湘隱者。轉(zhuǎn)載本文請聯(lián)系DBA閑思雜想錄公眾號。
接手了一套RAC數(shù)據(jù)庫(Oracle 11g)，結(jié)果在巡檢的時(shí)候發(fā)現(xiàn)集群節(jié)點(diǎn)間的時(shí)鐘同步有下面告警信息，如下所示：
- $ cluvfy comp clocksync -verbose
- Verifying Clock Synchronization across the cluster nodes
- Checking if Clusterware is installed on all nodes...
- Check of Clusterware install passed
- Checking if CTSS Resource is running on all nodes...
- Check: CTSS Resource running on all nodes
- Node Name Status
- ------------------------------------ ------------------------
- oracle1 passed
- Result: CTSS resource check passed
- Querying CTSS for time offset on all nodes...
- Result: Query of CTSS for time offset passed
- Check CTSS state started...
- Check: CTSS state
- Node Name State
- ------------------------------------ ------------------------
- oracle1 Observer
- CTSS is in Observer state. Switching over to clock synchronization checks using NTP
- Starting Clock synchronization checks using Network Time Protocol(NTP)...
- NTP Configuration file check started...
- The NTP configuration file "/etc/ntp.conf" is available on all nodes
- NTP Configuration file check passed
- Checking daemon liveness...
- Check: Liveness for "ntpd"
- Node Name Running?
- ------------------------------------ ------------------------
- oracle1 yes
- Result: Liveness check passed for "ntpd"
- Check for NTP daemon or service alive passed on all nodes
- Checking NTP daemon command line for slewing option "-x"
- Check: NTP daemon command line
- Node Name Slewing Option Set?
- ------------------------------------ ------------------------
- oracle1 no
- Result:
- NTP daemon slewing option check failed on some nodes
- PRVF-5436 : The NTP daemon running on one or more nodes lacks the slewing option "-x"
- Result: Clock synchronization check using Network Time Protocol(NTP) failed
- PRVF-9652 : Cluster Time Synchronization Services check failed
- Verification of Clock Synchronization across the cluster nodes was unsuccessful on all the specified nodes.
出現(xiàn)上面錯(cuò)誤提示，是因?yàn)镽AC集群服務(wù)器的NTP服務(wù)沒有啟用-x選項(xiàng)，如果沒有開啟slewing 選項(xiàng)，在時(shí)間差異超過特定(取決于平臺)閾值時(shí)，NTP 將向前或向后調(diào)整系統(tǒng)時(shí)鐘。大幅度向后調(diào)整時(shí)間會導(dǎo)致 Clusterware 以為錯(cuò)過了簽到，從而發(fā)生節(jié)點(diǎn)驅(qū)逐的情況。出于此原因，強(qiáng)烈建議將 NTP 配置調(diào)整為slewing time (加快或減慢)時(shí)鐘時(shí)間以同步時(shí)間，以防止此類驅(qū)逐情況的發(fā)生。
What is slewing?
The NTP daemon will periodically update the system clock with the time from a reference clock. If the time on the reference clock is behind the time on the system clock, the system clock will be set backwards in one large decrement. Such swift changes in time can lead to Oracle shutting down the node due to inconsistent timers. To avoid this problem, NTP can be configured to slew the clock. When slewing the clock the time on system is incremented slower until the system clock is in sync with the time on the reference system.
“-x”選項(xiàng)用于阻止ntp向后調(diào)整時(shí)鐘，向后則意味著時(shí)間回逆，可能導(dǎo)致數(shù)據(jù)庫、集群出現(xiàn)重啟.驅(qū)逐等問題。
之前維護(hù)這套RAC的人可能在安裝的時(shí)候就從未留意過這個(gè)問題，那么問題來了,如果是安裝、調(diào)試階段，直接修改配置，重啟NTP服務(wù)就完事了，但是現(xiàn)在這套RAC正在對外提供關(guān)鍵服務(wù)，那么可以重啟NTP服務(wù)嗎?會不會引發(fā)什么問題呢?
答案是不會，如果兩個(gè)(或多個(gè))節(jié)點(diǎn)之間沒有時(shí)間差，完全可以重啟NTP服務(wù)，不影響RAC的集群服務(wù)。你可以一個(gè)節(jié)點(diǎn)一個(gè)節(jié)點(diǎn)處理。當(dāng)然這個(gè)也是經(jīng)過驗(yàn)證確認(rèn)過的。
下面是關(guān)于CTSS與NTP的關(guān)系的相關(guān)知識點(diǎn)：
從Oracle 11gR2 RAC開始使用Cluster Time Synchronization Service(CTSS)同步各節(jié)點(diǎn)的時(shí)間,當(dāng)安裝程序發(fā)現(xiàn)NTP協(xié)議處于非活動狀態(tài)時(shí)，安裝集群時(shí)間同步服務(wù)將以活動模式(active)自動進(jìn)行安裝并同步所有節(jié)點(diǎn)的時(shí)間。如果發(fā)現(xiàn)配置了NTP，則以觀察者模式(observer mode)啟動集群時(shí)間同步服務(wù)，Oracle Clusterware不會在集群中進(jìn)行活動的時(shí)間同步。
在RAC中，集群的時(shí)間應(yīng)該是保持同步的，否則可能導(dǎo)致很多問題，例如：依賴于時(shí)間的應(yīng)用會造成數(shù)據(jù)的錯(cuò)誤，各種日志打印的順序紊亂，這將會影響問題的診斷，嚴(yán)重的可能會導(dǎo)致集群宕機(jī)或者重新啟動集群時(shí)節(jié)點(diǎn)無法加入集群。
在Oracle 11gR2前，集群的時(shí)間是由NTP同步的，而在11gR2后，Oracle引入了CTSS組件，如果系統(tǒng)沒有配置NTP，則由CTSS來同步集群時(shí)間。NTP和CTSS是可以共存的，且NTP的優(yōu)先級要高于CTSS，也就是說，如果系統(tǒng)中同時(shí)有NTP和CTSS，那么集群的時(shí)間是由NTP同步的，CTSS會處于觀望(Observer)模式，只有當(dāng)集群關(guān)閉所有的NTP服務(wù)，CTSS才會處于激活(Active)模式。在一個(gè)集群中，只要有一個(gè)節(jié)點(diǎn)的ntp處于活動狀態(tài)，那么集群的所有節(jié)點(diǎn)的CTSS都會處于激活(Active)模式。需要注意的是，要讓CTSS處于激活(Active)模式，則不僅要關(guān)閉ntp服務(wù)(/sbin/service ntpd stop)，還要刪除/etc/ntp.conf文件(mv /etc/ntp.conf /etc/ntp.conf.bak)，否則不能啟用CTSS。
具體操作步驟如下：
- # more /etc/sysconfig/ntpd
- # Drop root to id 'ntp:ntp' by default.
- OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"
修改/etc/sysconfig/ntpd的配置
修改前
- OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"
修改后
- OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid -g"
RAC集群的操作系統(tǒng)是RHEL 6，它的服務(wù)是通過service啟動，所以通過下面命令重啟NTP服務(wù)解決問題：
- service ntpd restart
參考資料：
https://www.oracledistilled.com/grid-infrastructure/prvf-5439-ntp-daemon-does-not-have-slewing-option-%E2%80%9C-x%E2%80%9D-set-on-node/
https://www.cnblogs.com/lhrbest/p/9253449.html
