[[434974]]

一、超時現象反饋

在發布卡點過程中，有同學反饋在發布過程中存在偶發性超時情況。集中在上下游服務較多節點的服務，幾十個上百個節點的服務較多。不是必然出現，一批服務偶爾有一個節點出現。剛出現的前幾例由于沒有觸發線程dump一直定位不到哪里的問題。

RPC框架中服務端線程池默認使用線程超過80%會觸發線程dump，方便觀察運行狀態。直到有兩個服務觸發了dump才把這個謎底揭開。

二、超時現象跟蹤

鏈路日志： 客戶端AppXXXService調用服務Appxxx發生超時，長達50秒。

服務消費方報錯信息：

客戶端等待中取消請求，發生調用時間為：2021-11-02 22:11:59.148

耗時監控曲線：該服務基本上在同一時間段發起向下游的服務均發生超時。

服務端隊列監控：隊列顯示瞬間增加很多任務

磁盤IO和CPU都有上升

線程dump情況，通信線程調用到了SynchronizationContext，底層的work通信線程怎么調用到了獲取節點的業務方法去了。

三、問題根因

RPC框架中代碼中有使用SynchronizationContext，此處與gRPC共用。

SynchronizationContext使用的queue是ConcurrentLinkedQueue隊列，被單線程串行執行。

問題原因：再回到上面的線程棧，業務節點發現事件和gRPC底層通信共用了SynchronizationContext造成阻塞，和線程錯亂執行。

問題解決：不再和gRPC共用SynchronizationContext，如果使用單獨實例化一個即可。該問題通過測試同學通過故障注入的方式得以復現。