某運營商網頁訪問時延問題分析解決報告
圖片
運營商D客服部進行網頁訪問測試，采用以下6個網頁輪詢測試，測試場景配置參見表1。
表1 測試場景配置
業務類型 | Http Logon |
測試次數 | 1 |
測試間隔 | 2s |
測試網頁 | www.163.com |
從摸底測試結果看，HTTP網頁訪問時延偏大，其中baidu、sina、sohu等平均時延基本在1.5 s以上，參見表2。
表2 頁面測試結果
網址 | HTTP頁面打開時延（s） |
www.163.com | 1.09 |
www.baidu.com | 2.68 |
www.ifeng.com | 1.6 |
www.jd.com | 1.63 |
www.sina.com.cn | 1.42 |
www.sohu.com | 1.36 |
在相同的測試站點下，保持測試點信號條件不變。分別使用了運營商D和運營商L的SIM卡對比測試，能看到使用運營商L卡的時延結果明顯優于使用運營商D卡的結果，參見表3。
表3 運營商對比測試結果
運營商 | 網址 | 頁面打開時延（s） |
運營商D（4G） | www.sina.com.cn | 1.11 |
運營商L（4G） | www.sina.com.cn | 0.59 |
運營商D（NSA） | www.sina.com.cn | 1.29 |
運營商L（NSA） | www.sina.com.cn | 0.54 |
sina多次測試的采樣統計結果參見表4，能看到運營商D卡測試的結果波動較大。20次訪問中，有8次的訪問時延大于1.5 s，運營商L卡測試的結果整體比較穩定。
表4 sina多次測試的采樣統計結果
運營商D頁面打開時延（s） | 運營商L頁面打開時延（s） |
3.01 | 0.81 |
1.58 | 0.45 |
1.52 | 0.63 |
2.97 | 0.48 |
2.97 | 0.6 |
0.68 | 0.46 |
0.66 | 0.44 |
0.61 | 0.49 |
0.58 | 0.49 |
0.56 | 0.49 |
1.9 | 0.72 |
0.55 | 0.69 |
0.55 | 0.46 |
0.64 | 0.52 |
1.57 | 0.54 |
0.6 | 0.53 |
3.02 | 0.52 |
0.67 | 0.47 |
0.55 | 0.5 |
0.52 | 0.5 |
baidu對比測試結果類似，參見表5。運營商D卡的測試平均時延2.28 s，運營商L卡平均時延1.36 s。網頁傳輸大小的結果基本一致。
表5 baidu多次測試的采樣統計結果
運營商D頁面打開時延（s） | 運營商L頁面打開時延（s） |
1.48 | 1.73 |
1.25 | 1.55 |
7.06 | 1.34 |
6.95 | 1.2 |
2.17 | 1.26 |
1.19 | 1.76 |
2.98 | 1.26 |
2.15 | 1.32 |
1.22 | 1.29 |
2.2 | 1.11 |
1.23 | 1.49 |
2.2 | 1.21 |
1.22 | 1.29 |
1.16 | 1.21 |
2.25 | 2.09 |
1.4 | 1.09 |
1.3 | 1.38 |
2.67 | 1.2 |
1.25 | 1.15 |
2.19 | 1.21 |
2.28 | 1.36 |
圖片
分析流程圖如下圖所示。
圖片
分析流程
在基站側用戶面抓包分析，造成網頁時延偏大的原因主要與以下異常有關：
- DNS無響應或響應端口號錯誤導致TCP流延時建立（本應該同時建立的多個TCP流，其中1-2個延時1-2 s才發起建立）
- TCP建鏈SYN無響應
- TCP建鏈SYN ACK序號異常
在基站、核心網、防火墻和公網CE聯合抓包情況下，分析確認所有TCP建鏈異常和DNS查詢異常與防火墻端口映射有關，防火墻將并發的不同的TCP/UDP會話映射了相同公網端口，導致一系列網頁訪問流程異常。
防火墻進一步抓取日志確認，根本原因是本來主備工作方式端口分配一側分配奇，另一側分配偶。但由于配置原因有一側沒有進行主備檢測，導致這一側奇偶都分，所以導致端口沖突。
防火墻修正配置后，重新進行測試指標大幅改善，確認問題解決：
1. 新浪網頁30次頁面打開時延非常穩定，沒有出現大于1 s的時延情況，平均0.59 s。相對于之前測試的1.42 s，改善58.5%，測試結果參見下圖。
配置修正后sina.com采樣統計結果
2. 7個網頁輪詢30次匯總平均結果，總體平均時延0.7 s。相對于之前1.63 s，改善57%，測試結果參見表6。
表6 配置修正后7個網頁輪詢30次匯總結果
網頁 | 頁面打開時延（s） | 網頁傳輸時長（s） |
163 | 0.36 | 0.33 |
baidu | 1.13 | 0.46 |
ifeng | 0.76 | 0.3 |
jd | 0.94 | 0.79 |
sina | 0.59 | 0.4 |
sohu | 0.63 | 0.4 |
taobao | 0.49 | 0.03 |
平均值 | 0.7 | 0.39 |
表6 配置修正后7個網頁輪詢30次匯總結果
網頁 | 網頁傳輸大小（MB） | NRRSRP | NR SINR |
163 | 1.13 | -80.05 | 28.16 |
baidu | 0.49 | -79.87 | 28.21 |
ifeng | 0.48 | -80.19 | 28.12 |
jd | 1.25 | -80.01 | 28.17 |
sina | 1.67 | -80.08 | 28.19 |
sohu | 1.58 | -80.04 | 28.19 |
taobao | 0.02 | -80.05 | 28.15 |
平均值 | 0.94 | -80.04 | 28.17 |
（百度受自身網頁流程原因，各地及不同運營商測試結果均偏大，當前1.13 s相對于之前平均2.68s 改善57.84%。）
