[[426800]]

今天，系統中的一個業務處理莫名地執行了6個小時都沒有結束，正常處理也就是3分鐘左右，對原因進行定位，發現是在Oracle客戶端上同步執行一個命令沒有響應。今天來分享一下這個問題，讓更多的人避開這個坑。

1 業務場景

我們要把一個csv文件(文件名biz.csv)中的數據讀取到Oracle數據庫表(表名t_biz，t_biz)中，數據庫表t_biz表結構如下：

biz.csv文件內容如下：

id,a,b,c 
1,a1,b1,c1 
2,a2,b2,c2 
3,a3,b3,c3 

把biz.csv文件的內容讀入到表t_biz，為了提高效率，這里使用了sqlldr 命令，命令如下：

sqlldr test/test123@biz control=/home/jinjunzhu/biz/T_BIZ.ctl log=/home/jinjunzhu/biz/T_BIZ.log bad=/home/jinjunzhu/biz/T_BIZ.bad 

解釋一下這個命令，test/test123 是要訪問的數據庫實例的用戶名/密碼，biz 是數據庫實例名稱。T_BIZ.ctl是控制文件，內容如下：

options(skip=1,rows=10000,errors=0,parallel=true,bindsize=1048576,readsize=1048576) 
load data  
infile '/home/jinjunzhu/biz/biz.csv' 
fields terminated by ',' 
truncate into table day_data 
trailing nullcols 
(id,a,b,c) 

業務代碼中調用這個命令，代碼如下：

private int execute(String cmd) throws Exception{ 
    Process process = Runtime.getRuntime().exec(new String[]{"/bin/bash", "-c", cmd}); 
    process.waitFor(10, TimeUnit.SECONDS); 
    Integer status = process.waitFor(); 
    return status == null ? -1 : status; 
} 

2 問題現場

程序執行到上面第4行的時候，程序hang住了，一直沒有返回。這個代碼之前從來沒有出過問題，最近也沒有上過線，今天唯一的不同就是文件數據量越來越大，今天比昨天大了幾萬行。

數據庫情況：

• 看不到有sqlldr命令等待的情況
• CPU正常
• 手工執行上面命令可以成功，但是打印的日志非常多，如下圖：

3 原因分析

網上搜這個問題竟然很多，原因有下面三類：

3.1 Oracle版本低

Oracle版本低，建議升級到10.2.0.2或以上，這個方案忽略，因為我們的數據庫版本是Oracle 11.2.0.4.0。

3.2 數據落庫情況

本以為sqlldr命令執行失敗了，但是文件數據已經全部落到t_biz表。這說明命令執行成功了，只是Oracle沒有給應用返回結果。難道是Oracle數據庫hang住了?但是上面的問題現場已經確認，Oracle并沒有hang在sqlldr這個命令上。

3.3 最終答案

看了好多博客，最后發現竟然不是Oracle的原因。根本原因是使用java執行shell時，如果不讀取標準輸出，這個輸出就會輸出到缺省緩沖區，如果輸出流太大，必將打滿緩沖區，導致程序hang住。

從上面問題現場的手工執行中可以看到，因為加載的數據量很大大，結果輸出也流非常大，這很容易超出缺省緩沖區大小。

4 解決方案

問題已經很明確了，解決方案也就有了，處理sqlldr的輸出就可以解決。解決方法有下面三種。

4.1 增加參數

在sqlldr命令后面增加一個參數，silent=(ALL)，最后命令如下：

sqlldr test/test123@biz control=/home/jinjunzhu/biz/T_BIZ.ctl log=/home/jinjunzhu/biz/T_BIZ.log bad=/home/jinjunzhu/biz/T_BIZ.bad silent=(ALL) 

4.2 程序讀取標準輸出

程序中讀取sqlldr命令返回的輸出，修改后的代碼如下：

private int execute(String cmd) throws Exception{ 
    Process process = Runtime.getRuntime().exec(new String[]{"/bin/bash", "-c", cmd}); 
    process.waitFor(10, TimeUnit.SECONDS); 
    Integer status; 
 
    BufferedReader br = new BufferedReader(new InputStreamReader(process.getInputStream())); 
    String line; 
    while ((line = br.readLine()) != null) { 
        System.out.println(line); 
    } 
    return (status = process.waitFor()) == null ? -1 : status; 
} 

4.3 文件接收標準輸出

可以在sqlldr命令中增加文件參數來接收命令的標準輸出，最后我采用了這種方式，命令如下：

sqlldr test/test123@biz control=/home/jinjunzhu/biz/T_BIZ.ctl log=/home/jinjunzhu/biz/T_BIZ.log bad=/home/jinjunzhu/biz/T_BIZ.bad 1>/home/jinjunzhu/biz/std.log 2>/home/jinjunzhu/biz/err.log 

5 總結

這個問題剛出現的時候，一直以為是Oracle的問題，但是后來研究發現，這個鍋真的不能讓Oracle來背。關于sqlldr命令的詳細參數介紹，已經比較成熟，大家可以自行網絡查找。

【編輯推薦】