OpenAI推出了一款全新工具，用于衡量AI在機器學習工程中的能力，該基準名為MLE-bench，通過來自Kaggle的75個現實世界的數據科學競賽對AI系統進行挑戰，Kaggle是一個廣受歡迎的機器學習競賽平臺。

隨著科技公司加大開發更強大AI系統的力度，MLE-bench不僅僅測試AI的計算或模式識別能力，還評估AI在復雜的機器學習工程領域中的規劃、故障排除和創新能力。

AI挑戰Kaggle：令人印象深刻的勝利與意外的挫折

結果揭示了當前AI技術的進展與局限，OpenAI的最先進模型o1-preview，在名為AIDE的專用結構的支持下，在16.9%的競賽中達到了可獲得獎牌的表現，這一表現值得關注，表明在某些情況下，該AI系統能夠與技術嫻熟的數據科學家進行競爭。

然而，研究也突顯了AI與人類專業知識之間的顯著差距，AI模型通常能夠成功應用標準技術，但在需要適應性或創造性解決問題的任務中表現較為欠缺，這一局限強調了人類洞察力在數據科學領域的持續重要性。

機器學習工程涉及設計和優化能夠讓AI從數據中學習的系統。MLE-bench評估AI在這個過程中各個方面的能力，包括數據準備、模型選擇和性能調優。

從實驗室到工業界：AI在數據科學中的深遠影響

該研究的影響不僅限于學術領域，能夠獨立處理復雜機器學習任務的AI系統的發展，可能會加速各行業的科學研究和產品開發，然而，這也引發了對人類數據科學家角色演變的思考，以及AI能力迅速提升的潛力。

OpenAI決定將MLE-bench開源，這允許更廣泛的研究和使用該基準，這一舉措可能幫助建立評估機器學習工程中AI進展的共同標準，并可能影響該領域未來的發展和安全考慮。

隨著AI系統在某些專業領域逐步接近人類水平，像MLE-bench這樣的基準為追蹤進展提供了關鍵指標，它們為外界過高的AI能力預期提供了現實的衡量標準，展示了當前AI的長處和不足。

AI與人類在機器學習中的未來合作

增強AI能力的努力正在加速，MLE-bench為這項進展提供了新的視角，特別是在數據科學和機器學習領域。隨著這些AI系統的不斷改進，它們可能會與人類專家協同工作，潛在地拓寬機器學習應用的邊界。

然而，值得注意的是，盡管該基準展示了可喜的成果，它也揭示了AI距離完全復制經驗豐富的數據科學家的細致決策和創造力還有很長的路要走。當前的挑戰在于如何縮小這一差距，并確定如何在機器學習工程領域將AI能力與人類專長最佳結合。