GPT4教機器人盤轉筆，那叫一個絲滑！
那個在聊天中給數學家陶哲軒帶來啟發的GPT-4，最近又開始教機器人轉筆了。
項目叫Agent Eureka，是由英偉達、賓州大學、加州理工學院和得克薩斯大學奧斯汀分校聯手研發的。他們的研究結合了 GPT-4 結構的能力和強化學習的優勢，讓 Eureka 能設計出精妙的獎勵函數。
GPT-4 的編程能力賦予 Eureka 強大的獎勵函數設計技巧。這意味著，在大部分任務中，Eureka 自己設計的獎勵方案，甚至比人類專家更出色。這讓它能完成一些人類難以完成的任務，包括轉筆、打開抽屜，盤核桃，甚至更復雜的任務，如拋接球，操作剪刀等等。
圖片
圖片
雖然目前這些都是在模擬環境中完成的，但這已經非常厲害了。
項目已經開源，項目地址和論文地址放在文末。
簡單總結下論文的核心要點。
論文探討了如何使用大型語言模型（LLM）來設計并優化機器學習中的獎勵函數。這是一個重要的課題，因為設計好的獎勵函數可以大大提高機器學習模型的性能，但是設計這樣的函數是非常困難的。
研究人員提出了一種名為 EUREKA 的新算法。EUREKA 使用 LLM 來生成和改進獎勵函數。在測試中，EUREKA 在 29 種不同的強化學習環境中達到了人類級別的性能，并在 83% 的任務中超越了人類專家設計的獎勵函數。
EUREKA 還成功地解決了一些以前無法通過人工設計獎勵函數解決的復雜操作任務，例如模擬「Shadow Hand」手部快速轉筆的操作。
此外，EUREKA 提供了一種新的方法，可以根據人類的反饋生成更有效、更符合人類期望的獎勵函數。
EUREKA 的工作方式包括三個主要步驟：
1. 將環境作為上下文：EUREKA 使用環境的源代碼作為上下文，從而生成可執行的獎勵函數。
2. 進化搜索：EUREKA 通過進化搜索迭代地提出和改進獎勵函數。
3. 獎勵反思：EUREKA 根據策略訓練的統計數據生成獎勵質量的文本總結，從而自動和有針對性地改進獎勵函數。
這項研究可能會對強化學習和獎勵函數設計領域產生深遠影響，因為它提供了一種新的、有效的方法來自動生成和改進獎勵函數，而且這種方法的性能在許多情況下超過了人類專家。
