利用NLP感知世界 Facebook開源機器人開發平臺
近日,Facebook宣布開源旗下Droidlet機器人開發平臺,其特點是能夠利用自然語言處理(NLP)和計算機視覺(CV)技術來感知周圍的世界。
據了解,Facebook宣稱該平臺能夠簡化機器學習算法在機器人項目中的集成,并促進快速的軟件原型設計。盡管當前機器人已能夠通過編程來執行舞蹈等特定應用,但還是缺乏可在更深層次上處理信息的能力。
不過,Droidlet并不是所有問題的萬能解決方案,而是一種測試不同NLP和CV處理模型的方法。
該平臺允許開發者構建能夠在現實世界中,或《我的世界》和Facebook的Habitat等模擬環境里完成相關任務的系統。開發者可按需更換組件,來支持可在不同機器人上使用的相同系統。
另外,Droidlet平臺提供了一個儀表板,方便開發者添加調試與可視化小部件和相關工具,以及一個用于糾錯和注釋的界面。
據悉,除了用于測試針對機器人設置進行微調的視覺模型的環境之外,Droidlet還附帶了用于將機器學習模型連接到機器人的封包器。
Facebook指出,這些模塊中的每一個都可進一步分解為可訓練或啟發式的組件,且相關模塊與儀表板支持在Droidlet之外的生態系統中使用。