[[379994]]

最近，斯坦福大學(xué)發(fā)布了一部新書：《決策算法》( Algorithms for Decision Making)，該書主要由Mykel J.Kochenderfer教授編撰。

Mykel J.Kochenderfer教授帶領(lǐng)的斯坦福智能系統(tǒng)實驗室（SISL）實驗室，每年在計算機(jī)領(lǐng)域各大頂級會議和期刊上收獲頗豐，僅在2021年這一個月里，實驗室已經(jīng)有9篇論文于AAAI2021，AAMAS2021，AIAA Journal等頂級會議和期刊上發(fā)表。

在這里簡單介紹下，斯坦福智能系統(tǒng)實驗室(SISL)的研究主要是關(guān)于用于設(shè)計魯棒決策系統(tǒng)的先進(jìn)算法和分析方法。

其中，實驗室特別感興趣的細(xì)分領(lǐng)域有：系統(tǒng)的空中交通管制，無人駕駛飛機(jī)和其他需要在不確定動態(tài)環(huán)境下，在保持安全和效率的同時，需要做決策的航空航天應(yīng)用。

SISL主要集中在對高效的計算方法的研究上，重點關(guān)注如何從高維、概率的問題中推導(dǎo)出最優(yōu)的策略決策。

[[379995]]

圖：SISL成員合照

這本新書《決策算法》主要介紹了在不確定情況下的最優(yōu)決策算法：

該書涵蓋了與決策相關(guān)的各種主題，介紹了問題中隱含的數(shù)學(xué)公式以及解決它們的算法。此外，本書中添加了許多舉例和練習(xí)題，來傳達(dá)各種方法下蘊(yùn)含的直覺。

此書是為高年級本科生和研究生以及專業(yè)人員準(zhǔn)備的。要學(xué)習(xí)這本書的內(nèi)容，閱讀者需要有一定的數(shù)學(xué)功底，并接觸過多變量微積分，線性代數(shù)，和概率的概念。

這本教科書的基礎(chǔ)是算法，并都用Julia編程語言實現(xiàn)。除此之外，附錄中還提供了一些復(fù)習(xí)材料。

從這本書受益最大的學(xué)科有數(shù)學(xué)、統(tǒng)計學(xué)、計算機(jī)科學(xué)、航空航天、電氣工程和運籌學(xué)。

先對本書的部分章節(jié)進(jìn)行詳解：

第一章：概率推理

主要講述了概率推理(Probabilistic Reasoning)，主要包括以下小節(jié)：

• 表示(Representation)
• 推理(Inference)
• 參數(shù)學(xué)習(xí)(Parameter Learning)
• 結(jié)構(gòu)學(xué)習(xí)(Structure Learning)
• 簡單決策(Simple Decisions)

從討論如何用概率分布表示不確定性開始，作者將討論如何構(gòu)建模型，如何使用模型進(jìn)行推斷，以及如何從數(shù)據(jù)中學(xué)習(xí)模型的參數(shù)和結(jié)構(gòu)。

之后，作者介紹了效用理論的基礎(chǔ)，并展示了它是如何在不確定性下形成理性決策的。效用理論可以被納入概率圖形模型，形成所謂的決策網(wǎng)絡(luò)。該章節(jié)將重點放在單步?jīng)Q策上，對連續(xù)決策問題的討論將留到本書的下一部分。

第二章：序列問題

書的第二章主要講述了序列問題(Seqential Problems)，主要包括以下小節(jié)：

• 確切解決方法(Exact Solution Methods)
• 近似值函數(shù)(Approximate Value Functions)
• 在線規(guī)劃(Online Planning)
• 策略搜索(Policy Search)
• 策略梯度估計(Policy Gradient Estimation)
• 策略梯度優(yōu)化(Policy Gradient Optimization)
• Actor-Critic算法(Actor-Critic Methods)
• 策略驗證(Policy Validation)

此前的章節(jié)都假設(shè)在某個時刻所需要做的是單一的決定，但許多重要的問題需要我們做出一系列的決定。

在此情況下，最大期望效用原則仍然適用，但是在序列環(huán)境下的最優(yōu)決策需要對未來的序列操作和觀察進(jìn)行推理。

這本書的這一章節(jié)將討論隨機(jī)環(huán)境中的順序決策問題。作者將在模型已知和環(huán)境完全可觀察的假設(shè)下，關(guān)注順序決策問題的一般公式。在之后的章節(jié)中，作者將會放松這兩個假設(shè)。

本章的討論將從引入序列決策問題的標(biāo)準(zhǔn)數(shù)學(xué)模型——馬爾可夫決策過程開始，主要討論了幾種求精確解的方法、離線和在線近似解決方法的集合，以及一種涉及直接搜索參數(shù)化決策策略空間的方法。

第三章：模型不確定性

主要講述了模型不確定性(Model Uncertainty)，主要包括以下小節(jié)：

• 探索和利用(Exploration and Exploitation)
• 基于模型的方法(Model-Based Methods)
• 脫離模型的方法(Model-Free Methods)
• 模仿學(xué)習(xí)(Imitation Learning)

在討論順序決策問題時，本書假設(shè)轉(zhuǎn)移模型和報酬模型是已知的。然而，在許多問題中，這些模型并不是完全已知的，而且代理必須通過經(jīng)驗學(xué)會進(jìn)一步的操作。

通過觀察狀態(tài)轉(zhuǎn)換獎勵形式的行為結(jié)果，代理選擇能夠最大化其長期獎勵積累的行為，解決這種存在模型不確定性的問題是強(qiáng)化學(xué)習(xí)領(lǐng)域的主題，也是本書這一部分的重點。

在該章中，作者討論了解決模型不確定性的幾個挑戰(zhàn)：

首先，代理必須謹(jǐn)慎地掌握探索環(huán)境和利用基于經(jīng)驗的知識的平衡。

第二，獎勵可能是在重要決定做出很久之后才得到的，所以較晚的獎勵必須分配給較早的決定。

第三，代理必須從有限的經(jīng)驗中進(jìn)行概括。對此，作者回顧了解決這些挑戰(zhàn)的理論和一些關(guān)鍵的算法。

第四章：狀態(tài)不確定性

主要講述了狀態(tài)不確定性(State Uncertainty)，主要包括以下小節(jié)：

• 信念（Beliefs)
• 確切信念狀態(tài)規(guī)劃(Exact Belif State Planning)
• 離線信念狀態(tài)規(guī)劃(Offline Belief State Planning)
• 在線信念狀態(tài)規(guī)劃(Online Belif State Planning)
• 控制器抽象(Controller Abstractions)

前幾章包括了過渡函數(shù)中的不確定性，包括結(jié)果狀態(tài)和模型中的不確定性。在本章中，作者將不確定性擴(kuò)展到狀態(tài)領(lǐng)域。

第19章展示了如何根據(jù)過去的觀察和行動序列更新信念的分布。第20章概述了優(yōu)化策略的精確方法。

第21章回顧了各種離線逼近方法，它們在處理更大的問題時比精確的方法有更好的伸縮性。

第22章擴(kuò)展了在線近似方法以適應(yīng)部分可觀測性。

第23章介紹了有限狀態(tài)控制器，來表示優(yōu)化策略和方法。

第五章：多代理系統(tǒng)

主要講述了多代理系統(tǒng)(Multiagent Systems)，主要包括以下小節(jié)：

• 多代理推理(Multiagent Reasoning)
• 序列問題(Squential Problems)
• 狀態(tài)不確定性(State Uncertainty)
• 協(xié)作代理(Collaborative Agents)

到目前為止，本書主要是從單個代理的角度來進(jìn)行決策。現(xiàn)在，討論的核心概念將會擴(kuò)展到涉及多個代理的問題。

在多代理系統(tǒng)中，我們可以將其他代理模擬為潛在的盟友或?qū)κ郑㈦S著時間的推移相應(yīng)地進(jìn)行調(diào)整。

第24章介紹了博弈中的多代理推理，并概述了如何從簡單的交互作用中計算均衡。

第25章討論了如何為隨著時間的推移而交互的多個主體設(shè)計算法，描述了偏向于理性適應(yīng)而非均衡收斂的學(xué)習(xí)算法。

第26章表明，狀態(tài)不確定性顯著增加了問題的復(fù)雜性，并強(qiáng)調(diào)了這些領(lǐng)域的獨有的挑戰(zhàn)和困難。

第27章重點介紹了協(xié)作代理的各種模型和算法。

以上就是全書大概的介紹啦，感興趣的小伙伴可以去探索一下，還可以下載全書哦，下面是網(wǎng)站鏈接：

https://mykel.kochenderfer.com/textbooks/