AI架構(gòu)系列：去其形而留其意 原創(chuàng)
最近很多的咨詢都在問我相同的問題，如何將LLM集成到垂直領(lǐng)域的業(yè)務(wù)場景。這里提到的場景當(dāng)然這些場景不再是生成式應(yīng)用，而是較為專業(yè)的領(lǐng)域。我翻了一篇三月份的論文，以這篇論文來回答讀者的問題。其實(shí)就是要將LLM去其形，而留其意。
LLM的主要戰(zhàn)場還是在于自然語言的理解。其一它的特點(diǎn)是大，其二它的內(nèi)核為Transformer引擎，這種引擎能夠在所有的輸入中提取有用的關(guān)聯(lián)信息。這些信息可以是自然語言識別，也可以是時(shí)序數(shù)據(jù)，也可以是基于時(shí)點(diǎn)的場景快照。其三，它具備一定的推理能力。
它的弱點(diǎn)就是它畢竟還是模型，依賴于數(shù)據(jù)，而每次接受新的數(shù)據(jù)，需要重新校正它的認(rèn)知，這個(gè)的功耗還是很大，的確比不上人腦。外掛知識庫也是一種辦法，只不過和大家考試之前臨時(shí)抱佛腳一樣，還是無法融會(huì)貫通。
理解了上面的內(nèi)容之后，如何將現(xiàn)實(shí)場景和LLM結(jié)合，若不想自己構(gòu)建自己的深度學(xué)習(xí)模型，那么如何依靠現(xiàn)有開源的LLM，那些從一個(gè)例子入手：紅綠燈。
大都市地區(qū)的交通擁堵帶來了巨大的挑戰(zhàn)，交通信號控制（TSC）系統(tǒng)在這項(xiàng)工作中至關(guān)重要。傳統(tǒng)的TSC系統(tǒng)基于基于規(guī)則的算法或強(qiáng)化學(xué)習(xí)（RL）設(shè)計(jì)，在管理城市交通流量的復(fù)雜性和可變性方面經(jīng)常表現(xiàn)出缺陷，受到對陌生場景的適應(yīng)能力的限制。
這篇論文的研究提出一種思路，將大型語言模型LLMs集成到TSC中，利用其先進(jìn)的推理和決策能力。論文提出一種混合框架，LLMs該框架通過一套感知和決策工具進(jìn)行增強(qiáng)，便于對靜態(tài)和動(dòng)態(tài)交通信息的查詢。這種設(shè)計(jì)將外部LLM交通數(shù)據(jù)與已建立的TSC方法相結(jié)合。研究還涉及了一套仿真系統(tǒng)證明該系統(tǒng)能夠適應(yīng)多種交通環(huán)境，而無需額外的培訓(xùn)。外掛知識庫RAG在這里替換為感知和決策工具，有點(diǎn)類似代理（Agent）意思。
a展示了傳統(tǒng)的TSC系統(tǒng)，其決策是由處理環(huán)境輸入的算法直接做出的。b描述了研究的LA-Light框架，該框架采用一個(gè)LLM來執(zhí)行交通信號控制的任務(wù)。在LA-Light中，首先LLM從增強(qiáng)的集合中選擇最相關(guān)的工具，包括感知工具和決策算法，以收集和分析交通數(shù)據(jù)。然后它評估信息，根據(jù)需要調(diào)整其工具選擇，直到制定明確的交通控制決策。
直觀一點(diǎn)界面如上。這篇論文的好處在于可以舉一反三，從其中可以學(xué)習(xí)抽象出讀者所處各個(gè)領(lǐng)域的場景應(yīng)用框架。
首先先定義任務(wù)(Task)，然后定義環(huán)境(Enviroment)，這里很關(guān)鍵。在實(shí)際的業(yè)務(wù)場景中存在很多的時(shí)點(diǎn)數(shù)據(jù)。怎么理解時(shí)點(diǎn)數(shù)據(jù)，可以想象一下，每隔1s將時(shí)間暫停，那么就有了一個(gè)快照數(shù)據(jù)。如何定義這個(gè)場景快照需要架構(gòu)師的智慧，尤其是對于業(yè)務(wù)的理解。上圖每1s的交通圖就是一個(gè)快照數(shù)據(jù)。
緊著這定義動(dòng)態(tài)指標(biāo)數(shù)據(jù)<例如實(shí)時(shí)的交通數(shù)據(jù)，其他車輛數(shù)據(jù)，時(shí)點(diǎn)的擁堵指標(biāo)體系>，這里涉及到了實(shí)時(shí)數(shù)據(jù)倉庫。還有就是整合一些橫向的時(shí)點(diǎn)信息，包括潮汐車道，道路維度，引流等規(guī)則、策略和最新事件。當(dāng)然也可以給它提供這個(gè)領(lǐng)域的封裝好的工具庫，讓其自行選擇調(diào)用輔助評估。
將上面的這些信息和數(shù)據(jù)按照一定的提示模板進(jìn)行拼接，然后形成Prompt丟給大模型，獲取結(jié)果。
很多讀者會(huì)發(fā)問，這是否可行。其實(shí)是可行的，但是精確度一開始肯定是不高的。不過這個(gè)過程最重要的是將時(shí)點(diǎn)數(shù)據(jù)進(jìn)行及時(shí)的采集、存儲(chǔ)和標(biāo)注，無論是實(shí)時(shí)采集，還是上下文的橫向數(shù)據(jù)，它們就是寶貴的數(shù)據(jù)資產(chǎn)。FSD最強(qiáng)大的還是在于它的道路數(shù)據(jù)和標(biāo)注數(shù)據(jù)，因?yàn)檫@些數(shù)據(jù)可以用來訓(xùn)練，也可以用來仿真。未來數(shù)據(jù)達(dá)到一定的規(guī)模，讀者可以考慮自行微調(diào)大模型，或者直接構(gòu)建仿真系統(tǒng)，畢竟八卡或者十六卡的頂流GPU還是能供得起的~
