【LLM&Agent】PPTAgent:PPT自動生成Agent框架
來看一個PPT生成思路:PPTAgent。傳統的PPT生成方法通常使用端到端的文本生成范式,這種方法僅關注文本內容,忽略了布局設計和PPT結構。PPTAgent 采用了一種基于編輯的生成范式,解決處理空間關系和設計風格方面的挑戰。
傳統方法的每個幻燈片 可以用以下公式表示:
方法
PPTAgent框架
在本文中,PPTAgent 是一個用于自動生成PPT的框架。采用基于編輯的工作流程,分為兩個階段:PPT分析和PPT生成。
階段 I: PPT分析
主要目標是通過幻燈片聚類和內容schema提取,為PPT生成提供結構化和語義化的參考信息。這一階段的結果將直接影響后續階段的生成質量和效率。
- 幻燈片聚類
幻燈片聚類(層次聚類)是將參考PPT中的幻燈片按照其功能和內容進行分組的過程。幻燈片可以分為兩大類:聚類算法:
圖片
- 層次聚類
聚類示例
a.結構性幻燈片:這些幻燈片主要用于支持演示文稿的結構,例如開場幻燈片、過渡幻燈片和結束幻燈片。對于此類幻燈片,PPTAgent利用LLM推斷每個幻燈片的功能角色,并根據這些角色進行分組。這些幻燈片通常具有明顯的文本特征。
b.內容性幻燈片:這些幻燈片主要用于傳達具體的信息,例如包含項目符號、圖表和圖像的幻燈片。對于此類幻燈片,PPTAgent采用基于圖像相似性的層次聚類方法。通過計算幻燈片之間的圖像相似度,將相似的幻燈片歸為一組。
- 內容Schema提取
完成幻燈片聚類后,PPTAgent進一步分析每個聚類的內容Schema,以確保編輯的目標一致性。由于現實世界中的幻燈片可能非常復雜且碎片化,PPTAgent利用LLM的上下文感知能力提取多樣化的內容Schema。PPTAgent定義了一個內容Schema提取框架,其中每個元素由其類別、模態和內容表示。基于這個框架,PPTAgent通過LLM的指令遵循(原文給出了相關prompts)和結構化輸出能力,從每個幻燈片中提取內容Schema。提取過程如下:
a.類別:描述元素的類型,例如文本框、圖像等。
b.模態:描述元素的呈現方式,例如純文本、帶圖形的文本等。
c.內容:描述元素的具體內容,例如文本內容或圖像的替代文本。
階段 II:PPT生成
圖片
第二階段是基于第一階段的分析結果,生成新的PPT。這一階段的核心是通過交互式的編輯過程,利用參考幻燈片和輸入文檔生成目標PPT。步驟包括:生成一個結構化的大綱,指定每個幻燈片的參考幻燈片和相關內容;使用LLMs迭代編輯參考幻燈片以生成新幻燈片;實現五個專門的API,允許LLMs編輯、刪除和復制文本元素,以及編輯和移除視覺元素。
大綱生成:大綱生成是根據人類偏好,指導LLM創建一個結構化的大綱。每個條目指定參考幻燈片、相關文檔部分索引以及新幻燈片的標題和描述。通過利用LLM的規劃和總結能力,結合從參考PPT中提取的語義信息,生成一個連貫且吸引人的大綱,從而指導新PPT的生成過程。
幻燈片生成:幻燈片生成是在大綱的指導下,通過迭代編輯參考幻燈片來生成新幻燈片的過程。為了實現對幻燈片元素的精確操作,PPTAgent實現了五個專門的API,允許LLM編輯、刪除和復制文本元素,以及編輯和刪除視覺元素。此外,為了增強對幻燈片結構的理解,PPTAgent將幻燈片從其原始XML格式轉換為HTML表示,這種表示形式更易于LLM解釋。
實驗
評價指標,現有的指標包括:
- 成功率(Success Rate, SR)
- 困惑度(Perplexity, PPL)
- Fréchet Inception Distance(FID)
PPTEval指標包括:
- 內容(Content)
- 設計(Design)
- 連貫性(Coherence)
- 平均分(Avg.)
這些指標用于評估生成的PPT在不同維度上的質量。
參考文獻
PPTAgent: Generating and Evaluating Presentations Beyond Text-to-Slides,https://arxiv.org/pdf/2501.03936v1