你是否曾經(jīng)為如何創(chuàng)作和編輯一篇圖文并茂、排版精美的文章而煩惱？或是為缺乏藝術靈感和設計思路而痛苦？AI技術能否在藝術設計中幫助到我們？今天我們?yōu)榇蠹医榻B的這篇論文，“Automatic Generation of Visual-Textual Presentation Layout”（圖文排版的自動生成算法研究），剛剛被美國計算機學會會刊ACM Transactions on Multimedia Computing, Communications and Applications （TOMM）授予2017 Nicolas D. Georganas 最佳論文獎，希望為大家在進行富媒體內容創(chuàng)作和分享時提供一個獨到的思路和方法。

論文的聯(lián)合作者是楊緒勇（微軟亞洲研究院和中國科技大學聯(lián)合培養(yǎng)博士生，喂車車聯(lián)合創(chuàng)始人）、梅濤（微軟亞洲研究院資深研究員，美國計算機協(xié)會杰出科學家，國際模式識別學會會士）、徐迎慶（前微軟亞洲研究院主管研究員，清華大學美術學院信息藝術設計系主任）、芮勇（前微軟亞洲研究院副院長，聯(lián)想CTO）、李世鵬（前微軟亞洲研究院副院長，硬蛋CTO）。祝賀研究院的各位研究員和院友們！

當今富媒體的內容之多是前所未有的，人們每時每刻都在創(chuàng)造和分享著海量信息，特別是內容繁雜的圖像和文字信息，其中圖文混排的內容模式已經(jīng)成為主流。而在內容創(chuàng)作過程中，人們面臨的一個巨大的挑戰(zhàn)就是如何針對內容多樣的圖像和文字信息來設計吸引眼球的版面（例如，雜志封面、海報、或者PPT演講稿等）。這個問題無論是對于商業(yè)印刷、在線期刊與雜志，還是用戶生成的內容表達，都極為重要。圖文內容的排版涉及到大量的專業(yè)知識，包括視覺傳達、信息藝術設計、色彩與美學、平面規(guī)劃、幾何構圖等等。以往的圖文排版設計工作，不僅需要具有豐富專業(yè)知識的設計師，而且還耗費大量的人工。如何讓計算機根據(jù)圖文內容來自動進行排版是一個非常困難的問題。

從2013年底開始，來自微軟亞洲研究院的研究員與來自清華大學美術學院的藝術設計專家，在這個科學與藝術相融合的領域開展了深入地合作。他們把設計學中的審美原則與可計算的圖像特征相結合，創(chuàng)造性地提出了一個可計算的自動排版框架原型。該原型通過對一系列關鍵問題的優(yōu)化（例如，嵌入在照片中的文字的視覺權重、視覺空間的配重、心理學中的色彩和諧因子、信息在視覺認知和語義理解上的重要性等)，把視覺呈現(xiàn)、文字語義、設計原則、認知理解等領域專家的先驗知識自然地集成到同一個多媒體計算框架之內，并且開創(chuàng)了“視覺文本版面自動設計”這一新的研究方向。

圖1 利用算法自動產生的圖文排版效果。注：原始輸入是一張純圖片（即沒有任何文字）和一段純文本（如主標題和副標題等），輸出是圖文混排的結果（文字嵌入圖片之中）。

這項研究將通用的美學感知進行了體系的數(shù)學表達，構建了一套和主題相關的圖文排版設計模版庫，并提出一套可計算的圖文合成框架原型，既融合了宏觀層面自上而下的美學感知，又包含了微觀層面自下而上的圖文特征。通過融合人臉、文字檢測以及視覺顯著性檢測算法，率先提出了視覺注意力檢測算法，構成了整幅圖像的重要性圖和注意力圖；在針對文字布局的算法中，這篇論文將文字塊的形狀和圖像中的重要性圖交互過程量化為一個能量最優(yōu)化問題：

是圖1中文本侵入顯著視覺對象的成本，即盡量減少文本和重要視覺對象的交叉；表示空閑視覺空間的浪費，即充分利用圖像中的可用視覺空間，以最大化文字的突出效應；而則代表文本塊的語義重要性i 和視覺感知重要性i 之間的不匹配，即將最重要的文字內容匹配到圖像中最重要的視覺區(qū)域，以便于閱讀時快速獲得關鍵信息。能量最優(yōu)化的求解過程，在設計模版的美學感知原則的監(jiān)督下，使得最后的求解結果能符合視覺審美需求，而不僅僅是計算機的最優(yōu)求解結果。

在文本空間布局后，通過對圖像前后景顯著顏色的分析，在色彩和諧最優(yōu)化框架中，保持色彩整體和諧，并最大化文字和背景色彩的差異以使得最后的圖文混排能在全局尊重原圖的色彩和諧性，又能在局部保證文字的可閱讀性。全局色彩的和諧計算采用了著名的“Color Harmonization”中提出的心理學色彩模型，并結合了這篇論文中提出的圖像前后景主題色在不同主題下的模型偏好，從而找到最適合的全局主題色。針對局部的視覺對比度最大化，論文提出了最遠色調角黃金取樣法，即找到文本覆蓋背景下圖像的顯著顏色映射到tone和hue空間，在二維色調空間（tone, hue）求最遠點，并取顯著顏色點到最遠點的黃金分割點。通過整個框架，能完成整個圖文設計在美學感知監(jiān)督下的自動化。

圖2 系統(tǒng)框圖

這篇論文提出的系統(tǒng)允許用戶上傳具體主題的視覺背景圖像以及一些文本語句。并在第二階段對原始圖像進行了處理，通過結合顯著值、臉部、文本以及目光注意力圖以獲取視覺感知圖，進而重新調整圖像的大小，使之符合目標布局尺寸，并根據(jù)視覺感知圖保留重要的區(qū)域。重新調整過的圖像就能用來排列空間分布的布局模板。當圖像調整后，已有的語句、空間布局以及文本就通過第三階段中的能源優(yōu)化工藝重疊在背景圖像上了。在第四階段的文本著色上，首先分析經(jīng)過剪裁的圖像的調色板，同時根據(jù)主題屬性挑選主題色彩。應用特定色相/色調模型、調色板、語義色彩以及內容特點，就可以通過保持局部色彩和諧以及局部可讀性對文本進行重新著色。

圖3 布局算法（a）帶有目光注意力（黃色）的視覺重要性圖（灰色）；（b）從前5個模板中挑選出的模板；（c）輸入文本；（d）排印程序的細節(jié)，這里能源定義為E(L)，通過迭代控制字體高度，在局部優(yōu)化解決方案中會被最小化，；（e）受到下向上的圖像特點和自上向下的空間布局限制的排印結果。

圖4 色彩分析與優(yōu)化的示意圖

這篇論文發(fā)表之后，得到學術界的廣泛關注，從2016年至今在ACM數(shù)據(jù)庫中已有超過260次下載。此外，該項研究不僅具有重要的理論意義，而且具有廣泛的應用價值。例如，論文提出的基于圖像內容的顏色檢測算法已經(jīng)在實際產品Office Sway中得到應用。目前每個月有來自全球60多個國家的超過40多萬用戶在使用Office Sway這一新產品開展設計。

這篇論文展現(xiàn)了多媒體與藝術設計以及顏色心理學幾個不同學科的深度融合，將人工智能的方法用于藝術設計中。可以說，顏色心理學的模型為多媒體設計打開了”心靈“的窗口，而美學設計思維則為多媒體分析展開了想象的翅膀！

論文下載地址：https://www.microsoft.com/en-us/research/publication/automatic-generation-of-visual-textual-presentation-layout/

論文作者

[[200633]]

• 楊緒勇，微軟亞洲研究院和中國科技大學聯(lián)合培養(yǎng)博士生，喂車車聯(lián)合創(chuàng)始人

• 梅濤，微軟亞洲研究院資深研究員，美國計算機協(xié)會杰出科學家，國際模式識別學會會士

• 徐迎慶，前微軟亞洲研究院主管研究員，清華大學美術學院信息藝術設計系主任

• 芮勇，前微軟亞洲研究院副院長，聯(lián)想CTO

• 李世鵬，前微軟亞洲研究院副院長，硬蛋CTO

另外，還特別感謝這篇論文的合作者——來自中國科技大學的博士生吳岳和來自清華美術學院的研究生于俊杰。