豆包支持帶有指定文字的圖片生成,App已開(kāi)啟測(cè)試
近日,字節(jié)跳動(dòng)旗下智能AI助手豆包升級(jí)文生圖能力,支持一鍵生成指定文本。用戶可以在生圖提示詞中加入文本要求,如“一張帶有「新年快樂(lè)」的圖”,即可生成帶有指定文字的圖片。目前該功能已經(jīng)在豆包APP開(kāi)啟測(cè)試,即夢(mèng)也已小范圍測(cè)試。
(用豆包生成帶有文字的圖片)
對(duì)文生圖模型而言,如何在圖像中精準(zhǔn)生成文本一直是難題,尤其是中文文字,經(jīng)常出現(xiàn)亂碼。據(jù)介紹,相比英文字母,漢字字符結(jié)構(gòu)更復(fù)雜,且字符數(shù)量要多兩個(gè)數(shù)量級(jí)。豆包大模型團(tuán)隊(duì)相關(guān)負(fù)責(zé)人表示,豆包文生圖模型通過(guò)打通LLM和DIT構(gòu)架,具備更好的原生中文數(shù)據(jù)學(xué)習(xí)能力,并在此基礎(chǔ)上強(qiáng)化了漢字生成能力,大幅提升了生成效果。
據(jù)觀察,已有不少用戶嘗試使用該能力制作表情包、梗圖漫畫(huà),或輔助生成海報(bào),并在社交媒體平臺(tái)發(fā)布。據(jù)介紹,當(dāng)前該功能僅支持文生圖時(shí)添加文字,暫不支持上傳圖片生成文字。
(即夢(mèng)內(nèi)測(cè)用戶在社交媒體發(fā)布的圖片)
豆包負(fù)責(zé)人表示,該能力剛剛推出,仍在完善和優(yōu)化中。目前絕大多數(shù)情況下豆包能夠準(zhǔn)確生成指定文字,但仍存在少部分錯(cuò)字、漏字或小字亂碼等情況。“不管文字、圖片、還是音樂(lè)生成功能,豆包都希望能夠降低創(chuàng)作門檻,幫助人們更好地表達(dá)和創(chuàng)造。”
據(jù)悉,豆包網(wǎng)頁(yè)及電腦版也將在近期上線該能力。