人大附高中生中NeurIPS，入選高中賽道Spotlight，頂會(huì)真卷到中學(xué)了

作者：量子位 2024-09-29 13:24:41

人工智能新聞

NeurIPS率先把AI頂會(huì)卷到了高中里，正式面向高中生征集論文，還為此專(zhuān)門(mén)設(shè)置了高中生賽道（High School Projects Track）。

NeurIPS 2024放榜，人大附中有高中生一作入選。

今年，NeurIPS率先把AI頂會(huì)卷到了高中里，正式面向高中生征集論文，還為此專(zhuān)門(mén)設(shè)置了高中生賽道（High School Projects Track）。

現(xiàn)在結(jié)果終于出爐，北京大學(xué)計(jì)算機(jī)學(xué)院的張銘教授分享了一則入圍消息：

人大附中吳悠，有一篇一作論文入選該賽道，還被選為了Spotlight Project。

論文題為《Vision-Braille：An End-to-End Tool for Chinese Braille Image-to-Text Translation》，提出了一種中文盲文圖像到文本的端到端翻譯工具。

據(jù)張銘教授介紹，吳悠在2022年高一加入她的課題組時(shí)，就提出了這個(gè)項(xiàng)目的想法。

端到端中文盲文圖像到文本翻譯工具

具體來(lái)說(shuō)，該項(xiàng)目基于谷歌的mT5模型，采用Curriculum Learning（課程學(xué)習(xí)）方法微調(diào)出了一個(gè)盲文翻譯模型。

其中的難點(diǎn)主要包括幾個(gè)方面：

缺少數(shù)據(jù)集：中文盲文翻譯數(shù)據(jù)集非常稀缺，數(shù)據(jù)的采集也比較困難，需要耗費(fèi)大量人力。
盲文數(shù)據(jù)的特殊性：盲文通過(guò)最多三個(gè)單元格來(lái)表示每個(gè)漢字的發(fā)音，即聲母、韻母和音調(diào)。但在實(shí)際使用中，盲文使用者通常會(huì)省略大部分聲調(diào)符號(hào)，這給盲文翻譯帶來(lái)了挑戰(zhàn)。
同音字混淆：中文中存在大量同音字，并且由于聲調(diào)符號(hào)經(jīng)常被省略，同音字的區(qū)分變得更加困難。

為此，論文作者們首先構(gòu)建了一組中文-盲文數(shù)據(jù)集，包括Chinese-Braille-Full-Tone、Chinese-Braille-No-Tone和Chinese-Braille-10per-Tone。

作者從萊比錫數(shù)據(jù)集中收集了100萬(wàn)個(gè)不同的中文句子，使用中文盲文在線平臺(tái)提供的工具，將收集到的中文句子轉(zhuǎn)換為“全音”盲文。

而后，為了模擬真實(shí)世界中盲文使用者省略聲調(diào)的情況，作者識(shí)別出這些盲文中代表聲調(diào)的部分，并隨機(jī)去除了其中90%的聲調(diào)，創(chuàng)建Chinese-Braille-10per-Tone以反映現(xiàn)實(shí)世界中中文盲文的使用情況。

數(shù)據(jù)按照8:1:1的比例被劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

訓(xùn)練方法方面，作者使用RetinaNet來(lái)執(zhí)行盲文OCR任務(wù)，將盲文圖像轉(zhuǎn)換為數(shù)字盲文字符。

接著，采用課程學(xué)習(xí)策略——即從簡(jiǎn)單到復(fù)雜地安排訓(xùn)練任務(wù)，分三個(gè)階段微調(diào)了多語(yǔ)言Transformer模型mT5：

第一階段：使用Chinese-Braille-Full-Tone數(shù)據(jù)集作為訓(xùn)練的簡(jiǎn)單部分，讓模型學(xué)習(xí)基本的翻譯規(guī)則。這個(gè)數(shù)據(jù)集中的盲文包含完整的聲調(diào)信息。

第二階段：使用Chinese-Braille-No-Tone數(shù)據(jù)集，讓模型在沒(méi)有聲調(diào)信息的情況下，學(xué)會(huì)根據(jù)上下文猜測(cè)正確的中文字符。

第三階段：使用Chinese-Braille-10per-Tone數(shù)據(jù)集，讓模型更好地適應(yīng)實(shí)際應(yīng)用場(chǎng)景。

實(shí)驗(yàn)結(jié)果顯示，在驗(yàn)證集和測(cè)試集上，該模型的BLEU得分分別達(dá)到了62.4和62.3，顯著提高了盲文翻譯的準(zhǔn)確度。

論文作者已經(jīng)放出了項(xiàng)目Demo，效果是醬嬸的，感興趣的小伙伴們可以戳文末鏈接自行測(cè)試：

（正確答案：不過(guò)，對(duì)于自己外向的性格，埃托奧說(shuō)，“這就是真實(shí)的我，我不會(huì)為此改變。）

該項(xiàng)目是在吳悠高三時(shí)完成。張銘教授透露，他目前已進(jìn)入康奈爾大學(xué)就讀計(jì)算機(jī)和生物醫(yī)藥工程專(zhuān)業(yè)。

論文致謝中提到，吳悠主要是在張銘教授博士生、論文第二作者袁野的指導(dǎo)下完成了這項(xiàng)研究。

張銘，北京大學(xué)計(jì)算機(jī)學(xué)院教授，博士生導(dǎo)師，研究領(lǐng)域包括文本挖掘、知識(shí)圖譜、圖神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)教育研究等。她合作發(fā)表的科研學(xué)術(shù)論文曾獲ICML 2014最佳論文、ICDM 2022最佳論文提名等榮譽(yù)。Google Scholar顯示，她的論文引用量接近2萬(wàn)，h指數(shù)為48。