你好，朋友們。在這篇博客文章中，我想分享我們在使用人工智能技術(shù)自主生成數(shù)據(jù)標(biāo)簽方面所做的工作。

標(biāo)記數(shù)據(jù)的上下文需求示例

為了監(jiān)督模型檢測對象–“香蕉”，注釋的標(biāo)簽被饋送給模型，使得它可以學(xué)習(xí)香蕉像素的表示，并且將它們定位在上下文中，然后可以使用該上下文來推斷未見/新的數(shù)據(jù)。實(shí)例分割任務(wù)的目的是檢測對象，定位這些對象，并提供它們的數(shù)量、大小和形狀信息。我們使用了這樣一種最先進(jìn)的實(shí)例細(xì)分模型-“Mask R-CNN”作為我們框架的核心骨干，但是這里可以根據(jù)他們的需求和目標(biāo)使用任何其他的網(wǎng)絡(luò)體系結(jié)構(gòu)。我們堅(jiān)持使用掩模R-CNN，因?yàn)樗跈z測圖像中的目標(biāo)的同時(shí)為每個(gè)目標(biāo)生成高質(zhì)量的分割掩模。對于我們檢測COVID感染的特定測試用例來說，感染區(qū)域的精確定位是至關(guān)重要的，因此像素級檢測在這種情況下更合適。

我們的工具流水線如下所示，主要由探測器跟蹤器、自動標(biāo)簽?zāi)K和將機(jī)器標(biāo)注標(biāo)簽輸出并保存到磁盤的I/O模塊組成。

步驟1：-目標(biāo)檢測和跟蹤以進(jìn)行像素級分類

自定義弱訓(xùn)練MASK-RCNN模型用于檢測COVID感染，標(biāo)記實(shí)例很少(<10個(gè)樣本)。為了標(biāo)記感染區(qū)域，我們使用了VIA(VIA)圖像標(biāo)注工具。它是一款簡單而獨(dú)立的圖像、音頻和視頻手動注釋軟件。VIA在Web瀏覽器中運(yùn)行，不需要任何安裝或設(shè)置。完整的VIA軟件可以安裝在單個(gè)獨(dú)立的HTML頁面中，該頁面的大小小于400KB，在大多數(shù)現(xiàn)代Web瀏覽器中作為離線應(yīng)用程序運(yùn)行。VIA是一個(gè)完全基于HTML、Javascript和CSS(不依賴外部庫)的開源項(xiàng)目。VIA是由視覺幾何集團(tuán)(VGG)開發(fā)的，并根據(jù)BSD-2條款許可發(fā)布，這使得它既可用于學(xué)術(shù)項(xiàng)目，也可用于商業(yè)應(yīng)用。檢測器用于獲取定位的掩碼、邊界框和類。其次，采用中心跟蹤算法對輸入視頻數(shù)據(jù)流上的多個(gè)感染區(qū)域進(jìn)行統(tǒng)一跟蹤和標(biāo)記。下面給出了我們的MASK-RCNN Covid探測器的一個(gè)片段。 第2步：-逐幀標(biāo)記數(shù)據(jù) 來自預(yù)先訓(xùn)練的檢測器模型的推斷被用來獲得邊界框的位置，并創(chuàng)建JSON元數(shù)據(jù)。一旦使用Mask-RCNN分割幀，就會生成相應(yīng)的感興趣區(qū)域(ROI)。此外，生成每個(gè)ROI的掩碼，然后在整個(gè)圖像幀上進(jìn)行輪廓檢測。然后，從等高線中提取(x，y)坐標(biāo)。最后，這些形狀、區(qū)域和坐標(biāo)屬性逐幀保存到磁盤。下面給出了我們的自動標(biāo)記算法的片段。 示例-冠狀病毒感染檢測和自動標(biāo)記 我們測試了我們的方法，目標(biāo)是為Covid感染區(qū)域生成自動計(jì)算機(jī)標(biāo)簽。機(jī)器生成標(biāo)簽和人工注釋標(biāo)簽的結(jié)果如下所示。可以看出，自動注釋引擎生成可用于重新訓(xùn)練對象檢測模型或生成可用于不同任務(wù)的更多注釋數(shù)據(jù)的合成標(biāo)簽的相當(dāng)好的質(zhì)量。