深度學習在自然語言處理方面取得了驚人的進步。利用Explosion、Huggingface和JohnSnowLabs的最新創(chuàng)新。

自然語言處理(NLP)一直是計算機科學家的一個長期夢想，其歷史可以追溯到ELIZA時代，甚至可以追溯到計算本身的基本基礎(圖靈測試，有人嗎?)。NLP在過去幾年經(jīng)歷了一場戲劇性的革命，過去的統(tǒng)計方法讓位于基于深度學習或神經(jīng)網(wǎng)絡的方法。

[[439050]]

將深度學習應用于NLP已經(jīng)產(chǎn)生了大量的、復雜的、通用的語言模型，比如GPT-3，能夠生成與人類寫作真正無法區(qū)分的文本。例如，GPT-3解鎖了微軟新的“無代碼”PowerApps平臺中的功能，您可以在其中輸入查詢的自然語言描述，后端將生成代碼(PowerFx表達式基于Excel語法)。

NLP在整個企業(yè)中具有巨大的潛力，不僅僅是像谷歌或微軟這樣的巨頭將產(chǎn)品帶到桌面上。在本文中，我們將介紹三家不同的初創(chuàng)公司，它們的范圍從提供AI驅(qū)動的解決方案到提供構建您自己的自定義NLP解決方案的構建塊。

Explosion

大多數(shù)在NLP圈子工作的開發(fā)人員都接觸過Python流行的NLP庫spaCy，但很少有人聽說過Explosion，這家由Matthew Hannibal和Ines Montani創(chuàng)立的公司開發(fā)了spaCy和商業(yè)注釋工具Prodigy。

作為多年來首屈一指的NLP工具包之一，spaCy能夠毫不費力地處理大量生產(chǎn)工作負載，這是其與其他同類庫的顯著特征之一。如果您有一段時間沒有使用spaCy，您可能會驚訝地發(fā)現(xiàn)它跟上現(xiàn)代NLP技術的前沿，其管道基于預訓練的Transformer模型(如BERT)，能夠集成自定義來自PyTorch或TensorFlow的模型，并支持50多種開箱即用的語言。

雖然spaCy是開源的，但Explosion還提供了一個付費產(chǎn)品Prodigy，它旨在成為數(shù)據(jù)科學家工具包中非常寶貴的一部分，能夠?qū)?shù)據(jù)集進行富有表現(xiàn)力的、可編寫腳本的注釋，不僅與spaCy有緊密的交互循環(huán)，而且還具有全面的支持注釋圖像、音頻和視頻。Prodigy提供了用于構建用于分類、轉錄、邊界框等的管道的方法。這些應該允許數(shù)據(jù)科學家在數(shù)據(jù)集的高效注釋方面發(fā)揮更積極的作用，從而降低構建豐富輸入數(shù)據(jù)和創(chuàng)建更好模型的成本。

Huggingface

從提供基于Transformer的NLP模型和Write With Transformer網(wǎng)站的PyTorch庫的公司，到如今的Huggingface無所不能的NLP巨頭，這是一段相當長的旅程。如今，Huggingface的Transformers庫不僅是文本處理的事實上的標準，而且從找到新論文或技術到將其放入庫之間的周轉時間通常以天而不是周來衡量。

Huggingface模型動物園已經(jīng)擴展到各種不同模型(包括領域、語言、大小等主題)的模型中心，包括一個托管推理API，該API擁有許多模型的加速實現(xiàn)，以及一個易于使用的API用于處理大量不同的數(shù)據(jù)集。你會發(fā)現(xiàn)Huggingface被數(shù)千家公司使用，從Grammarly之類的應用程序到微軟、谷歌和Facebook的研究用途。最重要的是，Huggingface為機器學習生態(tài)系統(tǒng)貢獻了其他較小的庫，例如最近的Accelerate庫，它消除了在一組分布式機器上訓練大型模型的大部分麻煩。

Huggingface也沒有放慢腳步。最近幾個月，我們已經(jīng)看到音頻和圖像模型被添加到平臺中，隨著Transformer架構繼續(xù)在深度學習領域占據(jù)一席之地，征服所有道路，Huggingface很可能會站在最前沿。

JohnSnowLabs

JohnSnowLabs是SparkNLP的管理者，SparkNLP是一個開源NLP框架，它運行在ApacheSpark之上也許并不奇怪。在企業(yè)中非常受歡迎，您會發(fā)現(xiàn)它為公司中的各種NLP管道提供支持，用于命名實體識別(NER)、信息檢索、分類和情感分析等應用程序。與spaCy一樣，它已經(jīng)演變?yōu)檫m應NLP中的新范式，標準配備了大量深度學習模型(超過700個!)和400多個用于各種不同應用程序的管道。它還利用ApacheSpark的可擴展性，比許多競爭對手更容易進行分布式部署。

有趣的一件事是，JohnSnowLabs在SparkNLP的基礎上構建了三種付費產(chǎn)品，其中兩種主要針對醫(yī)療保健行業(yè)，另一種也主要針對該領域，但可以用于其他領域。他們提供HealthcareAI，一個運行在Kubernetes之上的托管平臺，用于醫(yī)療保健分析和研究，以及一組用于SparkNLP的附加包，允許使用諸如臨床實體識別和鏈接、提取醫(yī)學概念和去識別文本等方法.

另一個付費產(chǎn)品是SparkOCR，它聲稱是同類中最好的OCR解決方案。它以DICOM格式和PDF捕獲區(qū)域和輸出的能力對醫(yī)療保健領域略有偏見，但具有一套更通用的圖像處理、去噪、去歪斜管道，當然可以與SparkNLP集成以輕松生成可擴展的管道，可以從任何給定的輸入圖像中進行端到端的NER提取。

SparkNLP中有很多嵌入的知識，在醫(yī)療保健領域，JohnSnowLabs似乎比其他大型NLP庫提供商更具優(yōu)勢!

NLP的下一步是什么

未來幾個月人們可能會在NLP領域看到什么?我想還有更多相同的地方，但更大;萬億參數(shù)模型現(xiàn)在在谷歌、微軟和Facebook等公司變得越來越重要。雖然GPT-3目前被鎖定在OpenAI的API后面，但預計GPT-NeoX的開源“再創(chuàng)造”將在今年某個時候發(fā)布1750億參數(shù)模型，將GPT-3生成能力的力量帶到漂亮的這個星球上的任何人。

最后，我們可以期待研究人員在規(guī)模的另一端繼續(xù)努力，試圖讓這些架構在更小的設備和更長的文檔上運行得更快、更高效。而且您可以放心，所有這些研究的結果也將出現(xiàn)在Explosion、Huggingface和JohnSnowLabs的產(chǎn)品中。