2017年，谷歌團隊在論文「Attention Is All You Need」提出了開創性的NLP架構Transformer，自此一路開掛。

多年來，這一架構風靡微軟、谷歌、Meta等大型科技公司。就連橫掃世界的ChatGPT，也是基于Transformer開發的。

而就在今天，Transformer在GitHub上星標破10萬大關！

Hugging Face，最初只是一個聊天機器人程序，因其作為Transformer模型的中心而聲名鵲起，一舉成為聞名世界的開源社區。

為了慶祝這一里程碑，Hugging Face也總結了100個基于Transformer架構搭建的項目。

Transformer引爆機器學習圈

2017年6月，谷歌發布「Attention Is All You Need」論文時，或許誰也沒有想到這個深度學習架構Transformer能夠帶來多少驚喜。

從誕生至今，Transformer已經成為AI領域的基石王者。19年，谷歌還專門為其申請了專利。

隨著Transformer在NLP領域占據了主流地位，還開始了向其他領域的跨界，越來越多的工作也開始嘗試將其引到CV領域。

看到Transformer突破這一里程碑，許多網友甚是激動。

「我一直是許多受歡迎的開源項目的貢獻者，但看到Transformer在GitHub上達到10萬顆星，還是很特別的！」

前段時間Auto-GPT的GitHub星量超過了pytorch引起了很大的轟動。

網友不禁好奇Auto-GPT和Transformer相比呢？

其實，Auto-GPT遠遠超過了Transformer，已經有13萬星。

目前，Tensorflow有17多萬星。可見，Transformer是繼這兩個項目之后，第三個星標破10萬的機器學習庫。

還有網友回憶起了最初使用Transformers庫時，那時的名字叫「pytorch-pretrained-BERT」。

基于Transformer的50個超贊項目

Transformers不僅是一個使用預訓練模型的工具包，它還是一個圍繞Transformers和Hugging Face Hub構建的項目社區。

在下面列表中，Hugging Face總結了100個基于Transformer搭建的讓人驚嘆的新穎項目。

以下，我們節選了前50個個項目進行介紹：

gpt4all

gpt4all是一個開源聊天機器人生態系統。它是在大量干凈的助手數據集合上訓練出來的，包括代碼、故事和對話。它提供開源的大型語言模型，如LLaMA和GPT-J，以助理的方式進行訓練。

關鍵詞: 開源，LLaMa，GPT-J，指令，助手

recommenders

這個存儲庫包含構建推薦系統的示例和最佳實踐，以Jupiter筆記本形式提供。它涵蓋了建立有效推薦系統所需的幾個方面: 數據準備、建模、評估、模型選擇和優化，以及操作化。

關鍵詞：推薦系統，AzureML

lama-cleaner

基于Stable Diffusion技術的圖像修復工具。可以從圖片中擦出任何你不想要的物體、缺陷、甚至是人，并替換圖片上的任何東西。

關鍵詞：修補，SD，Stable Diffusion

flair

FLAIR是一個強大的PyTorch自然語言處理框架，可以轉換幾個重要的任務：NER、情感分析、詞性標注、文本和對偶嵌入等。

關鍵詞：NLP，文本嵌入，文檔嵌入，生物醫學，NER，PoS，情感分析

mindsdb

MindsDB是一個低代碼的機器學習平臺。它將幾個ML框架作為「AI表」自動集成到數據棧中，以簡化AI在應用程序中的集成，讓所有技能水平的開發人員都能使用。

關鍵詞：數據庫，低代碼，AI表

langchain

Langchain旨在協助開發兼容 LLM 和其他知識來源的應用程序。該庫允許對應用程序進行鏈式調用，在許多工具中創建一個序列。

關鍵詞：LLM，大型語言模型，智能體，鏈

ParlAI

ParlAI是一個用于分享、訓練和測試對話模型的python框架，從開放領域的聊天，到面向任務的對話，再到可視化問題回答。它在同一個API下提供了100多個數據集，許多預訓練模型，一組智能體，并有幾個集成。

關鍵詞：對話，聊天機器人，VQA，數據集，智能體

sentence-transformers

這個框架提供了一種簡單的方法來計算句子、段落和圖像的密集向量表示。這些模型基于BERT/RoBERTa/XLM-RoBERTa等Transformer為基礎的網絡，并在各種任務中取得SOTA。文本嵌入到向量空間中，這樣類似的文本就很接近，可以通過余弦相似度高效找到。

關鍵詞：密集向量表示，文本嵌入，句子嵌入

ludwig

Ludwig是一個聲明式的機器學習框架，使用一個簡單而靈活的數據驅動的配置系統，可以輕松定義機器學習pipelines。Ludwig針對的是各類AI任，提供了一個數據驅動的配置系統，訓練、預測和評估腳本，以及一個編程的API。

關鍵字：聲明式，數據驅動，ML 框架

InvokeAI

InvokeAI是Stable Diffusion模型的一個引擎，面向專業人士、藝術家和愛好者。它通過CLI以及WebUI來利用最新的AI驅動技術。

關鍵詞：Stable Diffusion，WebUI，CLI

PaddleNLP

PaddleNLP是一個易于使用且功能強大的NLP庫，特別是針對中文語言。它支持多個預訓練的模型動物園，并支持從研究到工業應用的廣泛的NLP任務。

關鍵詞：自然語言處理，漢語，研究，工業

stanza

斯坦福大學NLP小組的官方Python NLP庫。它支持在60多種語言上運行各種精確的自然語言處理工具，并支持從Python訪問Java Stanford CoreNLP軟件。

關鍵詞：NLP，多語言，CoreNLP

DeepPavlov

DeepPavlov是一個開源的對話式人工智能庫。它被設計用于開發可生產的聊天機器人，和復雜的對話系統，以及在NLP領域的研究，特別是對話系統。

關鍵詞：對話，聊天機器人

alpaca-lora

Alpaca-lora包含了使用低秩適應（LoRA）重現斯坦福大學Alpaca結果的代碼。該資源庫提供訓練（微調）以及生成腳本。

關鍵詞：LoRA，參數高效微調

imagen-pytorch

一個Imagen的開源實現，谷歌的封閉源文本到圖像的神經網絡擊敗了DALL-E2。imagen-pytorch是用于文本到圖像合成的新SOTA。

關鍵詞：Imagen，文生圖

adapter-transformers

adapter-transformers是Transformers 庫的一個擴展，通過納入AdapterHub，將適配器集成到最先進的語言模型中，AdapterHub是一個預訓練的適配器模塊的中央存儲庫。它是Transformers的直接替代品，定期更新以保持與Transformers發展同步。

關鍵字：適配器，LoRA，參數高效微調，Hub

NeMo

NVIDIA NeMo是為從事自動語音識別（ASR）、文本-語音合成（TTS）、大語言模型和自然語言處理的研究人員構建的會話AI工具包。NeMo的主要目標是幫助來自工業界和學術界的研究人員重新利用以前的工作（代碼和預先訓練的模型），并使其更容易創建新的項目。

關鍵詞：對話，ASR，TTS，LLM，NLP

Runhouse

Runhouse允許用Python將代碼和數據發送到任何計算機或數據下層，并繼續從現有代碼和環境正常地與它們進行交互。Runhouse開發者提到：

可以將它看作 Python 解釋器的擴展包，它可以繞道遠程機器或操作遠程數據。

關鍵詞: MLOps，基礎設施，數據存儲，建模

MONAI

MONAI是PyTorch生態系統的一部分，是一個基于PyTorch的開源框架，用于醫療成像領域的深度學習。它的目標是:

- 發展一個學術、工業和臨床研究人員的共同基礎上的合作社區；

- 為醫療成像創建SOTA、端到端訓練的工作流程；

- 為深度學習模型的建立和評價提供了優化和標準化的方法。

關鍵詞：醫療成像，訓練，評估

simpletransformers

Simple Transformers讓您快速訓練和評估Transformer模型。初始化、訓練和評估模型只需要3行代碼。它支持各種各樣的 NLP 任務。

關鍵詞：框架，簡單性，NLP

JARVIS

JARVIS是一個將GPT-4等在內的LLM與開源機器學習社區其他模型合并的系統，利用多達60個下游模型來執行 LLM 確定的任務。

關鍵詞：LLM，智能體，HF Hub

transformers.js

transformers.js是一個JavaScript庫，目標是直接在瀏覽器中從transformers運行模型。

關鍵詞：Transformers，JavaScript，瀏覽器

bumblebee

Bumblebee在Axon之上提供了預訓練的神經網絡模型，Axon是用于Elixir語言的神經網絡庫。它包括與模型的集成，允許任何人下載和執行機器學習任務，只需要幾行代碼。

關鍵詞：Elixir，Axon

argilla

Argilla是一個提供高級NLP標簽、監控和工作區的開源平臺。它與許多開源生態系統兼容，例如Hugging Face、Stanza、FLAIR等。

關鍵詞：NLP，標簽，監控，工作區

haystack

Haystack是一個開源的NLP框架，可以使用Transformer模型和LLM與數據進行交互。它為快速構建復雜的決策制定、問題回答、語義搜索、文本生成應用程序等提供了可用于生產的工具。

關鍵詞：NLP，Framework，LLM

spaCy

SpaCy是一個用于Python和Cython中高級自然語言處理的庫。它建立在最新的研究基礎之上，從一開始就被設計用于實際產品。它通過其第三方軟件包spacy-transformers為Transformers模型提供支持。

關鍵詞：NLP，架構

speechbrain

SpeechBrain是一個基于PyTorch的開源、一體化的會話AI工具包。我們的目標是創建一個單一的、靈活的、用戶友好的工具包，可以用來輕松開發最先進的語音技術，包括語音識別、講話者識別、語音增強、語音分離、語言識別、多麥克風信號處理等系統。

關鍵詞：對話，演講

skorch

Skorch是一個包裝PyTorch的具有scikit-learn兼容性的神經網絡庫。它支持Transformers中的模型，以及來自標記器的標記器。

關鍵詞：Scikit-Learning，PyTorch

bertviz

BertViz是一個交互式工具，用于在諸如BERT、GPT2或T5之類的Transformer語言模型中可視化注意力。它可以通過支持大多數Huggingface模型的簡單Python API在Jupiter或Colab筆記本中運行。

關鍵詞：可視化，Transformers

mesh-transformer-jax

mesh-transformer-jax是一個俳句庫，使用JAX中的xmap/pjit運算符實現Transformers模型并行性。

這個庫被設計為在TPUv3上可擴展到大約40B的參數。它是用來訓練GPT-J模型的庫。

關鍵詞：俳句，模型并行，LLM，TPUdeepchem

OpenNRE

一種用于神經關系提取的開源軟件包（NRE）。它的目標用戶范圍很廣，從新手、到開發人員、研究人員或學生。

關鍵詞：神經關系抽取，框架

pycorrector

一種中文文本糾錯工具。該方法利用語言模型檢測錯誤、拼音特征和形狀特征來糾正漢語文本錯誤。可用于漢語拼音和筆畫輸入法。

關鍵詞: 中文，糾錯工具，語言模型，Pinyin

nlpaug

這個python庫可以幫助你為機器學習項目增強nlp。它是一個輕量級的庫，具有生成合成數據以提高模型性能的功能，支持音頻和文本，并與幾個生態系統（scikit-learn、pytorch、tensorflow）兼容。

關鍵詞：數據增強，合成數據生成，音頻，自然語言處理

dream-textures

dream-textures是一個旨在為Blender帶來穩定擴散支持的庫。它支持多種用例，例如圖像生成、紋理投影、內畫/外畫、 ControlNet和升級。

關鍵詞: Stable-Diffusion，Blender

seldon-core

Seldon core將你的ML 模型（Tensorflow、 Pytorch、 H2o等）或語言包裝器（Python、 Java等）轉換為生產 REST/GRPC微服務。Seldon可以處理擴展到數以千計的生產機器學習模型，并提供先進的機器學習功能，包括高級指標、請求日志、解釋器、離群值檢測器、A/B測試、Canaries等。

關鍵詞：微服務，建模，語言包裝

open_model_zoo

該庫包括優化的深度學習模型和一組演示，以加快高性能深度學習推理應用程序的開發。使用這些免費的預訓練模型，而不是訓練自己的模型來加速開發和生產部署過程。

關鍵詞：優化模型，演示

ml-stable-diffusion

ML-Stable-Diffusion是蘋果在蘋果芯片設備上為Core ML帶來Stable Diffusion支持的一個倉庫。它支持托管在Hugging Face Hub上的穩定擴散檢查點。

關鍵詞：Stable Diffusion，蘋果芯片，Core ML

stable-dreamfusion

Stable-Dreamfusion是文本到3D模型Dreamfusion的pytorch實現，由Stable Diffusion文本到2D模型提供動力。

關鍵詞：文本到3D，Stable Diffusion

txtai

Txtai是一個開源平臺，支持語義搜索和語言模型驅動的工作流。Txtai構建了嵌入式數據庫，它是向量索引和關系數據庫的結合，支持SQL近鄰搜索。語義工作流將語言模型連接到統一的應用程序中。

關鍵詞：語義搜索，LLM

djl

Deep Java Library (DJL)是一個用于深度學習的開源、高級、引擎無關的Java框架，易于開發人員使用。DJL像其他常規Java庫一樣提供了本地Java開發經驗和函數。DJL為HuggingFace Tokenizer提供了Java綁定，并為HuggingFace模型在Java中部署提供了簡單的轉換工具包。

關鍵詞：Java，架構

lm-evaluation-harness

該項目提供了一個統一的框架，以測試生成語言模型在大量不同的評估任務。它支持200多項任務，并支持不同的生態系統：HF Transformers，GPT-NeoX，DeepSpeed，以及OpenAI API。

關鍵詞：LLM，評估，少樣本

gpt-neox

這個資源庫記錄了EleutherAI用于在GPU上訓練大規模語言模型的庫。該框架以英偉達的Megatron語言模型為基礎，并以DeepSpeed的技術和一些新的優化來增強。它的重點是訓練數十億參數的模型。

關鍵詞：訓練，LLM，Megatron，DeepSpeed

muzic

Muzic是一個關于人工智能音樂的研究項目，它能夠通過深度學習和人工智能來理解和生成音樂。Muzic是由微軟亞洲研究院的研究人員創建的。

關鍵詞：音樂理解，音樂生成

dalle-flow

DALL · E Flow是一個交互式工作流程，用于從文本提示符生成高清圖像。它利用DALL · E-Mega、GLID-3 XL和Stable Diffusion生成候選圖像，然后調用CLIP-as-service對候選圖像進行提示排序。首選的候選者被饋送到GLID-3 XL進行擴散，這通常會豐富紋理和背景。最后，通過SwinIR將候選項擴展到1024x1024。

關鍵詞：高清度圖像生成，Stable Diffusion，DALL-E Mega，GLID-3 XL，CLIP，SwinIR

lightseq

LightSeq是在CUDA中實現的用于序列處理和生成的高性能訓練和推理庫。它能夠高效地計算現代NLP和CV模型，如BERT，GPT，Transformer等。因此，它對于機器翻譯、文本生成、圖像分類和其他與序列相關的任務非常有用。

關鍵詞：訓練，推理，序列處理，序列生成

LaTeX-OCR

該項目的目標是創建一個基于學習的系統，該系統采用數學公式的圖像，并返回相應的LaTeX代碼。

關鍵詞：OCR，LaTeX，數學公式

open_clip

OpenCLIP是OpenAI的CLIP的開源實現。

這個資源庫的目標是使具有對比性的圖像-文本監督的訓練模型成為可能，并研究它們的屬性，如對分布轉移的魯棒性。項目的出發點是CLIP的實現，當在相同的數據集上訓練時，與原始CLIP模型的準確性相匹配。

具體來說，一個以OpenAI的1500萬圖像子集YFCC為代碼基礎訓練的ResNet-50模型在ImageNet上達到32.7%的最高準確率。

關鍵詞：CLIP，開源，對比，圖像文本

dalle-playground

一個playground生成圖像從任何文本提示使用Stable Diffusion和Dall-E mini。

關鍵詞：WebUI，Stable Diffusion，Dall-E mini

FedML

FedML是一個聯邦學習和分析庫，能夠在任何地方、任何規模的分散數據上進行安全和協作的機器學習。

關鍵詞：聯邦學習，分析，協作機器學習，分散