揭秘iPhone里的Transformer：基于GPT-2架構(gòu)，分詞器含emoji，MIT校友出品

作者：魚羊 2023-09-18 16:25:36

一位名叫Jack Cook的小哥，就把macOS Sonoma beta翻了個(gè)底朝天，結(jié)果，還真挖出不少新鮮信息

本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

蘋果Transformer的“秘密”，讓發(fā)燒友給扒出來了。

大模型浪潮下，即使保守如蘋果，也每逢發(fā)布會(huì)必提“Transformer”。

比如，在今年的WWDC上，蘋果就已宣布，船新版本的iOS和macOS將內(nèi)置Transformer語言模型，以提供帶文本預(yù)測功能的輸入法。

蘋果官方?jīng)]有透露更多信息，但技術(shù)愛好者們可坐不住了。

一位名叫Jack Cook的小哥，就把macOS Sonoma beta翻了個(gè)底朝天，結(jié)果，還真挖出不少新鮮信息：

更多細(xì)節(jié)，一起來看。

先來回顧一下蘋果基于Transformer的語言模型能在iPhone、MacBook等設(shè)備上實(shí)現(xiàn)怎樣的功能。

主要體現(xiàn)在輸入法方面。語言模型加持下的蘋果自帶輸入法，可以實(shí)現(xiàn)單詞預(yù)測和糾錯(cuò)的功能。

Jack Cook小哥具體測試了一下，發(fā)現(xiàn)這個(gè)功能主要實(shí)現(xiàn)的是針對單個(gè)單詞的預(yù)測。

模型有時(shí)也會(huì)預(yù)測即將出現(xiàn)的多個(gè)單詞，但這僅限于句子語義十分明顯的情況，比較類似于Gmail里的自動(dòng)完成功能。

那么這個(gè)模型具體被裝在了哪里？一通深入挖掘之后，Cook小哥確定：

我在 /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle 中找到了預(yù)測文本模型。

原因是：

unilm.bundle中的許多文件在macOS Ventura（13.5）里并不存在，僅出現(xiàn)在了新版本macOS Sonoma beta（14.0）里。
unilm.bundle中存在一個(gè)sp.dat文件，這在Ventura和Sonoma beta里都能找到，但Sonoma beta的版本中更新了明顯像是分詞器的一組token。
sp.dat中token的數(shù)量跟unilm.bundle中的兩個(gè)文件——unilm_joint_cpu.espresso.shape和unilm_joint_ane.espresso.shape能匹配得上。這兩個(gè)文件描述了Espresso/CoreML模型中各層的形狀。

進(jìn)而，小哥根據(jù)unilm_joint_cpu中描述的網(wǎng)絡(luò)結(jié)構(gòu)，推測蘋果模型是基于GPT-2架構(gòu)打造的：

主要包含token embeddings、位置編碼、解碼器塊和輸出層，每個(gè)解碼器塊中都有類似gpt2_transformer_layer_3d這樣的字眼。