被裁員工回歸，Meta重建元宇宙！發(fā)布逼真圖像數(shù)據(jù)集，全球巡回組裝AR眼鏡
Meta的元宇宙探索，還在繼續(xù)。
最近，Meta用虛幻引擎開(kāi)發(fā)了全新的逼真合成數(shù)據(jù)集，希望拉近合成數(shù)據(jù)與真實(shí)世界數(shù)據(jù)的距離。
他們還計(jì)劃制作一款全新的AR眼鏡，僅用于內(nèi)部開(kāi)發(fā)和公眾展示。
據(jù)悉，這款眼鏡的制造流程涉及中國(guó)大陸、中國(guó)臺(tái)灣和美國(guó)的工廠。原因是鏡片內(nèi)包含一款軍用材料，無(wú)法輕易出口到美國(guó)以外的地方。
另外，Meta甚至還成立了一個(gè)「前員工門(mén)戶(hù)」，把從前解雇的員工慢慢招了回來(lái)。
真實(shí)虛幻圖像數(shù)據(jù)集
Meta推出的真實(shí)虛幻圖像（PUG，Photorealistic Unreal Graphic）數(shù)據(jù)集，能夠?qū)θ斯ぶ悄芤曈X(jué)系統(tǒng)進(jìn)行更可控、更穩(wěn)健的評(píng)估和訓(xùn)練。
這個(gè)數(shù)據(jù)集通過(guò)虛幻引擎Unreal Engine合成了超過(guò)20w個(gè)動(dòng)物圖像，以及數(shù)十萬(wàn)張包括各種姿勢(shì)，光照和背景的圖像，來(lái)作為訓(xùn)練，評(píng)估圖像模型和圖像系統(tǒng)的基礎(chǔ)。
PUG因?yàn)槭褂昧薝nreal Engine合成的圖像，保證了圖像素材的真實(shí)感，使得它的使用范圍比之前類(lèi)似的圖像數(shù)據(jù)集要大大擴(kuò)展。
PUG由4個(gè)部分構(gòu)成：
1. PUG Animal
用于研究分布外泛化和研究基礎(chǔ)模型的表征空間，包括了：
215,040張預(yù)渲染圖像，涵蓋了70種動(dòng)物資源，囊括了4種尺寸，3種紋理，4種不同的方向。
圖片
2. PUG ImageNet
數(shù)據(jù)集提供了一個(gè)新穎和高效的基準(zhǔn)測(cè)試，用于細(xì)粒度評(píng)估圖像分類(lèi)器在多個(gè)變化因素上的穩(wěn)定性，包含了：
151種ImageNet類(lèi)型（class），64種背景，7種尺寸，10種紋理，18個(gè)視角，18角色方向（Character Orientation），7種光照強(qiáng)度。
圖片
3. PUG SPAR（場(chǎng)景、位置、屬性、關(guān)系）
數(shù)據(jù)集用于評(píng)估視覺(jué)語(yǔ)言模型，展示了如何使用合成數(shù)據(jù)來(lái)解決當(dāng)前基準(zhǔn)測(cè)試的局限性。它包含了：
43,560 張預(yù)渲染圖像，10個(gè)背景，32種動(dòng)物，4種關(guān)系（左/右，下/上），4種屬性（藍(lán)/紅，草/石）。
圖片
4. PUG AR4T
提供大約 250,000 張圖像，用于微調(diào)空間關(guān)系和屬性的視覺(jué)語(yǔ)言模型。
Meta使用虛幻引擎來(lái)創(chuàng)建逼真的交互環(huán)境，從中他們可以輕松地對(duì)給定規(guī)格的圖像進(jìn)行采樣。
下圖說(shuō)明了Meta如何使用虛幻引擎和示例圖像來(lái)生成PUG數(shù)據(jù)集。
圖片
合成圖像數(shù)據(jù)集為設(shè)計(jì)和評(píng)估深度神經(jīng)網(wǎng)絡(luò)提供了非常多的優(yōu)勢(shì)。
合成數(shù)據(jù)集能根據(jù)需要渲染盡可能多的數(shù)據(jù)樣本，還可以精確控制每個(gè)場(chǎng)景并產(chǎn)生細(xì)粒度的標(biāo)注數(shù)據(jù)標(biāo)簽，精確控制訓(xùn)練和測(cè)試之間的分布變化，以隔離感興趣的變量以進(jìn)行合理的實(shí)驗(yàn)。
但是現(xiàn)有的合成數(shù)據(jù)集最大的問(wèn)題就是不夠真實(shí)，這使得數(shù)據(jù)集的使用范圍嚴(yán)重受限。
而如果用真實(shí)的圖像數(shù)據(jù)集，又會(huì)受到隱私和版權(quán)方面的限制。
而通過(guò)虛幻引擎來(lái)合成真實(shí)的圖像數(shù)據(jù)集，就能非常好解決這些問(wèn)題。
Meta稱(chēng)，與現(xiàn)有測(cè)試基準(zhǔn)相比，生成涵蓋一系列領(lǐng)域的數(shù)據(jù)的能力可以使視覺(jué)語(yǔ)言模型的評(píng)估和訓(xùn)練更加可靠。
除了數(shù)據(jù)集之外，研究人員還可以使用 PUG 環(huán)境創(chuàng)建自己的數(shù)據(jù)，精確指定現(xiàn)實(shí)世界數(shù)據(jù)集難以控制的光照和視角等因素。
如何創(chuàng)建自己PUG數(shù)據(jù)集
而且，Meta還詳細(xì)介紹了如何利用虛幻引擎來(lái)建立自己獨(dú)有的PUG數(shù)據(jù)集。
圖片
指導(dǎo)手冊(cè)：https://github.com/facebookresearch/PUG/tree/main/torchmultiverse
首先是下載Epic Games來(lái)獲取虛幻引擎5。 然后創(chuàng)建一個(gè)新的Pixel流媒體項(xiàng)目。
如果之前完全沒(méi)有了解過(guò)虛幻引擎，可以下載官方的這個(gè)Demo來(lái)進(jìn)行一個(gè)簡(jiǎn)單的入門(mén)。
圖片
https://www.unrealengine.com/marketplace/en-US/product/pixel-streaming-demo
然后閱讀官方對(duì)于虛幻5引擎的入門(mén)介紹，了解Blueprintsd的基本機(jī)制。
圖片
下載Demo后，打開(kāi)位于Content/Blueprints/CharacterConfig文件夾中的DTCharSelect表文件，如下圖所示。
該表列出了可以通過(guò)虛幻環(huán)境加載的所有資源。如果您想添加新字符，只需在表中創(chuàng)建一個(gè)新條目即可。
圖片
明年或推出AR眼鏡：軍用材料，在美國(guó)組裝
另外，Meta還計(jì)劃在2024年推出第一代AR眼鏡，產(chǎn)量大約在1000臺(tái)左右。
圖片
這1000臺(tái)AR眼鏡將僅用于內(nèi)部測(cè)試以及公眾展示，不會(huì)向公眾發(fā)布。
盡管數(shù)量不多，但Meta為了生產(chǎn)這個(gè)AR眼鏡可謂是費(fèi)盡周折。
這款眼鏡被定位為一款價(jià)格昂貴的空間計(jì)算設(shè)備。
而且由于鏡片涉及到被限制出口的材料，所以這款眼鏡的手持控制器和無(wú)線計(jì)算核心會(huì)在中國(guó)大陸和中國(guó)臺(tái)灣生產(chǎn)，再運(yùn)到美國(guó)，和鏡片一起組裝成成品。
原因是Meta準(zhǔn)備在這個(gè)內(nèi)部代號(hào)為「Orion」的AR眼鏡中使用一種名為碳化硅（SiC）的化合物作為鏡片材料。但這種化合物被政府限制出口到其他國(guó)家。
圖片
相比過(guò)去的玻璃材料，碳化硅可以投射更寬的圖像到鏡片中，視野更寬闊。但它的價(jià)格也更貴。
Orion AR眼鏡視場(chǎng)角約為70°對(duì)角線，略大于Magic Leap 2（66°），遠(yuǎn)大于 HoloLens 2（52°）。
圖片
Meta為了一個(gè)不會(huì)對(duì)外發(fā)布的產(chǎn)品投入了如此巨大的成本，可能會(huì)引起投資者對(duì)Meta的Reality Labs部門(mén)的支出擔(dān)憂。
其中，Reality Labs部門(mén)主要開(kāi)發(fā)增強(qiáng)現(xiàn)實(shí)（AR）和虛擬現(xiàn)實(shí)(VR)產(chǎn)品。
然而，直到現(xiàn)在，虛擬現(xiàn)實(shí)的市場(chǎng)仍然很小，增強(qiáng)現(xiàn)實(shí)的技術(shù)還在發(fā)展中，落地場(chǎng)景較為受限。
Meta向這兩個(gè)領(lǐng)域投入了大量資金，希望確立Meta在市場(chǎng)中的領(lǐng)先地位。
在這兩個(gè)領(lǐng)域中，Meta不得不和資金實(shí)力都十分雄厚的對(duì)手：蘋(píng)果的Vision Pro頭顯競(jìng)爭(zhēng)。
鑒于收入增長(zhǎng)放緩和投資者壓力增加，Meta已經(jīng)在整個(gè)公司范圍內(nèi)削減成本，但是Meta在Reality Labs部門(mén)的總投資仍在增加。
最近18個(gè)月，該部門(mén)今年的虧損達(dá)到了210億美元。
圖片
Meta決定僅將第一代AR眼鏡作為內(nèi)部產(chǎn)品發(fā)售，這本身就是一項(xiàng)削減成本的舉措。
此外，在選擇中國(guó)的工廠也是削減成本的一環(huán)。
在美國(guó)招聘組裝工人，時(shí)薪在16.75美元到28.27美元不等。遠(yuǎn)遠(yuǎn)高于在中國(guó)大陸和中國(guó)臺(tái)灣的生產(chǎn)成本。
同樣，其他制造硬件的美國(guó)科技公司，如蘋(píng)果，大部分產(chǎn)品也都是在中國(guó)制造的。
盡管如此，因?yàn)椴坏貌辉诿郎a(chǎn)鏡片、組裝AR眼鏡，第一代AR眼鏡的造價(jià)成本還是相當(dāng)高昂。
重招被裁員工
最近幾周，Meta慢慢開(kāi)始加快招聘步伐，尤其是工程和技術(shù)崗位。
自去年11月以 來(lái)，通過(guò)一個(gè)專(zhuān)門(mén)「前員工門(mén)戶(hù)」，被Meta解雇的員工都可以重新申請(qǐng)正在招聘的崗位。
現(xiàn)在正在招聘的數(shù)百個(gè)職位，主要是軟件、硬件和AR/VR的崗位，還有一些基礎(chǔ)設(shè)施和數(shù)據(jù)中心中的主要技術(shù)崗。
圖片
一位知情人士表示，運(yùn)營(yíng)崗似乎沒(méi)有放開(kāi)招聘，而且招聘的崗位都是有具體產(chǎn)出要求的崗位，因?yàn)镸eta整體上已經(jīng)縮減了經(jīng)理級(jí)別的崗位。
Meta招聘主要是針對(duì)有豐富工作經(jīng)驗(yàn)的員工，減少了應(yīng)屆畢業(yè)生和實(shí)習(xí)生的聘用。
被裁的工程師級(jí)別越高、業(yè)績(jī)?cè)u(píng)價(jià)越好，被重新聘用的概率會(huì)更高。
許多人被重新雇用的員工會(huì)被安排到新的崗位上去，職位和薪水都會(huì)比以前更低。
一名被Meta重新聘用的職員說(shuō)，他接受了大約10%的降薪。但鑒于Meta的股價(jià)最近一直在上漲，他預(yù)計(jì)一年內(nèi)會(huì)達(dá)到之前的薪酬水平。
嘗到了降本增效甜頭的小扎，似乎依然堅(jiān)定地走在通向元宇宙的路上。
圖片
參考資料：
