作者 | 毛麗 魏子敏

星際探索中，一切成就變得格外偉大而浪漫。在無數(shù)太空任務(wù)中，一類任務(wù)特別激動(dòng)人心——尋找外星生命。

[[179332]]

封面圖來自NASA

天文學(xué)家搜尋外星人的每一點(diǎn)進(jìn)展都讓全人類沸騰。而除了天文學(xué)知識(shí)和儀器的進(jìn)展，鑒于天文研究涉及的數(shù)據(jù)量級(jí)異常巨大，數(shù)據(jù)處理的精進(jìn)、機(jī)器學(xué)習(xí)、云計(jì)算等在數(shù)據(jù)科學(xué)領(lǐng)域的新成就也會(huì)為這項(xiàng)事業(yè)帶來新的意義。

本月早些時(shí)間，在東倫敦舉辦的高性能計(jì)算年度研討會(huì)中(Centre for High Performance Computing Workshop)，IBM南非研究實(shí)驗(yàn)室的Francois Luus博士主持了一場長達(dá)三小時(shí)的研討，探索關(guān)于深度學(xué)習(xí)計(jì)算環(huán)境和無監(jiān)督學(xué)習(xí)的相關(guān)話題。Francois Luus博士介紹了一項(xiàng)由IBM和SETI研究院合作展開的有趣項(xiàng)目，希望利用Spark和機(jī)器學(xué)習(xí)技術(shù)找出數(shù)據(jù)異常，尋找太空中的外星文明信號(hào)。

[[179333]]

IBM研究實(shí)驗(yàn)室的Francois Luus博士介紹相關(guān)項(xiàng)目(圖片來自IBM博客)

如果假設(shè)我們的外星鄰居們?cè)谠噲D與我們接觸，我們也應(yīng)該尋找他們。

目前我們已經(jīng)啟動(dòng)了若干個(gè)計(jì)劃，用來搜索在宇宙中的其他地方存在著生命的證據(jù)。這些計(jì)劃總稱為“SETI(the Search for Extra-Terrestrial Intelligence)”。

SETI致力于用射電望遠(yuǎn)鏡等先進(jìn)設(shè)備接收從宇宙中傳來的電磁波，從中分析有規(guī)律的信息數(shù)據(jù)，希望借此發(fā)現(xiàn)外星文明。

過去數(shù)十年，SETI為了收集外星生命存在的跡象，構(gòu)建了“艾倫望遠(yuǎn)鏡陣列”(Allen Telescope Array，www.seti.org/ata)。這項(xiàng)工程由微軟聯(lián)合創(chuàng)始人保羅艾倫資助，目標(biāo)是通過構(gòu)建一個(gè)小型望遠(yuǎn)鏡陣列，在降低成本的同時(shí)，達(dá)到巨型天文望遠(yuǎn)鏡的探測效果。艾倫望遠(yuǎn)鏡陣列也被稱為“世界上用于搜尋銀河系中其他文明的最有力的工具”。

艾倫望遠(yuǎn)鏡陣列每小時(shí)產(chǎn)生的數(shù)據(jù)量級(jí)高達(dá)4.5TB，探測數(shù)據(jù)中又夾雜大量由自然界和人類產(chǎn)生的干擾數(shù)據(jù)。

如何處理如此巨大的數(shù)據(jù)流量?如何通過機(jī)器學(xué)習(xí)算法排除其中的干擾數(shù)據(jù)，找出真正令人感興趣的“外太空信號(hào)“?這是SETI亟待解決的技術(shù)難題。

IBM目前正使用Spark技術(shù)和機(jī)器學(xué)習(xí)算法協(xié)助NASA下屬的非盈利科研機(jī)構(gòu)SETI (致力于研究人類起源和外星文明的科研機(jī)構(gòu))來搜尋外星文明。

本次研討會(huì)上，F(xiàn)rancois Luus博士向十幾位與會(huì)者介紹了IBM Bluemix Spark這一技術(shù)，并匯報(bào)了***進(jìn)展。艾倫望遠(yuǎn)鏡陣列被用于以厘米波段尋找外星智慧存在的蛛絲馬跡，至今已產(chǎn)生600萬個(gè)信號(hào)樣本。而IBM Bluemix Spark將用來分析取自這些樣本的壓縮數(shù)據(jù)集。Francois Luus博士的團(tuán)隊(duì)目標(biāo)是利用Spark和機(jī)器學(xué)習(xí)技術(shù)找出數(shù)據(jù)異常，進(jìn)而發(fā)現(xiàn)外星生命。

Francois Luus博士表示，這些數(shù)據(jù)量級(jí)太大，SETI團(tuán)隊(duì)說不定會(huì)漏掉某些外星人的信號(hào)。因此，團(tuán)隊(duì)公開了數(shù)據(jù)庫，并提供了數(shù)據(jù)處理工具，還給出了一些入門的Ipython notebook格式的代碼。這些資源可以從GitHub上下載到。感興趣的同學(xué)可以下載下來，說不定可以發(fā)現(xiàn)外星文明的信息!

GitHub相關(guān)數(shù)據(jù)集鏈接：https://github.com/ibm-cds-labs/seti_at_ibm

參與研討會(huì)的學(xué)生會(huì)在導(dǎo)師指導(dǎo)下，從數(shù)據(jù)集中尋找與外星人相關(guān)的異常值(圖片來自IBM博客)

關(guān)于SETI數(shù)據(jù)集和數(shù)據(jù)獲取、處理流程

[[179335]]

圖片來自NASA

SETI利用艾倫望遠(yuǎn)鏡陣列(ATA)來收集太陽系外的輻射信號(hào)。幾乎每個(gè)夜晚，ATA都會(huì)收集來自于天空中各個(gè)角落的、頻率在1-10 GHz的輻射信號(hào)。

信號(hào)觀測的結(jié)果儲(chǔ)存于下面的數(shù)據(jù)中：

- 兩個(gè)原始數(shù)據(jù)文件，可能是兩個(gè)CompAmp或兩個(gè)archive-CompAmp文件，這取決于信號(hào)分類的結(jié)果。

- 實(shí)時(shí)信號(hào)分析結(jié)果，在SignalDB 中儲(chǔ)存為一行數(shù)據(jù)。

對(duì)于每一個(gè)ATA望遠(yuǎn)鏡，輻射信號(hào)的水平分量和垂直分量是分別測量的。對(duì)于每一個(gè)偏振方向，全體ATA陣列的原始時(shí)序信號(hào)會(huì)被數(shù)字化，并組合成一個(gè)數(shù)據(jù)文件。

另外，時(shí)序信號(hào)經(jīng)過帶通濾波，因此數(shù)據(jù)中信號(hào)的頻率只有很小的范圍，也就是帶寬是比較小的。確切的頻率范圍可以從原始數(shù)據(jù)文件的開頭獲取信息，并解析出來。團(tuán)隊(duì)提供了一個(gè)python包，ibmseti，可以幫我們解析這個(gè)信息。它還可以讀取數(shù)據(jù)文件，進(jìn)行一些必要的信號(hào)處理。

獲取數(shù)據(jù)的一個(gè)典型的流程如下：

- 找到天空中感興趣的區(qū)域，并記錄它的坐標(biāo)。

- 確定這些點(diǎn)或者區(qū)域的數(shù)據(jù)是可以獲取到的。

- 獲取此區(qū)域的一行SignalDB 數(shù)據(jù)，和一個(gè)原始原始文件信息。

- 獲取原始數(shù)據(jù)文件的一個(gè)臨時(shí)URL。

- 下載和存儲(chǔ)數(shù)據(jù)。

假如我們要使用的特征是“標(biāo)準(zhǔn)差”。可以計(jì)算每個(gè)軸的標(biāo)準(zhǔn)差，考慮N個(gè)頻率段(通常為6144)和M個(gè)時(shí)間段(通常為129)的頻譜圖。

首先計(jì)算沿時(shí)間軸的標(biāo)準(zhǔn)差std_time，然后為每個(gè)時(shí)間段計(jì)算沿頻率軸的標(biāo)準(zhǔn)差std_freq。如圖所示：

對(duì)于典型的窄帶信號(hào)，std_freq將相對(duì)較大。這是因?yàn)樵贛個(gè)時(shí)間間隔中的每一個(gè)時(shí)間段，在所有頻率上的值的集合將包含大量的小噪聲值和大量的大信號(hào)值 - 因此，數(shù)字的分布范圍較廣。沿著時(shí)間軸，std_time將相對(duì)較小，因?yàn)閷?duì)于大多數(shù)頻段，在零之上的小范圍的值中將僅存在噪聲。當(dāng)然，如果信號(hào)通過該頻率，可能存在少數(shù)具有大帶寬的信號(hào)。但絕大多數(shù)會(huì)是噪音，導(dǎo)致一個(gè)小的std_time。

相反，在寬頻率范圍內(nèi)，但是僅在短持續(xù)時(shí)間內(nèi)看到的信號(hào)將具有小的std_freq和大的std_time。

那么，我們要找的外星文明信號(hào)是什么樣的呢?嗯，簡單說，“誰都不知道”。我們?cè)趯ふ覞撛谛盘?hào)時(shí)，也會(huì)注意盡量減少假設(shè)和限制條件。

不過，我們還是可以推斷，外星文明的信號(hào)是有這樣的特征的：

- 持續(xù)。在天空中相同區(qū)域重復(fù)發(fā)現(xiàn)同樣的信號(hào)。

- 獨(dú)特。在天空中其他位置，不會(huì)同時(shí)發(fā)現(xiàn)這個(gè)信號(hào)。

- 可復(fù)現(xiàn)。發(fā)現(xiàn)一個(gè)信號(hào)之后，需要另一個(gè)獨(dú)立的觀測來確認(rèn)它。

- 穩(wěn)定的非零多普勒漂移。所有漂移頻率為零的信號(hào)都可能是本地射頻干擾(RFI)。

- 不是本地射頻干擾(RFI)。在SETI內(nèi)部，有一個(gè)RFI信號(hào)數(shù)據(jù)庫，用來在信號(hào)分類之前進(jìn)行比對(duì)。此項(xiàng)目提供的數(shù)據(jù)都通過了這個(gè)比對(duì)。

- 存在智能的跡象。信號(hào)看起來是經(jīng)過編碼的，或表現(xiàn)出統(tǒng)計(jì)特征(非噪音)。

[[179337]]

圖片來自NASA

你也可以參與其中

如果你是天文小白，又想為尋找外星人的人類偉大事業(yè)做貢獻(xiàn)，除了從GitHub上下載相關(guān)數(shù)據(jù)集尋找外星文明的信息，SETI@home項(xiàng)目也為你提供了一些可能。

SETI@home項(xiàng)目是一項(xiàng)利用全球聯(lián)網(wǎng)的計(jì)算機(jī)共同搜尋地外文明的科學(xué)實(shí)驗(yàn)計(jì)劃。志愿者可以通過運(yùn)行一個(gè)免費(fèi)程序下載并分析從射電望遠(yuǎn)鏡傳來的數(shù)據(jù)來加入這個(gè)項(xiàng)目。它會(huì)利用電腦空閑時(shí)間開始運(yùn)算，并貢獻(xiàn)運(yùn)算的結(jié)果。

目前存在的絕大多數(shù)SETI程序，包括在加州伯克利大學(xué)(UC Berkeley)大樓里大型計(jì)算機(jī)上運(yùn)行的程序，都在實(shí)時(shí)的對(duì)從天文望遠(yuǎn)鏡收集來的數(shù)據(jù)進(jìn)行分析。這些計(jì)算機(jī)都沒有對(duì)這些微弱的信號(hào)進(jìn)行深入的分析，也沒有試圖搜索更多種類的信號(hào)(關(guān)于信號(hào)的類型，將在后面討論)。之所以沒有這樣做的原因是用來進(jìn)行分析的計(jì)算機(jī)的處理能力是有限的。

要想從大量的極其微弱的信號(hào)中發(fā)現(xiàn)什么的話，必須需要極其大量的計(jì)算機(jī)的處理能力，因此需要一臺(tái)超級(jí)計(jì)算機(jī)來完成這個(gè)工作。SETI計(jì)劃根本不可能也沒有能力建造或者購買這樣的計(jì)算機(jī)，因此他們采取了另一種平衡的方法。那就是用比較小的計(jì)算機(jī)而花更多的時(shí)間來完成這個(gè)工作。

SETI@home希望你能夠允許在你不使用計(jì)算機(jī)的時(shí)候,借用它來幫助“尋找新的生命形式，尋找新的文明”的計(jì)劃。SETI@home將利用運(yùn)行在你的計(jì)算機(jī)上的屏幕保護(hù)程序來完成這個(gè)工作，它能夠通過互聯(lián)網(wǎng)從我們的服務(wù)器上獲得一個(gè)數(shù)據(jù)包，分析它并將結(jié)果返回給我們。當(dāng)你需要用你的計(jì)算機(jī)工作的時(shí)候，屏幕保護(hù)程序會(huì)立即退出，只有在你完成工作而不使用計(jì)算機(jī)的時(shí)候才開始繼續(xù)進(jìn)行分析的工作。

SETI@home早期的服務(wù)器已經(jīng)停止，現(xiàn)在加入了BONIC平臺(tái)，成為了其中的一部分。可以下載客戶端，選擇SETI@home參與到發(fā)現(xiàn)外星人的工作中。當(dāng)然，BONIC平臺(tái)還有一些其它有意思的項(xiàng)目，比如上個(gè)月，通過全球計(jì)算機(jī)的共同努力，它發(fā)現(xiàn)了一個(gè)新的質(zhì)數(shù)10223*231172165+1。

【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)文章，微信公眾號(hào)“大數(shù)據(jù)文摘（ id: BigDataDigest）”】