基于SQL的管道：Steampipe讓全世界都成為數(shù)據(jù)庫
想為流行平臺使用大量 API？想在數(shù)據(jù)庫中使用 SQL 完成所有操作？Steampipe Anywhere 是您的通行證。
譯自SQL-Based Pipelines: Steampipe Makes All the World a Database，作者 Andrew Brust。大家也可以觀看云云眾生s視頻號上關(guān)于 Steampipe 的內(nèi)容。
許多公司都有自己的 API，用于編程訪問——眾多企業(yè) SaaS 應(yīng)用程序、超大規(guī)模云服務(wù)和 GitHub 等開發(fā)者服務(wù)。但所有這些 API 的工作方式都不同，并且需要使用 Python、Java 或 C# 等語言編寫命令式代碼。如果所有這些服務(wù)都能看起來像關(guān)系數(shù)據(jù)庫，從而能夠使用聲明式 SQL 對它們進(jìn)行檢查，以及使用流行的商業(yè)智能 (BI) 工具對它們的內(nèi)容進(jìn)行報告和可視化，那豈不是很好？
普通的舊 SQL 可能會成為互聯(lián)網(wǎng)上眾多平臺的特定領(lǐng)域語言。
使用這種方法，普通的舊 SQL 可能會成為互聯(lián)網(wǎng)上眾多平臺的特定領(lǐng)域語言。可以通過聯(lián)接交叉引用平臺的不同方面，可以使用 WHERE 子句實現(xiàn)對特定應(yīng)用程序項的精確定位，并且 SELECT 列列表允許您僅帶回您感興趣的那些項的特定屬性。
事實上，有一個很好的開源選項可以做到這一點。它被稱為Steampipe，它運行得非常好，擁有一個生態(tài)系統(tǒng)，其中包含一百多個特定于服務(wù)的插件，適用于 Airtable、GitHub、Jira、LinkedIn 和 Kubernetes 等平臺；數(shù)據(jù)庫服務(wù)，包括 MongoDB Atlas 和 Snowflake（用于管理數(shù)據(jù)，而不是數(shù)據(jù)庫中的數(shù)據(jù)）；以及從基于文件的源（如 CSV 文件和 Google 表格）查詢數(shù)據(jù)。
現(xiàn)在，通過安裝 Postgres 或 SQLite 的擴(kuò)展，有了一種更簡單的方法來使用 Steampipe。
讓這一切正常工作就像將 Steampipe 安裝到 Linux 環(huán)境（包括適用于 Linux 的 Windows 子系統(tǒng)）一樣簡單，然后拉取您感興趣的服務(wù)的插件并交互式地運行 SQL 查詢。簡單的文檔使您可以輕松了解每個插件支持的表模式，只需一個 SQL 查詢即可了解各種在線服務(wù)的詳細(xì)信息。
現(xiàn)在，通過安裝特定于 Steampipe 插件的擴(kuò)展到Postgres或SQLite中，有了一種更簡單的方法來使用 Steampipe。這允許您直接從這兩個眾所周知的數(shù)據(jù)庫中查詢相應(yīng)服務(wù)，而無需使用傳統(tǒng)版本的 Steampipe 實現(xiàn)的單獨 SQL 接口。這不僅可以實現(xiàn)不同服務(wù)之間的數(shù)據(jù)的聯(lián)合聯(lián)接，還可以實現(xiàn)這些服務(wù)與您自己的數(shù)據(jù)之間的聯(lián)合聯(lián)接。
可能性是巨大的，不僅出現(xiàn)在 SQL 提示符中，而且出現(xiàn)在任何可以與 Postgres 通信的 BI 工具中（基本上，所有工具）。同時，SQLite 實現(xiàn)使得可以在一系列極簡主義 Linux 環(huán)境中查詢此數(shù)據(jù)。
實際應(yīng)用
此處適用的用例集非常龐大。例如，想象一下獲取客戶列表，其中包含您在 Salesforce 中跟蹤的客戶 ID，然后將其加入到本地業(yè)務(wù)數(shù)據(jù)庫中的客戶和銷售記錄中。
當(dāng)您將信息轉(zhuǎn)換為表格數(shù)據(jù)時，會發(fā)生一件有趣的事情：它不僅可以被開發(fā)者和商業(yè)智能工具查詢，還可以用于其他領(lǐng)域。
然后想象一下獲取特定開發(fā)者在特定 GitHub 倉庫中代碼簽入的統(tǒng)計信息，并將這些匯總數(shù)據(jù)存儲在您的 HR 系統(tǒng)中和/或在您在 Tableau 或 Power BI 等工具中構(gòu)建的儀表板中對其進(jìn)行報告。
再舉一個例子：搜索 Slack 對話中對內(nèi)部應(yīng)用程序的提及，并將其與 Zendesk 中針對同一應(yīng)用程序的公開工單進(jìn)行交叉引用。
近乎即時的 SQL 滿足
想要一些技術(shù)細(xì)節(jié)？我們可以很快做到。安裝獨立的 Steampipe 變體就像在命令行中運行curl命令一樣簡單。之后，使用steampipe plugin install命令安裝您選擇的插件，并處理任何必要的身份驗證和連接詳細(xì)信息。從那里，只需鍵入steampipe query即可獲得一個交互式提示，用于輸入 SQL 查詢。
如果您發(fā)現(xiàn)這一切都很簡單（您應(yīng)該這樣做），請注意，在 SQLite 或 Postgres 中使用 Steampipe 甚至更容易，因為您可能已經(jīng)安裝了這些數(shù)據(jù)庫。
Jon Udell，Turbot的布道者，該公司是 Steampipe 的幕后推手(編輯：他也是 The New Stack 的撰稿人，包括撰寫有關(guān) SQL 的文章)。Udell 逐步向我介紹了該產(chǎn)品的功能，以及如何安裝和使用它，直到我在自己的機(jī)器上運行它。如果您對詳細(xì)信息感興趣，請繼續(xù)閱讀，我們將探討一個具體示例，直接從我在 Udell 的支持下成功在我的計算機(jī)上執(zhí)行的步驟中復(fù)制。
自己動手
要使用 SQLite 或 Postgres 與 Steampipe 協(xié)同工作，您只需安裝特定于插件的擴(kuò)展并配置連接詳細(xì)信息。然后，您可以立即從現(xiàn)有的數(shù)據(jù)庫環(huán)境開始查詢。例如，要從 SQLite 中發(fā)現(xiàn) Microsoft Azure 云帳戶中的資產(chǎn)，只需按照以下步驟操作：
- 從 Linux shell 執(zhí)行以下命令以安裝特定于插件的 SQLite 擴(kuò)展：
sudo /bin/sh -c "$(curl -fsSL https://steampipe.io/install/sqlite.sh)"（以上內(nèi)容可能看起來很神秘，但您可以直接從上面或從此處復(fù)制并粘貼。）
- 當(dāng)提示輸入插件名稱時，只需鍵入“azure”并點擊 Enter，然后再次點擊 Enter 兩次以接受版本和安裝位置的默認(rèn)值。
- 輸入以下 Azure CLI 命令進(jìn)行身份驗證：
az login接下來，在結(jié)果瀏覽器窗口中輸入您的憑據(jù)。
- 現(xiàn)在，啟動 SQLite，并從其提示符中使用以下命令加載插件的擴(kuò)展：
.load <install folder>/steampipe_sqlite_azure.so（其中 是您在步驟 1 中所在的文件夾。）
- 現(xiàn)在使用以下命令設(shè)置您的 azure 訂閱：
SELECT steampipe_configure_azure('subscription_id="<subscription id>"');將 替換為您要探索的 Azure 租戶中的實際訂閱 ID。
- 就是這樣！您現(xiàn)在可以查詢各種 Azure 資產(chǎn)。例如，要列出特定 Azure 存儲帳戶中的所有 Azure blob（基本上提供一個巨大的遞歸目錄列表），請使用以下 SQL 查詢：
SELECT name, container_name, storage_account_name, region, type, is_snapshot
FROM azure_storage_blob
WHERE resource_group=<resource group>
AND storage_account_name=<storage account name>
AND region=<azure region>;當(dāng)然，請務(wù)必將 、 和 替換為適合您自己環(huán)境的相應(yīng)字符串（如果您對這些值進(jìn)行硬編碼，請不要忘記引號。）
從這里開始更輕松
這就是全部內(nèi)容。此外，步驟 1 和 2 永遠(yuǎn)不必重復(fù)，步驟 3、4 和 5 也無需再次運行，直到您進(jìn)入新的 SQLite 會話。這意味著您可以自由執(zhí)行一系列后續(xù) SQL 查詢，以獲取有關(guān) Azure 環(huán)境的豐富附加信息。
想要安裝另一個插件擴(kuò)展？只需重復(fù)上述過程，但輸入不同的插件名稱，然后啟動 SQLite，加載相應(yīng)的steampipe_sqlite_xxx.so擴(kuò)展，使用相應(yīng)的steampipe_configure_xxx函數(shù)對其進(jìn)行配置，然后開始查詢。每個 steampipe 插件都有簡單的文檔，列出了所有可查詢的表，并提供了大量您可以復(fù)制、粘貼、編輯和運行的示例查詢。
混搭天堂
當(dāng)您將信息轉(zhuǎn)換為表格數(shù)據(jù)時，會發(fā)生一件有趣的事情：它不僅可以被開發(fā)人員和商業(yè)智能工具查詢，還可以用于其他領(lǐng)域，包括電子表格、無代碼/低代碼平臺、工作流系統(tǒng)，甚至機(jī)器學(xué)習(xí)和 AI 平臺。想象一下基于對公共 GitHub 存儲庫的觀察簽到或公司 Slack 頻道中的討論來構(gòu)建一個關(guān)于開發(fā)人員生產(chǎn)力的預(yù)測模型。
一旦您讓事物看起來像行和列，各種可能性就會出現(xiàn)。Steampipe 建立了一個不斷發(fā)展的生態(tài)系統(tǒng)，可以優(yōu)雅而穩(wěn)健地實現(xiàn)這些場景。
