直接把任意網站變為 API 接口？Firecrawl有點牛了！
Firecrawl 是一種 API 服務，它獲取 URL、對其進行抓取并將其轉換為干凈的 markdown 或結構化數據。我們會抓取所有可訪問的子頁面并為您提供每個子頁面的干凈數據。無需站點地圖。
Hello，大家好，我是 Sunday。
最近看到了一個爬蟲類框架：firecrawl 號稱 可以抓取任何網站并將其轉換為干凈的 markdown 或結構化數據。并且可以直接通過 Node 進行部署。
看這樣的描述有點厲害了，所以，咱們今天就來看看這個 firecrawl
01：什么是 firecrawl
firecrawl 是一種 API 服務，它獲取 URL、對其進行抓取并將其轉換為干凈的 markdown 或結構化數據。我們會抓取所有可訪問的子頁面并為您提供每個子頁面的干凈數據。無需站點地圖。
目前 Firecrawl 開源 3周 的時間，已經有了 7.9K 的 star 數，可以說是一個優秀的項目了
圖片
02：如何使用 firecrawl
想要使用 firecrawl ，那么首先需要獲取 API 秘鑰。秘鑰分為 收費 和 免費 兩種，大家如果不在商業項目中使用，通過 免費計劃 即可
圖片
獲取秘鑰在這里注冊并獲取：https://www.firecrawl.dev/pricing
有了秘鑰之后，可以直接基于 Node 包創建項目即可：
- 安裝依賴包 npm install @mendable/firecrawl-js
- 將 API 密鑰設置為命名的環境變量FIRECRAWL_API_KEY或將其作為參數傳遞給FirecrawlApp類
- 如要抓取單個 URL ，可直接通過 scrapeUrl 方法
try {
const url = "https://example.com";
const scrapedData = await app.scrapeUrl(url);
console.log(scrapedData);
} catch (error) {
console.error("Error occurred while scraping:", error.message);
}- 如要爬取網站信息，可以直接通過 crawlUrl 方法。該方法以起始 URL 和可選參數作為參數。該params參數允許您為抓取作業指定其他選項，例如要抓取的最大頁面數、允許的域和輸出格式。
const crawlUrl = "https://example.com";
const params = {
crawlerOptions: {
excludes: ["blog/"],
includes: [], // leave empty for all pages
limit: 1000,
},
pageOptions: {
onlyMainContent: true,
},
};
const waitUntilDone = true;
const timeout = 5;
const crawlResult = await app.crawlUrl(
crawlUrl,
params,
waitUntilDone,
timeout
);- 可以通過 checkCrawlStatus 方法檢查爬取狀態
const status = await app.checkCrawlStatus(jobId);
console.log(status);- 使用 LLM 可自動格式化所有數據
import FirecrawlApp from "@mendable/firecrawl-js";
import { z } from "zod";
const app = new FirecrawlApp({
apiKey: "fc-YOUR_API_KEY",
});
// Define schema to extract contents into
const schema = z.object({
top: z
.array(
z.object({
title: z.string(),
points: z.number(),
by: z.string(),
commentsURL: z.string(),
})
)
.length(5)
.describe("Top 5 stories on Hacker News"),
});
const scrapeResult = await app.scrapeUrl("https://news.ycombinator.com", {
extractorOptions: { extractionSchema: schema },
});
console.log(scrapeResult.data["llm_extraction"]);- 使用該 search 方法，您可以在搜索引擎中搜索查詢并獲取排名靠前的結果以及每個結果的頁面內容。該方法將查詢作為參數并返回搜索結果。
const query = "what is mendable?";
const searchResults = await app.search(query, {
pageOptions: {
fetchPageContent: true, // 獲取每個搜索結果的頁面內容
},
});責任編輯：武曉燕
來源：
程序員Sunday
