JavaScriptでWebスクレイピングをする

2023-04-28

環境情報

node 14.16.0
npm 6.14.11
puppeteer 19.11.1

手順

puppeteerをインストールする

npm install puppeteer

puppeteerを読み込む

scraping.jsを作成し、puppeteerの読み込む。

const puppeteer = require('puppeteer');

スクレイピングの処理を書く

今回は例として、本サイトの記事一覧の各タイトルを抽出する処理を書いていきます。

const puppeteer = require('puppeteer');

const scrape = async () => {
  const browser = await puppeteer.launch({
    headless: false,
    slowMo: 250,
    defaultViewport: null
  });

  const page = await browser.newPage();
  const url = "https://www.rowicy.com/blog/";
  await page.goto(url, { waitUntil: 'domcontentloaded' });

  const target = "h3.font-semibold.tracking-tight.text-xl.md\\:text-2xl";

  const results = await page.$$eval(target, elements => elements.map(element => element.textContent));
  console.log(results);

  browser.close();
};

scrape();