「爬蟲」是什麼?會飛嗎?


前言

相信大家多少都遇過需要抓取網頁資訊的時候,也許是因為要做報告、或是出於興趣想研究,需要相關參考資料。最簡單的方法就是一筆一筆複製,然後貼到excel或是文字編輯器儲存,再做後續的分析。

如果只有幾十筆還好,那假如有上百筆、上千筆怎麼辦?

一想到要重複做複製貼上這個動作上百、上千次,突然一陣頭暈目眩...,當我正思考著人生的意義時,忽然想到:要是可以自動化該有多好? 於是,我遇見了爬蟲。

爬蟲(Webcrawler),簡單來說,就是一個可以去別人的網頁上,自動的「爬」一些資料的程式。

爬蟲初體驗

我們馬上來玩一玩吧!嘿嘿!

  1. 開啟橘子蘋果的課程網頁:https://orangeapple.co/courses/scratch-basic
  2. 在Console處貼上以下的程式
var result = document.getElementsByClassName('js-stage');
for (var i = 0; i < result.length; i++) {
  var city = result[i].getAttribute('data-city');
  if(city == 1){
    console.log(result[i].innerText);
  }
}

哇!馬上就取得了“台北地區”的所有開課班級了耶!

練習

  • 取得所有的開課資訊
  • 取得其他地區的開課資訊,ex: 同時show出新竹市+新竹縣的開課資料

results matching ""

    No results matching ""