Facebook API
還記得什麼是API嗎?
API是Application Programming Interface的縮寫,是一種概念,通常是特定軟體、程序或系統,廠商或開發人員,為了方便使用者在該平台下進行衍生創作或開發而提供出來的管道,也算是一種規範,循著他們提供的規則走,你可以用到更客製化的功能。
想要用使用Facebook的資料是沒辦法像Open Data那樣直接取用的,必須要在FB上註冊一些使用資訊,而使用者在同意你取用資訊時你才能夠取用,所以這章節要來告訴你如何註冊並使用Facebook API。
現在這類的應用非常多,只要你想的到的大型網站都會開放一些API讓你取用,不需要用爬蟲自己慢慢爬,我們常常看到某個網站可以用Google或是Facebook登入,就是那個網站使用Google跟Facebook的API。這些平台開放API的原因是為了方便其他軟體開發者來取用他們的資料,就更能將自己的平台推廣出去,也能。
以下是一些平台所開放的開發者平台,開發者可以在上面註冊並且建立應用程式
那這次我們就使用Facebook來開發,接下就一步一步操作,直到我們取用到使用者資料。
也可以看看API的觀念影片,複習一下
基本上你想找某個平台的API,就打"平台名稱 developer",就可以找到他們的API了,基本上只要夠知名的網站,都會提供API,你就可以省略自己用cheerio去解析資料的步驟了。
API爬蟲和網頁爬蟲
我們可以將爬蟲分為API爬蟲和網頁爬蟲。
API爬蟲
某些網站(一般是比較大的網站)會提供API接口供開發者調用,然後我們這些可惡的“數據小偷”(笑) 就可以通過調用這些API來獲取想要的數據。所謂網站API,通俗來說就是一個url。帶上身份驗證數據和一些參數,訪問這個url,即可獲得想要的數據。通常,網站在提供API的同時也會提供實現好的類庫供我們使用,幫助我們擺脫煩人的http請求操作。
網頁爬蟲
模擬瀏覽器的行為訪問網頁,並從獲得的頁面的源代碼中解析出需要的數據。
API複習完了,差不多該實戰了吧!