想請教大家:現在有一個抓資料的爬蟲,抓資料前會先檢查這個網址有沒有抓過,有抓過的話就不會抓,最簡單的方法就是用資料庫存抓過的記錄,抓網址前查一下 select exists 之類的,但每次都要查一次,而且花很多時間查詢的過程上,比較好的做法是用 布隆過濾器,可以快速知道資料在不在而不用查詢資料庫