scrapy

网站数据爬取框架

Falcor

Netflix的数据抓取库

Goutte

简单的PHP网页抓取器

webmagic

开源的Java垂直爬虫框架

Pholcus

纯Go语言编写的支持分布式的高并发、重量级爬虫软件

fuck-login

模拟登录知名网站

zhihu-python

获取知乎信息

weibo_terminater

微博终结者爬虫

simplecrawler

强大的网站抓取API

proxy_pool

爬虫代理IP池

gain

爬虫框架

sukhoi

最小化和强大的Web爬虫

zhihuspider

NodeJS知乎爬虫源码

PSpider

简单的爬虫框架

creeper

通过爬虫脚本获取web页面

wechat_spider

微信公众号爬虫

yunshare

百度云分享爬虫

Beanbun

简单可扩展的爬虫框架

phpfetcher

PHP爬虫框架

node-readability

快速抓取文章标题和内容

Amazon-Alert

跟踪亚马逊价格并使用email提醒价格下降

portSpider

快速多线程网络扫描框架

tumblr_spider

汤不热 python 多线程爬虫

proxyspider

代理IP 采集程序

Zhihu-Spider

知乎关系网爬虫

zhihu_fun

基于Selenium的知乎关键词爬虫

aiss-spider

爱丝APP图片爬虫

node-webcrawler

网页版nodejs爬虫工具

ScriptSpider

一个好用的爬虫框架

qqloginjs

QQ自动化登陆