Python俱乐部
Python
小课题
京东优惠券
这个爬虫系统是基于远程数据库的分布式爬虫系统,和Sean共同讨论的结果。
爬虫数据库
CREATE TABLE `tvcoolsc_wpxdquan`.`xindan_crawl` ( `ID` INT NOT NULL AUTO_INCREMENT PRIMARY KEY , `url` VARCHAR( 512 ) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL , `type` VARCHAR( 64 ) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL COMMENT '产品页面|目录页面', `update_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ) ENGINE = MYISAM ;