爬虫系统设计

这个爬虫系统是基于远程数据库的分布式爬虫系统，和Sean共同讨论的结果。

爬虫数据库

CREATE TABLE `tvcoolsc_wpxdquan`.`xindan_crawl` (
`ID` INT NOT NULL AUTO_INCREMENT PRIMARY KEY ,
`url` VARCHAR( 512 ) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL ,
`type` VARCHAR( 64 ) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL COMMENT '产品页面|目录页面',
`update_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP
) ENGINE = MYISAM ;