====== 爬虫系统设计 ======

这个爬虫系统是基于远程数据库的分布式爬虫系统，和[[http://noyesno.net|Sean]]共同讨论的结果。

===== 爬虫数据库设计 =====
爬虫数据库
<code sql>
CREATE TABLE `tvcoolsc_wpxdquan`.`xindan_crawl` (
`ID` INT NOT NULL AUTO_INCREMENT PRIMARY KEY ,
`url` VARCHAR( 512 ) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL ,
`type` VARCHAR( 64 ) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL COMMENT '产品页面|目录页面',
`update_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP
) ENGINE = MYISAM ;
</code>