爬虫系统设计

这个爬虫系统是基于远程数据库的分布式爬虫系统,和Sean共同讨论的结果。

爬虫数据库设计

爬虫数据库

CREATE TABLE `tvcoolsc_wpxdquan`.`xindan_crawl` (
`ID` INT NOT NULL AUTO_INCREMENT PRIMARY KEY ,
`url` VARCHAR( 512 ) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL ,
`type` VARCHAR( 64 ) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL COMMENT '产品页面|目录页面',
`update_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP
) ENGINE = MYISAM ;
project/spider.txt · 最后更改: 2010/06/02 09:18 (外部编辑)
2007~2011 Copyright @ http://www.pythonclub.org