打印本文 关闭窗口 | |
金牌皇后重生之谋妃天下可能是在push代码前做了改动影响运行了 | |
作者:佚名 文章来源:本站原创 点击数 更新时间:2018/3/2 11:45:23 文章录入:admin 责任编辑:admin | |
|
|
实现思绪:对于当前爬取的网站地址,解析网页源码,提取出所有的link,对于合适正则表达式过滤的link,将其存到一个list调集中。金牌皇后重生之谋妃天下遍历完当前网址的所有link后,将合适前提的link批量存储到数据库中。 在git clone完项目后,发觉一个很诡异的现象,JewelCrawler每次都是爬取种子地址,并没有一次查询数据库中crawled字段为0的记实进行逐个爬取,可是之前在本机上是完满运转的,可能是在push代码前做了改动影响运转了。 |
|
打印本文 关闭窗口 |