打印本文 打印本文  关闭窗口 关闭窗口  
金牌皇后重生之谋妃天下可能是在push代码前做了改动影响运行了
作者:佚名  文章来源:本站原创  点击数  更新时间:2018/3/2 11:45:23  文章录入:admin  责任编辑:admin

  实现思绪:对于当前爬取的网站地址,解析网页源码,提取出所有的link,对于合适正则表达式过滤的link,将其存到一个list调集中。金牌皇后重生之谋妃天下遍历完当前网址的所有link后,将合适前提的link批量存储到数据库中。

  在git clone完项目后,发觉一个很诡异的现象,JewelCrawler每次都是爬取种子地址,并没有一次查询数据库中crawled字段为0的记实进行逐个爬取,可是之前在本机上是完满运转的,可能是在push代码前做了改动影响运转了。

打印本文 打印本文  关闭窗口 关闭窗口