从零开始学习基于WebMagic的Java爬虫(一):环境配置

1 扫盲

1.1 网络爬虫

网络爬虫,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

1.2 WebMagic

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic,你可以快速开发出一个高效、易维护的爬虫。

2 环境搭建

2.1 Maven

Maven项目对象模型,可以通过一小段描述信息来管理项目的构建,报告和文档的软件项目管理工具。
上面那句话看不懂的也没关系,暂时知道这次是利用Maven来管理JAR包就行。
当然,如果不使用Maven也可以手动下载WebMagic框架的JAR包。

2.1.1 手动下载JAR包(不推荐)

访问:https://github.com/code4craft/webmagic/releases/tag/webmagic-parent-0.6.1,点击红色箭头链接,进行下载,下载完成后,将JAR包放在lib里面即可。

如果你没有使用过Maven,那么一定不要错过这次入门的机会。

2.1.2 使用Maven管理本地JAR包

首先先访问网址:http://maven.apache.org/download.cgi,二者任选其一下载后解压,将其放到自己平时常用位置后。
例如:/Library/apache-maven-3.3.9
【macOS】
打开终端,键入如下命令:

$ vi ~/.bash_profile

添加下列两行代码,之后保存并退出Vi:

export M2_HOME=/Library/apache-maven-3.3.9
export PATH=$PATH:$M2_HOME/bin

顺便说一下,vi进入插入模式先按i,接着输入上述两行代码,输入完成后,按”:wq”回车,即可保存退出。
【Windows】
配置环境变量即可,详情参照
http://jingyan.baidu.com/article/1709ad808ad49f4634c4f00d.html

3 项目新建、配置与运行

打开IDEA,新建项目

选择自动引入Maven项目

在pom.xml中插入红框内配置语句

点击右侧Maven Projects列表刷新Maven项目

在src/main/resources目录下新建文件命名为log4j.properties
并向其中写入以下代码。

log4j.rootCategory=INFO, stdout , R   

log4j.appender.stdout=org.apache.log4j.ConsoleAppender   
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout   
log4j.appender.stdout.layout.ConversionPattern=[QC] %p [%t] %C.%M(%L) | %m%n   

log4j.appender.R=org.apache.log4j.DailyRollingFileAppender   
log4j.appender.R.File=D:\\Tomcat 5.5\\logs\\qc.log   
log4j.appender.R.layout=org.apache.log4j.PatternLayout   
1log4j.appender.R.layout.ConversionPattern=%d-[TS] %p %t %c - %m%n   

log4j.logger.com.neusoft=DEBUG   
log4j.logger.com.opensymphony.oscache=ERROR   
log4j.logger.net.sf.navigator=ERROR   
log4j.logger.org.apache.commons=ERROR   
log4j.logger.org.apache.struts=WARN   
log4j.logger.org.displaytag=ERROR   
log4j.logger.org.springframework=DEBUG   
log4j.logger.com.ibatis.db=WARN   
log4j.logger.org.apache.velocity=FATAL   

log4j.logger.com.canoo.webtest=WARN   

log4j.logger.org.hibernate.ps.PreparedStatementCache=WARN   
log4j.logger.org.hibernate=DEBUG   
log4j.logger.org.logicalcobwebs=WARN  

log4j.rootCategory=INFO, stdout , R

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[QC] %p [%t] %C.%M(%L) | %m%n

log4j.appender.R=org.apache.log4j.DailyRollingFileAppender
log4j.appender.R.File=D:\\Tomcat 5.5\\logs\\qc.log
log4j.appender.R.layout=org.apache.log4j.PatternLayout
1log4j.appender.R.layout.ConversionPattern=%d-[TS] %p %t %c - %m%n

log4j.logger.com.neusoft=DEBUG
log4j.logger.com.opensymphony.oscache=ERROR
log4j.logger.net.sf.navigator=ERROR
log4j.logger.org.apache.commons=ERROR
log4j.logger.org.apache.struts=WARN
log4j.logger.org.displaytag=ERROR
log4j.logger.org.springframework=DEBUG
log4j.logger.com.ibatis.db=WARN
log4j.logger.org.apache.velocity=FATAL

log4j.logger.com.canoo.webtest=WARN

log4j.logger.org.hibernate.ps.PreparedStatementCache=WARN
log4j.logger.org.hibernate=DEBUG
log4j.logger.org.logicalcobwebs=WARN

在src/main/java下新建GithubRepoProcessor.java

插入实例代码。

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

public class GithubRepoPageProcessor implements PageProcessor {

    private Site site = Site.me().setRetryTimes(3).setSleepTime(100);

    public void process(Page page) {
        page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());
        page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());
        page.putField("name", page.getHtml().xpath("//h1[@class='entry-title public']/strong/a/text()").toString());
        if (page.getResultItems().get("name")==null){
            //skip this page
            page.setSkip(true);
        }
        page.putField("readme", page.getHtml().xpath("//div[@id='readme']/tidyText()"));
    }

    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {
        Spider.create(new GithubRepoPageProcessor())
                .addUrl("https://github.com/code4craft")
                .thread(5)
                .run();
    }
}

此时还需要配置最后一处。

下拉列表选择Edit Configurations...

按照图中参数配置

点击运行即可运行你的第一个爬虫

下一篇文章中,我们将利用WebMagic框架来爬取CSDN博客,作为demo进行讲解。

当前网速较慢或者你使用的浏览器不支持博客特定功能,请尝试刷新或换用Chrome、Firefox等现代浏览器