Day2-分布式爬虫并打造搜索引擎全过程

报错，因为在windows上少了个组件需要安装：pip install -i https://pypi.douban.com/simple/ pypiwin32

# -*- coding: utf-8 -*-

from scrapy.cmdline import execute

import sys

import os

# print(os.path.dirname(os.path.abspath(__file__)))

sys.path.append(os.path.dirname(os.path.abspath(__file__)))

execute(["scrapy","crawl","jobbole"])

#-*- coding: utf-8 -*-

import scrapy

import  re

class JobboleSpider(scrapy.Spider):

    name = 'jobbole'

    allowed_domains = ['blog.jobbole.com']

    start_urls = ['http://blog.jobbole.com/112233/']

    def parse(self, response):

        # 测试

        re_selector = response.xpath("//*[@id='post-112233']/div[3]/h3[1]/text()").extract()[0]

        # 获取文章的标题

        re_title = response.xpath("//*[@id='post-112233']/div[1]/h1/text()").extract()[0]

        # 获取文章的创建日期

        re_create_date = response.xpath("//*[ @ id = 'post-112233']/div[2]/p/text()")

            .extract()[0]

            .strip()

            .replace(" ·","")

            .strip()

        # 获取点赞数

        re_dianGood_number = response.xpath("  // *[ @ id = '112233votetotal']/text() ").extract()[0]

       # 使用contains方法获取收藏数

        re_get_number = response.xpath("//span[contains(@class,'bookmark-btn')] /text() ").extract()[0]

        # 利用正则表达式，过滤掉不要的字符

        re_math = re.match(".*(d+).*",re_get_number)

        if re_math:

            re_get_number = re_math.group(1)

            # 使用contains方法获取评论数

        re_talk_number = response.xpath("//a[contains(@href,'#article-comment')]/span/text() ").extract()[0]

        # 利用正则表达式，过滤掉不要的字符

        re_math = re.match(".*(d+).*", re_talk_number)

        if re_math:

            re_talk_number = re_math.group(1)

        # 获取正文内容

        re_content = response.xpath("//div[@class='entry']") .extract()[0]

        # 获取文章头标签

        re_tag = response.xpath("//p[@class='entry-meta-hide-on-mobile']/a/text()") .extract()

        # 过滤掉评论

        re_tag = [element for element in re_tag if not element.strip().endswith("评论")]

        tags =",".join(re_tag);

        # 测试输出

        print(re_selector)

        # 输出文章标题

        print(re_title)

        # 输出文章创建日期

        print(re_create_date)

        # 输出点赞数

        print(re_dianGood_number)

        # 输出收藏数

        print(re_get_number)

        # 输出评论数

        print(re_talk_number)

        # 输出文章主题标签

        print(tags)

        # 输出正文内容

        print(re_content)

        pass