Scapy爬蟲數(shù)據(jù)持久化存儲(chǔ)問題分析及解決方案

使用Scapy編寫爬蟲時(shí)，數(shù)據(jù)持久化存儲(chǔ)至管道文件經(jīng)常會(huì)遇到寫入失敗的情況。本文將針對(duì)一個(gè)實(shí)際案例，分析問題原因並提供解決方案。

問題描述:

用戶嘗試使用管道存儲(chǔ)爬取數(shù)據(jù)，但文件始終為空，無法寫入。

代碼示例:

spider文件(biedou.py):

 import scrapy
import sys
sys.path.append(r'd:\project_test\pydemo\demo1\xunlian\myspider\qiubai')
from ..items import qiubaiitem

class biedouspider(scrapy.Spider):
    name = "biedou"
    start_urls = ["https://www.biedoul.com/wenzi/"]

    def parse(self, response):
        dl_list = response.xpath('/html/body/div[4]/div[1]/div[1]/dl')

        for dl in dl_list:
            title = dl.xpath('./span/dd/a/strong/text()')[0].extract()
            content = dl.xpath('./dd//text()').extract()
            content = ''.join(content)

            item = qiubaiitem()
            item['title'] = title
            item['content'] = content
            yield item
            break

item文件(item.py):

 import scrapy

class qiubaiitem(scrapy.Item):
    title = scrapy.Field()
    content = scrapy.Field()

pipeline文件(pipelines.py): (原代碼存在拼寫錯(cuò)誤)

 class qiubaipipeline(object):
    def __init__(self):
        self.fp = None

    def open_spider(self, spider): #原代碼此處拼寫錯(cuò)誤print("開始爬蟲")
        self.fp = open('./biedou.txt', 'w', encoding='utf-8')

    def close_spider(self, spider):
        print("結(jié)束爬蟲")
        self.fp.close()

    def process_item(self, item, spider):
        title = str(item['title'])
        content = str(item['content'])
        self.fp.write(title ':' content '\n')
        return item

錯(cuò)誤訊息:

 <code>... typeerror: object of type qiubaiitem is not json serializable結(jié)束爬蟲... attributeerror: 'nonetype' object has no attribute 'close'</code>

問題分析:

錯(cuò)誤信息提示'nonetype' object has no attribute 'close' ，表明self.fp為None ，導(dǎo)致無法關(guān)閉文件。這是因?yàn)?code>pipelines.py文件中open_spider方法的拼寫錯(cuò)誤（原代碼為open_spdier ），導(dǎo)致該方法未被Scrapy框架調(diào)用， self.fp未被初始化。

解決方案:

將pipelines.py文件中open_spdier方法名更正為open_spider ：

 class QiubaiPipeline(object): # 類名也建議使用駝峰命名法def __init__(self):
        self.fp = None

    def open_spider(self, spider):
        print("開始爬蟲")
        self.fp = open('./biedou.txt', 'w', encoding='utf-8')

    def close_spider(self, spider):
        print("結(jié)束爬蟲")
        self.fp.close()

    def process_item(self, item, spider):
        title = str(item['title'])
        content = str(item['content'])
        self.fp.write(title ':' content '\n')
        return item

更正拼寫錯(cuò)誤後， open_spider方法會(huì)被Scrapy框架正確調(diào)用， self.fp將被初始化，從而解決文件寫入失敗的問題。 此外，建議使用更規(guī)範(fàn)的類名和變量名，例如將qiubaipipeline改為QiubaiPipeline 。

通過以上修改，Scapy爬蟲的數(shù)據(jù)即可正確寫入管道文件。 記住檢查代碼中的拼寫錯(cuò)誤，這往往是許多問題的根源。

以上是使用Scapy爬蟲時(shí)，管道文件無法寫入的原因是什麼？的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！