Python JsonItemExporter.fields_to_exportの例

コード例 #1

ファイル: pipelines.py プロジェクト: yangyangmei/tingche

class JsonPipeLine(object):
    def __init__(self):
        self.file = open('data.json','wb')
        self.exporter = JsonItemExporter(self.file,encoding='utf-8',ensure_ascii=False)
        self.exporter.start_exporting()

    def close_spider(self,spider):
        self.exporter.fields_to_export()
        self.file.close()

    def process_item(self,item,spider):
        self.exporter.export_item(item)
        return item

コード例 #2

ファイル: pipelines.py プロジェクト: yulifromchina/WebSpiders

class JsonExporterPipeline(object):
    # 调用scrapy提供的JsonItemExporter写入json文件
    def __init__(self):
        self.file = open('article_exporter.json','wb')
        self.exporter = JsonItemExporter(self.file, encoding='utf-8', ensure_ascii=False)
        self.exporter.start_exporting()

    def close_spider(self,spider):
        self.exporter.fields_to_export()
        self.file.close()

    def process_item(self,item, spider):
        self.exporter.export_item(item)
        return item