本文共 1565 字，大约阅读时间需要 5 分钟。
������������Scrapy-Redis���������������
������Scrapy-Redis���������RedisSpider
���������������������RedisSpider
������start_url���������Redis��������� redis_key="myspider:start_urls"
������Scrapy settings���
#������Scrapy-Redis������������ DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
#������Scrapy-Redis������������ SCHEDULER = "scrapy_redis.scheduler.Scheduler"
#���������Scrapy-Redis������������������������������������ SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
#������������������������������ SCHEDULER_PERSIST = True
ITEM_PIPELINES = { 'ProjectName.pipelines.ProductPipeline': 300, 'scrapy_redis.pipelines.RedisPipeline': 400, }
#������Redis��������������������������������������������� REDIS_HOST = '���������IP������' REDIS_PORT = 6379
������������Redis������������
- ������Redis
- ������Redis������
- ���������������������Redis������������
���������������������
scrapy runspider spidername.py
������������Redis������������������
������Redis���������������������
- ������������������URL���` Observable myspider:*
- ���������������������` DEL myspider:*
������������������������Redis���������- ������Redis��������������������������� /etc/redis/redis.conf���������bind���������������0.0.0.0������������������������- ������protected-mode���������no������������������������- ������port���������6379������Scrapy���������������- ���������������������������Redis������������������������������������������������������������Scrapy-Redis���������������������������������������������������������������������������������������������������
发表评论
最新留言
关于作者
