http://www.liqucn.com/rj/new/?page=1http://www.liqucn.com/rj/new/?page=2http://www.liqucn.com/rj/new/?page=3http://www.liqucn.com/rj/new/?page=4

class Handler(BaseHandler):    crawl_config = {    }    @every(minutes=24 * 60)    def on_start(self):        self.crawl('http://www.liqucn.com/rj/new/?page=1', callback=self.index_page)    @config(age=10 * 24 * 60 * 60)    def index_page(self, response):        # 获取最后一页的页码        totle = int(response.doc(".current").text())        for page in range(1,totle+1):            self.crawl('http://www.liqucn.com/rj/new/?page={}'.format(page), callback=self.detail_page)

代码简单分析：def on_start(self) 方法是入口代码。当在web控制台点击run按钮时会执行此方法。self.crawl(url, callback=self.index_page)这个方法是调用API生成一个新的爬取任务，            这个任务被添加到待抓取队列。def index_page(self, response) 这个方法获取一个Response对象。             response.doc是pyquery对象的一个扩展方法。pyquery是一个类似于jQuery的对象选择器。def detail_page(self, response)返回一个结果集对象。            这个结果默认会被添加到resultdb数据库（如果启动时没有指定数据库默认调用sqlite数据库）。你也可以重写            on_result(self,result)方法来指定保存位置。更多知识：@every(minutes=24*60, seconds=0) 这个设置是告诉scheduler（调度器）on_start方法每天执行一次。@config(age=10 * 24 * 60 * 60) 这个设置告诉scheduler（调度器）这个request（请求）过期时间是10天，    10天内再遇到这个请求直接忽略。这个参数也可以在self.crawl(url, age=10*24*60*60) 和 crawl_config中设置。@config(priority=2) 这个是优先级设置。数字越大越先执行。

@config(priority=2)    def detail_page(self, response):        docs = response.doc(".tip_blist li").items()        dicts = []        for item in docs:            title = item(".tip_list>span>a").text()            pubdate = item(".tip_list>i:eq(0)").text()            info = item(".tip_list>i:eq(1)").text()            # 手机类型            category = info.split("：")[1]            size = info.split("/")            if len(size) == 2:                size = size[1]            else:                size = "0MB"            app_type = item("p").text()            mobile_type = item("h3>a").text()            # 保存数据            # 建立图片下载渠道            img_url = item(".tip_list>a>img").attr("src")            # 获取文件名字            filename = img_url[img_url.rindex("/")+1:]            # 添加软件logo图片下载地址            self.crawl(img_url,callback=self.save_img,save={"filename":filename},validate_cert=False)            dicts.append({                "title":title,                "pubdate":pubdate,                "category":category,                "size":size,                "app_type":app_type,                "mobile_type":mobile_type                })        return dicts

import osimport pymongoimport pandas as pdimport numpy as npimport timeimport jsonDATABASE_IP = '127.0.0.1'DATABASE_PORT = 27017DATABASE_NAME = 'sun'client = pymongo.MongoClient(DATABASE_IP,DATABASE_PORT)db = client.sundb.authenticate("dba", "dba")collection = db.liqu  # 准备插入数据

def on_result(self,result):        if result:            self.save_to_mongo(result)                def save_to_mongo(self,result):        df = pd.DataFrame(result)        #print(df)        content = json.loads(df.T.to_json()).values()        if collection.insert_many(content):            print('存储到 mongondb 成功')

def save_img(self,response):        content = response.content        file_name = response.save["filename"]        #创建文件夹（如果不存在）        if not os.path.exists(DIR_PATH):                                     os.makedirs(DIR_PATH)         file_path = DIR_PATH + "/" + file_name        with open(file_path,"wb" ) as f:            f.write(content)