pagesize属性每页显示无穷数据_scrapy爬取云沃客项目外包网数据！-白红宇的个人博客

pagesize属性每页显示无穷数据_scrapy爬取云沃客项目外包网数据！

发布日期：2022-02-04 03:26:02 浏览次数：7 分类：技术文章

本文共 2900 字，大约阅读时间需要 9 分钟。

闲暇写一个外包网站的爬虫，万一你从这个外包网站弄点外快呢

数据分析

官方网址为 https://www.clouderwork.com/

Python资源共享群：484031800

进入全部项目列表页面，很容易分辨出来项目的分页方式

得到异步请求

Request URL:https://www.clouderwork.com/api/v2/jobs/search?ts=1546395904852&keyword=&budget_range=&work_status=&pagesize=20&pagenum=3&sort=1&scope=Request Method:GETStatus Code:200 OK

参数如下

ts:1546395904852  # 时间戳    keyword:   # 搜索关键字，查找全部，使用空即可    budget_range:   # 暂时无用    work_status:    pagesize:20   # 每页数据量    pagenum:3   # 页码    sort:1   # 排序规则    scope:

下面就是拼接请求了，一下确定 request 相关参数

Accept:application/json, text/javascript, */*; q=0.01Accept-Encoding:gzip, deflate, brAccept-Language:zh-CN,zh;q=0.9Connection:keep-aliveCookie:Host:www.clouderwork.comReferer:https://www.clouderwork.com/jobs?keyword=User-Agent:Mozilla/5.0 你自己的UA QQBrowser/10.3.3006.400X-Requested-With:XMLHttpRequest

采用爬虫 scrapy

这个网站没有反爬措施，所以直接上就可以了

# -*- coding: utf-8 -*-import scrapyfrom scrapy import Requestimport timeimport jsonclass CloudeworkSpider(scrapy.Spider):    name = 'cloudework'    allowed_domains = ['www.clouderwork.com']    start_url = 'https://www.clouderwork.com/api/v2/jobs/search?ts={times}&keyword=&budget_range=&work_status=&pagesize={pagesize}&pagenum={pagenum}&sort=1&scope='    def start_requests(self):        for page in range(1,353):            yield Request(self.start_url.format(times=time.time(),pagesize=20,pagenum=page))    def parse(self, response):        json_data = json.loads(response.text)        for item in  json_data["jobs"]:            yield item

存储数据到 mongodb 中，合计爬取到 7000+ 数据

数据分析

从mongdo读取数据

import pymongoimport pandas as pdfrom pandas import Series,DataFrameimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常显示负号# 连接数据库client = pymongo.MongoClient("localhost",27017)cloud = client["cloud"]collection = cloud["cloudework"]# 加载数据data = DataFrame(list(collection.find()))

结果显示为 [7032 rows x 35 columns]

查看数据基本情况

使用直接 data.shape 可以查看一下数据的基本情况

查看一下工期的分布

periods = data.groupby(["period"]).size()x = periods.index y = periods.values plt.figure()plt.scatter(x,y, color="#03a9f4", alpha = 0.5) # 绘制图表plt.xlim((0, 360))plt.ylim((0, 2000))plt.xlabel("工期")plt.ylabel("项目数")plt.show()

可以看到数据散点集中在0〜50天

image

过滤一下40天以内的数据

periods = data.groupby(["period"]).size().reset_index(name="count")df = periods[periods["period"]<=40]x = df["period"]y = df["count"]plt.figure()plt.scatter(x,y,label='项目数折线',color="#ff44cc")plt.title("工期对应项目数")plt.xlim((0, 360))plt.ylim((0, 500))plt.show()

image

发现竟然有1天工期的任务，可以瞅瞅都是什么任务

periods = data.groupby(["period"]).size()data[data["period"]==1][["name","period"]]

image

果然比较简单唉~~不过也没有多少钱，有个急活1000¥

查看阅览量排行Top10

views = data["views_count"]top10 = views.sort_values(ascending=False)[:10]top10 = data[data.views_count.isin(top10.values)][["name","views_count","period","summary"]]top10