
python爬虫--11 京东商城
发布日期:2021-05-14 12:19:04
浏览次数:23
分类:原创文章
本文共 1204 字,大约阅读时间需要 4 分钟。
import requestsfrom bs4 import BeautifulSoup## 获取网页信息def getHtmlText(url): try: r = requests.get(url) r.raise_for_status() r.encoding =r.apparent_encoding return r.text except: return 'false'## 解析网页参数,获取商品信息def parserHtml(goods_data,html): soup =BeautifulSoup(html,'html.parser') lis = soup.find_all('li',class_= 'gl-item') print(len(lis)) for i in range(len(lis)): try: title = lis[i].a['title'] price = lis[i].find('div',class_='p-price').i.string goods_data.append([title,price]) except: print('')## 输出数据def printHtmlGoods(goods_data): std = r'{0:^100}{1:^8}' print(std.format('商品名称', '价格')) for i in range(len(goods_data)): print(std.format(goods_data[i][0], goods_data[i][0]))def main(): url_basic = 'https://search.jd.com/Search?keyword=' pages = 3 keyword = '电脑' goods_data = [] for i in range(pages): page = 1+i*2 url = url_basic + keyword + '&enc=utf-8&wq'+ keyword + '&page=' + str(page) print(url) html =getHtmlText(url) parserHtml(goods_data,html) printHtmlGoods(goods_data)if __name__ == '__main__': main()
发表评论
最新留言
留言是一种美德,欢迎回访!
[***.207.175.100]2025年04月11日 17时00分20秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
Java多线程
2019-03-07
Unity监听日记
2019-03-07
AndroidStudio跳到错误位置
2019-03-07
木马开发的基本理论基础(五)
2019-03-07
openssl服务器证书操作
2019-03-07
expect 模拟交互 ftp 上传文件到指定目录下
2019-03-07
linux系统下双屏显示
2019-03-07
PDF.js —— vue项目中使用pdf.js显示pdf文件(流)
2019-03-07
我用wxPython搭建GUI量化系统之最小架构的运行
2019-03-07
我用wxPython搭建GUI量化系统之Sizer布局管理与页面切换
2019-03-07
我用wxPython搭建GUI量化系统之多只股票走势对比界面
2019-03-07
我用wxPython搭建GUI量化系统之财务选股工具添加日历和排序
2019-03-07
selenium+python之切换窗口
2019-03-07
重载和重写的区别:
2019-03-07
搭建Vue项目步骤
2019-03-07
账号转账演示事务
2019-03-07
idea创建工程时错误提醒的是architectCatalog=internal
2019-03-07
SpringBoot找不到@EnableRety注解
2019-03-07
简易计算器案例
2019-03-07
在Vue中使用样式——使用内联样式
2019-03-07