本文共 1381 字，大约阅读时间需要 4 分钟。

由于在python 爬虫过程中有爬取到重复的链接，并没有进行去重操作，故，这里再通过python自带的set再次进行去重一次。

下面是给出来的代码

# -*- coding: utf-8 -*-# @Time    : 2018/9/21 13:31# @Author  : 蛇崽# @Email   : 643435675@QQ.com# @Site    : http://www.ltc622.com/# @File    : get_only_teaminfo.py# @Software: PyCharm 队员信息去重import jsondef read_json():    f = open('team_all2.json', encoding='utf-8')    link_datas = []    f2 = open('all_teaminfos.jason', 'a', encoding='utf-8')    while 1:        line = f.readline()        if not line:            break        jline = json.loads(line)        teamName = jline['teamName']        teamLink = jline['teamLink']        teamId = jline['teamId']        print('link  ======   >>>>   ', teamLink)        data = {
                'teamName':teamName,            'teamLink':teamLink,            'teamId':str(teamId),        }        data = json.dumps(data, ensure_ascii=False)        link_datas.append(data)    link_datas_final = set(link_datas)    for data in link_datas_final:        print(data)        f2.write(data+'\n')    f2.close()if __name__ == '__main__':    read_json()

说下主要思路：主要是把一个list放进到set里面，然后取出来，便是已经去重过的数据了。

--------------------------------------- 下面是广告 ------------------------------------------------

个人微信：hll643435675（备注：博客）

更多资源请访问：

欢迎光临我的小网站：

欢迎光临这个妹子的SEO优化网站：

陆续优化中，后续会开发更多更好玩的有趣的小工具

--------------------------------------- 上面是广告 ------------------------------------------------

转载地址：https://blog.csdn.net/xudailong_blog/article/details/82891287 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！