spark sql去除某一行或某一属性值为空的行最简单办法-白红宇的个人博客

发布日期：2021-05-08 14:12:37 浏览次数：21 分类：精选文章

本文共 381 字，大约阅读时间需要 1 分钟。

想去除某一属性为特定值或null的那一行

思路：

1、把你想要筛选的那一列，变为string类型新增一列。

2、用filter()过滤掉这一行

例如：

我想去除time列中为空，且1970年的行：

新增time_string，类型为string：

t=t.withColumn('time_string',t['time'].cast('String'))

在这里插入图片描述

过滤：

t = t.filter(t['time_string']!='null')t = t.filter(t['time_string']!='1970-01-01 00:00:00')

最后完成：

就这两行代码：

t=t.withColumn('time_string',t['time'].cast('String'))t = t.filter(t['time_string']!='null')

上一篇：技术美术面试问题整理

下一篇：搭建SpringCloud 系列demo

关于作者

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！

-- 愿君每日到此一游！

上周热点回顾（1.16-1.22） 2021-05-09

上周热点回顾（1.23-1.29） 2021-05-09

上周热点回顾（3.20-3.26） 2021-05-09

上周热点回顾（4.24-4.30） 2021-05-09

上周热点回顾（5.1-5.7） 2021-05-09

上周热点回顾（5.29-6.4） 2021-05-09

上周热点回顾（6.19-6.25） 2021-05-09

云计算之路-阿里云上：docker swarm 集群故障与异常 2021-05-09

上周热点回顾（2.19-2.25） 2021-05-09

云计算之路-阿里云上：博客web服务器轮番CPU 100% 2021-05-09

上周热点回顾（3.26-4.1） 2021-05-09

【故障公告】极验验证码故障造成无法登录与注册 2021-05-09

上周热点回顾（6.25-7.1） 2021-05-09

工作半年的思考 2021-05-09

白红宇的个人博客 - 记录点点滴滴的事 - 您是第 459511933 位访客