Scala计数器开发
发布日期:2021-07-01 02:23:23
浏览次数:2
分类:技术文章
本文共 1153 字,大约阅读时间需要 3 分钟。
package com.imooc.flink.course04import org.apache.flink.api.common.JobExecutionResultimport org.apache.flink.api.common.accumulators.LongCounterimport org.apache.flink.api.common.functions.RichMapFunctionimport org.apache.flink.api.scala._import org.apache.flink.configuration.Configurationimport org.apache.flink.core.fs.FileSystem.WriteModeobject CounterApp { def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvironment val data = env.fromElements("hadoop","spark","flink","strom") val info = data.map(new RichMapFunction[String,String]() { //1.定义计数器 val counter = new LongCounter() override def open(parameters: Configuration): Unit = { //2.注册计数器 getRuntimeContext.addAccumulator("ele-counts",counter) } override def map(in: String): String = { counter.add(1) in } }) val filePath="file:///F://data/" info.writeAsText(filePath,WriteMode.OVERWRITE).setParallelism(2) val jobResult: JobExecutionResult = env.execute("CounterApp") //3.获取计数器 val num = jobResult.getAccumulatorResult[Long]("ele-counts") println("num:"+num) }}
转载地址:https://mapengsen.blog.csdn.net/article/details/108899940 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
第一次来,支持一个
[***.219.124.196]2024年04月10日 18时13分06秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
对于时间复杂度的通俗理解
2019-04-30
如何输入多组数据并输出每组数据的和?
2019-04-30
行阶梯型矩阵
2019-04-30
MATLAB指定路径保存图片方法
2019-04-30
JAVA学习笔记6 - 数组
2019-04-30
【学习笔记】Android Activity
2019-04-30
location区段
2019-04-30
nginx访问控制、基于用户认证、https配置
2019-04-30
linux内存的寻址方式
2019-04-30
how2heap-double free
2019-04-30
how2heap-fastbin_dup_consolidate
2019-04-30
tf keras SimpleRNN源码解析
2019-04-30
MyBatisPlus简单入门(SpringBoot)
2019-04-30
攻防世界web进阶区web2详解
2019-04-30
xss-labs详解(上)1-10
2019-04-30
xss-labs详解(下)11-20
2019-04-30
攻防世界web进阶区ics-04详解
2019-04-30
sql注入总结学习
2019-04-30
Python实现决策树 Desision Tree & 可视化
2019-04-30