什么是Apache Pig
发布日期：2021-11-04 22:04:14
浏览次数：4
分类：技术文章
本文共 724 字，大约阅读时间需要 2 分钟。
Apache Pig为大数据集的处理提供了更高层次的抽象，提供类SQL的数据处理脚本语言。配合Hadoop使用，可以在处理海量数据时达到事半功倍的效果；简化map-reduce编程，比使用Java等语言编写map-reduce程序处理大规模数据的难度要小N倍，实现同样的效果的代码量也小N倍。
Pig包括：
- Pig Latin, 类SQL数据处理语言
- 在Hadoop上运行的Pig Latin执行引擎,将pig脚本转换为map-reduce程序在hadoop集群运行
- 编码简单
- 对常见的操作充分优化
- 可扩展。自定义UDF
Pig主要用户
- Yahoo!: 90%以上的MapReduce作业是Pig生成的
- Twitter: 80%以上的MapReduce作业是Pig生成的
- Linkedin: 大部分的MapReduce作业是Pig生成的
- 其他主要用户: Salesforce, Nokia, AOL, comScore
- Hortonworks
- Yahoo!
- Cloudera
Pig工具
- Piggybank
- Pig的官方函数库
- 主要由Pig用户维护
- 目前随Pig一起发行
- Elephant bird: Twitter的Pig函数库
- DataFu: Linkedin的Pig函数库
- Ambros: Twitter的Pig作业监控系统
- Mortardata: 基于云的Pig集群管理系统
Pig定位
Pig资料
- Pig网址：
- Oreilly.Programming.Pig.Sep.2011（Pig编程指南）
- Apache Pig 性能优化 - Hadoop与大数据技术大会2012
- Pig网站的文档
转载地址：https://blog.csdn.net/xiaochawan/article/details/8932872 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！
发表评论
最新留言
路过按个爪印，很不错，赞一个！
[***.219.124.196]2024年04月03日 08时02分48秒
关于作者
喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！
-- 愿君每日到此一游！
推荐文章
unity中对于scrollview下拉加载的方法
2019-04-27
Unity使用RenderTexture进行截屏（海报截图分享、适配各种尺寸比例的屏幕）
2019-04-27
接口和抽象类的区别
2019-04-27
unity自动打包经验
2019-04-27
项目中的问题与解决方案
2019-04-27
MongoDB学习笔记，小科普
2019-04-27
C++ 信号处理
2019-04-27
Objective-C学习笔记
2019-04-27
装饰器模式
2019-04-27
MySql学习笔记
2019-04-27
HTML学习笔记
2019-04-27
适配器模式
2019-04-27
Unity ipv6的支持
2019-04-27
Unity UGUI RawImage 渲染小地图
2019-04-27
unity 类的序列化
2019-04-27
继上一篇，制作序列化类的编辑器
2019-04-27
unity NGUI图文混排
2019-04-27
Unity项目优化
2019-04-27
Unity3D Shader 入门
2019-04-27
白红宇的个人博客 - 记录点点滴滴的事 - 您是第 307845192 位访客
访问时间: 2024-04-25 16:26:48
访问IP: 3.21.104.109
Copyright © 2020 - 2023 blog.css8.cn 京ICP备2021015314号-1
手机版