由jarodhu创建，youj最后一次修改2016-12-28ApachePig是MapReduce的一个抽象。它是一个工具/平台，用于分析较大的数据集，将它们表示为数据流。Pig通常与Hadoop一起使用；我们可以使用Pig在Hadoop中执行所有的数据操作操作。

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28以下资源包含有关ApachePig的其他信息。请使用它们获得有关此主题的更深入的知识。ApachePig上的有用链接ApachePig-ApachePig的参考。PigWiki-维基百科参考资料。有用的ApachePig书籍

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28在本章中，我们将了解如何以批处理模式运行ApachePig脚本。Pig脚本中的注释在将脚本写入文件时，我们可以在其中包含注释，如下所示。多行注释我们将用'/*'开始多行注释，以'*/'结束。/*Thesearethemulti-linecommentsInt...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28除了内置函数之外，ApachePig还为UserDefinedFunction（UDF：用户定义函数）提供广泛的支持。使用这些UDF，可以定义我们自己的函数并使用它们。UDF支持六种编程语言，即Java，Jython，Python，JavaScript，Ru...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28我们在ApachePig中有以下Math（数学）函数:S.N.函数＆描述1ABS(expression)获取表达式的绝对值。2ACOS(expression)获得表达式的反余弦值。3ASIN(expression)获取表达式的反正弦值。4ATAN(expre...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28ApachePig提供以下日期和时间函数-S.N.函数＆描述1ToDate(milliseconds)此函数根据给定的参数返回日期时间对象。此函数的另一个替代方法是ToDate（iosstring），ToDate（userstring,format），ToD...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28在ApachePig中有以下String函数。S.N.函数＆描述1ENDSWITH(string,testAgainst)验证给定字符串是否以特定子字符串结尾。2STARTSWITH(string,substring)接受两个字符串参数，并验证第一个字符串是...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28下面给出了Bag和Tuple函数的列表。S.N.函数＆描述1TOBAG()将两个或多个表达式转换为包。2TOP()获取关系的顶部N个元组。3TOTUPLE()将一个或多个表达式转换为元组。4TOMAP()将key-value对转换为Map。

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28ApachePig中的加载和存储函数用于确定数据如何从Pig中弹出。这些函数与加载和存储运算符一起使用。下面给出了Pig中可用的加载和存储函数的列表。S.N.函数&描述1PigStorage()加载和存储结构化文件。2TextLoader()将非结构...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28ApachePig提供了各种内置函数，即eval，load，store，math，string，bag和tuple函数。Eval函数下面给出了ApachePig提供的eval函数列表。S.N.函数＆描述1AVG()计算包内数值的平均值。2BagToStrin...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28LIMIT运算符用于从关系中获取有限数量的元组。语法下面给出了LIMIT运算符的语法。grunt>Result=LIMITRelation_namerequirednumberoftuples;例假设在HDFS目录/pig_data/中有一个名为studen...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28ORDERBY运算符用于以基于一个或多个字段的排序顺序显示关系的内容。语法下面给出了ORDERBY运算符的语法。grunt>Relation_name2=ORDERRelatin_name1BY(ASC|DESC);例假设在HDFS目录/pig_data/中...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28FOREACH运算符用于基于列数据生成指定的数据转换。语法下面给出了FOREACH运算符的语法。grunt>Relation_name2=FOREACHRelatin_name1GENERATE(requireddata);例假设在HDFS目录/pig_da...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28DISTINCT运算符用于从关系中删除冗余（重复）元组。语法下面给出了DISTINCT运算符的语法。grunt>Relation_name2=DISTINCTRelatin_name1;例假设在HDFS目录/pig_data/中有一个名为student_de...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28FILTER运算符用于根据条件从关系中选择所需的元组。语法下面给出了FILTER运算符的语法。grunt>Relation2_name=FILTERRelation1_nameBY(condition);例假设在HDFS目录/pig_data/中有一个名为s...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28SPLIT运算符用于将关系拆分为两个或多个关系。语法下面给出了SPLIT运算符的语法。grunt>SPLITRelation1_nameINTORelation2_nameIF(condition1),Relation2_name(condition2),例...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28PigLatin的UNION运算符用于合并两个关系的内容。要对两个关系执行UNION操作，它们的列和域必须相同。语法下面给出了UNION运算符的语法。grunt>Relation_name3=UNIONRelation_name1,Relation_name...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28CROSS运算符计算两个或多个关系的向量积。本章将以示例说明如何在PigLatin中使用cross运算符。语法下面给出了CROSS运算符的语法。grunt>Relation3_name=CROSSRelation1_name,Relation2_name;例...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28JOIN运算符用于组合来自两个或多个关系的记录。在执行连接操作时，我们从每个关系中声明一个（或一组）元组作为key。当这些key匹配时，两个特定的元组匹配，否则记录将被丢弃。连接可以是以下类型：Self-joinInner-joinOuter-join?le...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28COGROUP运算符的运作方式与GROUP运算符相同。两个运算符之间的唯一区别是group运算符通常用于一个关系，而cogroup运算符用于涉及两个或多个关系的语句。使用Cogroup分组两个关系假设在HDFS目录/pig_data/中有两个文件，即stud...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28GROUP运算符用于在一个或多个关系中对数据进行分组，它收集具有相同key的数据。语法下面给出了group运算符的语法。grunt>Group_data=GROUPRelation_nameBYage;例假设在HDFS目录/pig_data/中有一个名为st...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28illustrate运算符为你提供了一系列语句的逐步执行。语法下面给出了illustrate运算符的语法。grunt>illustrateRelation_name;例假设在HDFS中有一个包含以下内容的文件student_data.txt。001,Raji...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28explain运算符用于显示关系的逻辑，物理和MapReduce执行计划。语法下面给出了explain运算符的语法。grunt>explainRelation_name;例假设在HDFS中有一个包含以下内容的文件student_data.txt。001,Ra...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28describe运算符用于查看关系的模式。语法describe运算符的语法如下grunt>DescribeRelation_name例假设在HDFS中有一个包含以下内容的文件student_data.txt。001,Rajiv,Reddy,984802233...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28Load语句会简单地将数据加载到ApachePig中的指定关系中。要验证Load语句的执行，必须使用Diagnostic运算符。PigLatin提供四种不同类型的诊断运算符:Dump运算符Describe运算符Explanation运算符Illustrati...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28在上一章中，我们学习了如何将数据加载到ApachePig中。你可以使用store运算符将加载的数据存储在文件系统中，本章介绍如何使用Store运算符在ApachePig中存储数据。语法下面给出了Store语句的语法。STORERelation_nameINT...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28一般来说，ApachePig在Hadoop之上工作。它是一种分析工具，用于分析HadoopFileSystem中存在的大型数据集。要使用ApachePig分析数据，我们必须首先将数据加载到ApachePig中。本章介绍如何从HDFS将数据加载到ApacheP...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28PigLatin是用于使用ApachePig分析Hadoop中数据的语言。在本章中，我们将讨论PigLatin的基础知识，如PigLatin语句，数据类型，通用运算符，关系运算符和PigLatinUDF。PigLatin-数据模型如前面章节所讨论的，Pig的...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28调用Gruntshell后，可以在shell中运行Pig脚本。除此之外，还有由Gruntshell提供的一些有用的shell和实用程序命令。本章讲解的是Gruntshell提供的shell和实用程序命令。注意:在本章的某些部分中，使用了Load和Store等...

[阅读全文]

由jarodhu创建，youj最后一次修改2016-12-28在上一章中，我们解释了如何安装ApachePig。在本章中，我们将讨论如何执行ApachePig。ApachePig执行模式你可以以两种模式运行ApachePig，即Local（本地）模式和HDFS模式。Local模式在此模式下，所有文件都从本地主机和本地文...

[阅读全文]