当前位置:K88软件开发文章中心大数据Apache Pig → 文章内容

Apache Pig Grunt Shell

减小字体 增大字体 作者:佚名  来源:网上搜集  发布时间:2019-1-26 10:03:30

t = LOAD 'hdfs://localhost:9000/pig_data/student.txt' USING PigStorage(','); set命令 set 命令用于向Pig中使用的key显示/分配值。使用使用此命令,可以将值设置到以下key。Key说明和值default_parallel通过将任何整数作为值传递给此key来设置映射作业的reducer数。debug关闭或打开Pig中的调试功能通过传递on/off到这个key。job.name通过将字符串值传递给此key来将作业名称设置为所需的作业。job.priority通过将以下值之一传递给此key来设置作业的优先级:very_lowlownormalhighvery_highstream.skippath对于流式传输,可以通过将所需的路径以字符串形式传递到此key,来设置不传输数据的路径。quit命令你可以使用此命令从Grunt shell退出。使用从Grunt shell中退出,如下所示。grunt> quit现在让我们看看从Grunt shell控制Apache Pig的命令。exec命令使用 exec 命令,我们可以从Grunt shell执行Pig脚本。语法下面给出了实用程序命令 exec 的语法。grunt> exec [–param param_name = param_value] [–param_file file_name] [script]示例我们假设在HDFS的 /pig_data/ 目录中有一个名为 student.txt 的文件,其中包含以下内容。 Student.txt 001,Rajiv,Hyderabad002,siddarth,Kolkata003,Rajesh,Delhi并且,假设我们在HDFS的 /pig_data/ 目录中有一个名为 sample_script.pig 的脚本文件,并具有以下内容。 Sample_script.pig student = LOAD 'hdfs://localhost:9000/pig_data/student.txt' USING PigStorage(',') as (id:int,name:chararray,city:chararray); Dump student;现在,让我们使用 exec 命令从Grunt shell中执行上面的脚本,如下所示。grunt> exec /sample_script.pig输出 exec 命令执行 sample_script.pig 中的脚本。按照脚本中的指示,它会将 student.txt 文件加载到Pig中,并显示Dump操作符的结果,显示以下内容。(1,Rajiv,Hyderabad)(2,siddarth,Kolkata)(3,Rajesh,Delhi) kill命令你可以使用此命令从Grunt shell中终止一个作业。语法下面给出了 kill 命令的语法。grunt> kill JobId示例假设有一个具有id Id_0055 的正在运行的Pig作业,使用 kill 命令从Grunt shell中终止它,如下所示。grunt> kill Id_0055run命令你可以使用run命令从Grunt shell运行Pig脚本语法下面给出了 run 命令的语法。grunt> run [–param param_name = param_value] [–param_file file_name] script示例假设在HDFS的 /pig_data/ 目录中有一个名为 student.txt 的文件,其中包含以下内容。 Student.txt 001,Rajiv,Hyderabad002,siddarth,Kolkata003,Rajesh,Delhi并且,假设我们在本地文件系统中有一个名为 sample_script.pig 的脚本文件,并具有以下内容。 Sample_script.pig student = LOAD 'hdfs://localhost:9000/pig_data/student.txt' USING PigStorage(',') as (id:int,name:chararray,city:chararray);现在,让我们使用run命令从Grunt shell运行上面的脚本,如下所示。grunt> run /sample_script.pig你可以使用Dump操作符查看脚本的输出,如下所示。grunt> Dump;(1,Rajiv,Hyderabad)(2,siddarth,Kolkata)(3,Rajesh,Delhi)注意: exec 和 run 命令之间的区别是,如果使用run,则脚本中的语句在history命令中可用。

上一页  [1] [2] 


Apache Pig Grunt Shell