当前位置:K88软件开发文章中心大数据Apache Pig → 文章内容

Apache Pig Foreach运算符

减小字体 增大字体 作者:佚名  来源:网上搜集  发布时间:2019-1-26 10:03:49

由 jarodhu 创建,youj 最后一次修改 2016-12-28 FOREACH 运算符用于基于列数据生成指定的数据转换。语法下面给出了 FOREACH 运算符的语法。grunt> Relation_name2 = FOREACH Relatin_name1 GENERATE (required data);例假设在HDFS目录 /pig_data/ 中有一个名为 student_details.txt 的文件,如下所示。 student_details.txt 001,Rajiv,Reddy,21,9848022337,Hyderabad002,siddarth,Battacharya,22,9848022338,Kolkata003,Rajesh,Khanna,22,9848022339,Delhi 004,Preethi,Agarwal,21,9848022330,Pune 005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar 006,Archana,Mishra,23,9848022335,Chennai 007,Komal,Nayak,24,9848022334,trivendram 008,Bharathi,Nambiayar,24,9848022333,Chennai通过关系 student_details 将此文件加载到的Pig中,如下所示。grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',') as (id:int, firstname:chararray, lastname:chararray,age:int, phone:chararray, city:chararray);现在让我们从关系 student_details 中获取每个学生的id,age和city值,并使用 foreach 运算符将它存储到另一个名为 foreach_data  关系,如下所示。grunt> foreach_data = FOREACH student_details GENERATE id,age,city;验证使用 DUMP 运算符验证关系 foreach_data ,如下所示。grunt> Dump foreach_data;输出它将产生以下输出,显示关系 foreach_data 的内容。(1,21,Hyderabad)(2,22,Kolkata)(3,22,Delhi)(4,21,Pune) (5,23,Bhuwaneshwar)(6,23,Chennai) (7,24,trivendram)(8,24,Chennai)

Apache Pig Foreach运算符