由小路依依创建，最后一次修改2017-02-20//www.k88.net/hadoop/hadoop_big_data_overview.html

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12Hadoop-参考Yahoo教程细细品味HadoopHDFS原理、架构与特性介绍HadoopMapReduce开发最佳实践MapReduce的Shuffle阶段Hadoop的最佳实践和反模式Hadoop读split

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12Hadoop监控Logyarn.log-aggregation-enable=true如果显示错误，则日志存储在节点管理器运行节点上。当聚集启用时所有日志进行汇总，任务完成后转移到HDFS。Hadoop集群性能监控Ganglia,Nagios使用Hadoop工...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12Hadoop配置有两种配置文件：一种是__-default.xml（只读，默认的配置）一种是#x662F;__-site.xml（替换default中的配置）core-site.xml配置公共属性hdfs-site.xml配置HDFSyarn-site.xml...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12Hadoop安装单节点安装所有服务运行在一个JVM中，适合调试、单元测试伪集群所有服务运行在一台机器中，每个服务都在独立的JVM中，适合做简单、抽样测试多节点集群服务运行在不同的机器中，适合生产环境配置公共帐号方便主与从进行无密钥通信，主要是使用公钥/私钥机制...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12Hadoop测试MRUnit单元测试Mapper和Reducer类在内存上独立运行,PipelineMapReduceDriver单线程运行.LocalJobRunner单线程运行,且仅有一个Reducer能够启动conf.set("mapred.job.tr...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12Hadoop-IO输入文件从HDFS进行读取.输出文件会存入本地磁盘.Reducer和Mapper间的网络I/O,从Mapper节点得到Reducer的检索文件.使用Reducer实例从本地磁盘回读数据.Reducer输出-回传到HDFS.串行化传输、存储都需...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12MapReduce-编程在线练习http://cloudcomputing.ruc.edu.cn处理select：直接分析输入数据，取出需要的字段数据即可where:也是对输入数据处理的过程中进行处理，判断是否需要该数据aggregation:min,max,...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12MapReduce-Shuffle对Map的结果进行排序并传输到Reduce进行处理Map的结果并不#x662F;直接存放到硬盘,而是利用缓存做一些预排序处理Map会调用Combiner，压缩，按key进行分区、排序等，尽量减少结果的大小每个Map完成后都会通...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12MapReduce-Mapper主要是读取InputSplit的每一个Key,Value对并进行处理publicclassMapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT>{/***预处理，仅在maptask启动时运行一次*/prote...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12MapReduce-读取数据通过InputFormat决定读取的数据的类型，然后拆分成一个个InputSplit，每个InputSplit对应一个Map处理，RecordReader读取InputSplit的内容给MapInputFormat决定读取数据的格式...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12Hadoop-MapReduce简介一种分布式的计算方式指定一个Map（映#x5C04;）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组Patternmap:(K1,V1)→li...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12YARN-Failover失败类型程序问题进程崩溃硬&#x#x4EF6;问题失败处理任务失败运行时异常或者JVM退出都会报告给ApplicationMaster通过心跳来检查挂住的任务(timeout)，会检查多次（可配置）才判断该任务是否失效一个作业...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12YARN-Container基本的资源单位（CPU、内存等）Container可以加载任意程序，而且不限于Java一#x4E2A;Node可以包含多个Container，也可以是一个大的ContainerApplicationMaster可以根据需要，动态申请...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12YARN-ApplicationMaster单个作业的资源管理和任务监控具体功能描述#x8FF0;：计算应用的资源需求，资源可以是静态或动态计算的，静态的一般是Client申请时就指定了，动态则需要ApplicationMaster根据应用的运行状态来决定根据...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12YARN-NodeManagerNode节点下的Container管理启动时向ResourceManager注册并定时发&##x9001;心跳消息，等待ResourceManager的指令监控Container的运行，维护Container的生命周期，...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12YARN-ResourceManager负责全局的资源管理和任务调度，把整个集群当&##x6210;计算资源池，只关注分配，不管应用，且不负责容错资源管理以前资源是每个节点分成一个个的Mapslot和Reduceslot，现在是一个个Container...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12HadoopHadoop-YARN旧的MapReduce架构JobTracker:负责资源管理，跟踪资源消耗和可用性，作业生命周期管理（调度作业任务，跟踪进度，为任务提供容错）TaskTracker:加载或关闭任务，定时报告认为状态此架构会有以下问题：JobT...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12HDFS-命令工具fsck:检查文件的完整性start-balancer.sh:重新平衡HDFShdfsdfs-copyFromLocal从本地磁盘复制文&#x#x4EF6;到HDFS

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12HDFS-可靠性DataNode可以失效DataNode会定时发送心跳到NameNode。如果?#x5728;一段时间内NameNode没有收到DataNode的心跳消息，则认为其失效。此时NameNode就会将该节点的数据（从该节点的复制节点中获取）复制到另...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12HDFS-读文件客户端向NameNode发送读取请求NameNode#x8FD4;回文件的所有block和这些block所在的DataNodes（包括复制节点）客户端直接从DataNode中读取数据，如果该DataNode读取失败（DataNode失效或校验码...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12HDFS-写文件1.客户端将文件写入本地磁盘的N#x4E34;时文件中2.当临时文件大小达到一个block大小时，HDFSclient通知NameNode，申请写入文件3.NameNode在HDFS的文件系统中创建一个文件，并把该blockid和要写入的Dat...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12Hadoop-HDFS简介HadoopDistributedFileSystem，分布式文件系统架构Block数据&##x5757;基本存储单位，一般大小为64M（配置大的块主要是因为：1）减少搜寻时间，一般硬盘传输速率比寻道时间要快，大的块可以减少寻...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12Hadoop-简介Hadoop可运行于一般的商用服务器上，具有高容错、高可靠性、高扩展性等特点特别适合写一次，读多次的场景适合大规模数据流式数据（写一次，读多次）商用硬件（一般硬件）不适合低延时的数据访问大量的小文件频繁修改文件（基本就是写1次）Hadoop架...

[阅读全文]

由kamiya创建，Alma最后一次修改2016-08-12Hadoop主要记录了Hadoop各个组件的基本原理，处理过程和关键的知识点等，包括HDFS、YARN、MapReduce等。本教程内容来源于PennyWong更新日期更新内容2015-5-7Hadoop文档铺垫人产生数据的速度越来越快，机器则更加快，more...

[阅读全文]