Hadoop 面试题（一），hadoop面试题
Hadoop 面试题（一），hadoop面试题
自己收集整理面试题以及答案，鉴于没有什么标准的答案，如有异议之处还请赐教。
一、内部表和外部表的区别：
1.在创建表的时候，导入数据到外部表，数据并没有移动到自己的数据仓库下，而在自己创建表指定的路径下，而对应于内部表数据是移动到自己的数据仓库下的。 2.在删除表的时候，hive 会将内部表的元数据和数据全部删除，而外部表仅仅只是删除元数据，数据并没有删除。
二、Hbase的行健怎样创建比较好？列族怎样创建比较好？
Hbase中行健用来检索表中的记录：通过以下三种方式： 1. 通过单个的行健访问 2. 通过行健的范围进行scan 3. 全表扫描：扫描整张表中的所有行 行健是按照字典顺序存储的，创建行健的时候应对应这个排序特点，经常读取的数据放在一起，最近可能被访问的数据放在一起。 列族：不要在一张表中定义太多的列族，当某个列族flush的时候，临近的列族也会因关联效应而被触发flush。
三、三个datanode当中有一个datanode出错会怎样？
访问数据失败则去其他备份的机器去读取，并将这个数据块再进行复制一次到达备份标准
先按照作业的优先级高低，而后按照作业到达时间的先后进行处理。 计算能力调度 支持多个队列，每个队列采用FIFO调度策略，计算每个队列中正在运行的任务数和其分得的计算资源的比值，选择比值最小的队列，之后采用FIFO策略。 公平调度 同一个队列中的作业共享资源。 异构集群调度 实时调度
五、Hadoop的压缩算法：
1.用一些包含了压缩并且支持splittable的文件格式，比如Sequence File，RCFile或者Avro文件，这些文件格式我们之后都会讲到。如果为了快速压缩可以使用lzo，lz4或者snappy压缩格式。 2.使用提供splittable的压缩格式，比如，bzip2和索引后可以支持splittable的lzo。 3.提前把文件分成几个块，每个块单独压缩，这样就无需考虑splittable的问题了。
数据倾斜：在执行mapreduce的时候，reduce节点大部分都已经执行完毕，但是总是存在着一个或者几个节点运行较慢，导致整个程序处理时间较长，只是因为某一条key的条数比其他的多很多，所以处理这个条数的节点时间较长，导致某几个节点迟迟运行不完。 解决： 设置一个hash份数N，用来打散key值。 对有重复的key，将1~N添加到key的后面，形成新的key值。 对于key值平均分发到不同的reduce节点，如果需要和其他数据相关联， 为了保证每个reduce节点上都有相关联的key，对另一个key也进行上述处理。 采用调度策略处理数据倾斜问题。 基于抽样分区解决数据倾斜问题（一篇硕士论文）
七、Hadoop框架中怎么来优化？
Hadoop 框架存在着一些问题： namenode、jobtracker单点故障，HDFS小文件，jobtracker同时负责监控和调度，负载过大，数据处理的性能。 框架调优： （1） 应用程序调优：书写程序优化 1. 避免不必要的reduce任务 2. 外部文件引入：对于一些外部文件，如字典，配置文件等需要在task之间共享，可以放到分布式缓存里面DistributedCache 3. 为job添加一个combiner：可以减少shuffle阶段从map task远程拷贝到reduce task的开销 4. 根据数据特征选择使用Writable，也可以根据自己的实际情况书写Writable 5. 重用Writable类型 6. 使用StringBuffer而不是String：SringBuffer是可修改的，String是只读的，如果需要修改，会产生临时对象，StringBuffer不会产生临时对象。 （2） 对hadoop参数调优 （3） 系统实现角度调优：根据系统实现的要求，可能会修改源码等方面。
八、shuffle阶段：
shuffle阶段：将map的输出作为reduce的输入的过程就是shuffle了，这个是mapreduce优化的重点地方。这里我不讲怎么优化shuffle阶段，讲讲shuffle阶段的原理，因为大部分的书籍里都没讲清楚shuffle阶段。Shuffle一开始就是map阶段做输出操作，一般mapreduce计算的都是海量数据，map输出时候不可能把所有文件都放到内存操作，因此map写入磁盘的过程十分的复杂，更何况map输出时候要对结果进行排序，内存开销是很大的，map在做输出时候会在内存里开启一个环形内存缓冲区，这个缓冲区专门用来输出的，默认大小是100mb，并且在配置文件里为这个缓冲区设定了一个阀值，默认是0.80（这个大小和阀值都是可以在配置文件里进行配置的），同时map还会为输出操作启动一个守护线程，如果缓冲区的内存达到了阀值的80%时候，这个守护线程就会把内容写到磁盘上，这个过程叫spill，另外的20%内存可以继续写入要写进磁盘的数据，写入磁盘和写入内存操作是互不干扰的，如果缓存区被撑满了，那么map就会阻塞写入内存的操作，让写入磁盘操作完成后再继续执行写入内存操作，前面我讲到写入磁盘前会有个排序操作，这个是在写入磁盘操作时候进行，不是在写入内存时候进行的，如果我们定义了combiner函数，那么排序前还会执行combiner操作。每次spill操作也就是写入磁盘操作时候就会写一个溢出文件，也就是说在做map输出有几次spill就会产生多少个溢出文件，等map输出全部做完后，map会合并这些输出文件。这个过程里还会有一个Partitioner操作，对于这个操作很多人都很迷糊，其实Partitioner操作和map阶段的输入分片（Input split）很像，一个Partitioner对应一个reduce作业，如果我们mapreduce操作只有一个reduce操作，那么Partitioner就只有一个，如果我们有多个reduce操作，那么Partitioner对应的就会有多个，Partitioner因此就是reduce的输入分片，这个程序员可以编程控制，主要是根据实际key和value的值，根据实际业务类型或者为了更好的reduce负载均衡要求进行，这是提高reduce效率的一个关键所在。到了reduce阶段就是合并map输出文件了，Partitioner会找到对应的map输出文件，然后进行复制操作，复制操作时reduce会开启几个复制线程，这些线程默认个数是5个，程序员也可以在配置文件更改复制线程的个数，这个复制过程和map写入磁盘过程类似，也有阀值和内存大小，阀值一样可以在配置文件里配置，而内存大小是直接使用reduce的tasktracker的内存大小，复制时候reduce还会进行排序操作和合并文件操作，这些操作完了就会进行reduce计算了。
九、sqoop在导入mysql时，如何让数据不重复导入？
使用--参数进行不重复导入： sqoop import --connect jdbc:mysql://localhost:3306/hive --username root --password hadoop --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import --check-column 'TBL_ID' --incremental append --last-value 6(不重复导入 检查列参数 增量导入) sqoop简单的操作 1.把数据从mysql导入到hdfs(默认是/user/<username>)中 sqoop import --connect jdbc:mysql://localhost:3306/hive --username root --password hadoop --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import 2.把数据从hdfs导出到mysql中 sqoop export --connect jdbc:mysql://localhost:3306/hive --username root --password hadoop --table id(自己先创建表) --fields-terminated-by '\t' --export-dir '/id' (将id文件传到hdfs上) 3.设置为作业，运行作业 sqoop job --create myjob -- import --connect jdbc:mysql://localhost:3306/hive --username root --password hadoop --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import 4. 查看作业，运行作业，删除作业 sqoop --list sqoop --exec myjob sqoop --delete myjob 5. 导入导出的事务是以Mapper任务为单位，有几个Mapper就有几个事物。
评论暂时关闭