Flume 中Sink批量参数设置调优

Flume 中Sink批量参数设置调优

     在Flume 配置中，Sink的参数batchSize会影响到整个流程的性能。比如说HDFS sink，它的参数称hdfs.batchSize，这样称呼是由于历史的原因，建议使用hdfs.txnEvenMax。 在sink端调优批量值设置，它依赖于相应的隧道（channel）的事务容量。sink端的批量大小应该小于或者等于channel端的事务容量，而事务容量应该设置为实际需要的最大值（channel端）。下列列举了一下优化的sink批量参数值设置。