Flume消费Kafka数据写入HDFS

Flume消费Kafka数据写入HDFS

在一个节点上开启Flume，消费Kafka中的数据写入HDFS。  CDH环境 Flume -> 实例 -> 选择节点 -> 配置 -> 配置文件 ## 组件 a1.sources=r1 a1.channels=c1 a1.sinks=k1 ## source a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource a1.sources.r1.batchSize = 5000 a1.sources.r1.batchDurationMillis = 2000 a1.sources.r1.kafka.bootstrap.servers = cdh-master:9092,cdh-slave01:9092,cdh-slave02:9092 a1.sources.r1.kafka-ics=topic_cp_api ## channel a1.channels.c1.type=memory a1.channels.c1.capacity=100000 a1.channels.c1.transactionCapacity=10000 ## sink a1.sinks.k1.type = hdfs a1.sinks.k1.hdfs.path = /origin_data/log/topic_cp_api/%Y-%m-%d a1.sinks.k1.hdfs.filePrefix = cp-api- ## 时间戳四舍五入,位数,单位 a1.sinks.k1.hdfs.round = true a1.sinks.k1.hdfs.roundValue = 10 a1.sinks.k1.hdfs.roundUnit = second ## 文件生成时间秒,大小字节,数量 a1.sinks.k1.hdfs.rollInterval = 60 a1.sinks.k1.hdfs.rollSize = 134217728 a1.sinks.k1.hdfs.rollCount = 0 ## 压缩格式 a1.sinks.k1.hdfs.fileType = CompressedStream a1.sinks.k1.hdfs.codeC = snappy ## 拼装 a1.sources.r1.channels = c1 a1.sinks.k1.channel= c1

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。