Flume NG 配置
(说明,名词对应解释 源-Source,接收器-Sink,通道-Channel)
?
?
配置
?
? 设置代理
?
? ? ? ? ?Flume代理配置存储在本地配置文件。这是一个文本文件格式,是Java属性文件格式。在相同的配置文件,可以指定一个或多个代理的配置。配置文件包括每个源,接收器和通道,把它们连接在一起,形成数据流。
?
? 配置单个组件
?
?
? ? ? ? ?流中每个组件(源,接收器或通道)都有名称,类型,和一组特定实例的属性。例如,Avro源需要一个接收数据的主机名(或IP地址)和端口号。一个内存通道可以有最大队列大小(“能力”),HDFS的Sink需要知道文件系统的URI,路径创建文件,文件的创建频率(“hdfs.rollInterval”)等,所有这些组件的属性需要设置在Flume代理的属性文件。
?
?组合组件
?
? ? ? ?代理需要知道如何加载各个组件以及它们是如何连接,以构成流。这是通过列出的源,接收器及通道的名称,然后指定每个接收器和源的连接通道。例如,流定义,Avro源avroWeb 到HDFS接收器hdfs-cluster1,通过JDBC通道jdbc-channel。该配置文件将包含这些组件,jdbc-channel通道作为avroWeb源和hdfs-cluster接收器共享存在。
?
flume-ng 命令行参数
?
?
Usage: ./flume-ng <command> [options]...commands: help display this help text agent run a Flume agent avro-client run an avro Flume clientglobal options: --conf,-c <conf> use configs in <conf> directory --classpath,-C <cp> append to the classpath --dryrun,-d do not actually start Flume, just print the command -Dproperty=value sets a JDK system property valueagent options: --conf-file,-f specify a config file (required) --name,-n the name of this agent (required) --help,-h display help textavro-client options: --host,-H <host> hostname to which events will be sent (required) --port,-p <port> port of the avro source (required) --filename,-F <file> text file to stream to avro source [default: std input] --headerFile,-R <file> headerFile containing headers as key/value pairs on each new line --help,-h display help textNote that if <conf> directory is specified, then it is always included firstin the classpath.?
定义流
?启动代理
?
? ? ? 代理是通过使用在bin目录下的shell脚本flume-ng。你需要在命令行上指定的代理的名称和配置文件
?