首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 软件管理 > 软件架构设计 >

Flume NG 配备

2012-06-26 
Flume NG 配置(说明,名词对应解释 源-Source,接收器-Sink,通道-Channel)??配置?? 设置代理?? ? ? ? ?Flume

Flume NG 配置

(说明,名词对应解释 源-Source,接收器-Sink,通道-Channel)

?

?

配置

?

? 设置代理

?

? ? ? ? ?Flume代理配置存储在本地配置文件。这是一个文本文件格式,是Java属性文件格式。在相同的配置文件,可以指定一个或多个代理的配置。配置文件包括每个源,接收器和通道,把它们连接在一起,形成数据流。

?

? 配置单个组件

?

?

? ? ? ? ?流中每个组件(源,接收器或通道)都有名称,类型,和一组特定实例的属性。例如,Avro源需要一个接收数据的主机名(或IP地址)和端口号。一个内存通道可以有最大队列大小(“能力”),HDFS的Sink需要知道文件系统的URI,路径创建文件,文件的创建频率(“hdfs.rollInterval”)等,所有这些组件的属性需要设置在Flume代理的属性文件。


?

?组合组件

?

? ? ? ?代理需要知道如何加载各个组件以及它们是如何连接,以构成流。这是通过列出的源,接收器及通道的名称,然后指定每个接收器和源的连接通道。例如,流定义,Avro源avroWeb 到HDFS接收器hdfs-cluster1,通过JDBC通道jdbc-channel。该配置文件将包含这些组件,jdbc-channel通道作为avroWeb源和hdfs-cluster接收器共享存在。

?

flume-ng 命令行参数

?

?

Usage: ./flume-ng <command> [options]...commands:  help                  display this help text  agent                 run a Flume agent  avro-client           run an avro Flume clientglobal options:  --conf,-c <conf>      use configs in <conf> directory  --classpath,-C <cp>   append to the classpath  --dryrun,-d           do not actually start Flume, just print the command  -Dproperty=value      sets a JDK system property valueagent options:  --conf-file,-f        specify a config file (required)  --name,-n             the name of this agent (required)  --help,-h             display help textavro-client options:  --host,-H <host>      hostname to which events will be sent (required)  --port,-p <port>      port of the avro source (required)  --filename,-F <file>  text file to stream to avro source [default: std input]  --headerFile,-R <file> headerFile containing headers as key/value pairs on each new line  --help,-h             display help textNote that if <conf> directory is specified, then it is always included firstin the classpath.
?

定义流

?启动代理

?

? ? ? 代理是通过使用在bin目录下的shell脚本flume-ng。你需要在命令行上指定的代理的名称和配置文件

?



?

热点排行