linux安装flume及问题
1.安装
1)下载:wget http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz
解压tar -zxvfapache-flume-1.6.0-bin.tar.gz
创建软链接 ln -sapache-flume-1.6.0-bin flume
2)配置环境变量
vim ~/.bash_profile
加上export FLUME_HOME=/home/hadoop/flume;export PATH=$PATH:$FLUME_HOME/bin
3)验证是否安装成功
flume-ng version,若显示如下类似信息即成功了
Warning: $HADOOP_HOME is deprecated.4)基本概念:
Warning: $HADOOP_HOME is deprecated.
Flume 1.6.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080
Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015
From source with checksum b29e416802ce9ece3269d34233baf43f
Flume由source,channel,sink三部分组成
Agent:使用JVM运行Flume,一般每台机器启动一个agent,一个agent可以包含多个sources和sinks
Client:产生数据,独立线程
Source:从Client收集数据,并将数据传输给Channel
Sink:从Channel接收数据
Channel:连接source 和sinks,缓存数据
Events:日志记录等
5)问题
如果执行flume-ng 的时候执行报错:Caused by: java.lang.ClassNotFoundException: org.apache.flume.tools.GetJavaProperty
一般来说是由于jdk版本造成的,改为JDK7版本就好了
错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty或者Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty
一般来说是由于装了HBASE等工具的原因
将hbase的hbase.env.sh的一行配置注释掉
# Extra Java CLASSPATH elements. Optional.
#export HBASE_CLASSPATH=/home/hadoop/hbase/conf
2、或者将HBASE_CLASSPATH改为JAVA_CLASSPATH,配置如下
# Extra Java CLASSPATH elements. Optional.
export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
错误参考:http://blog.csdn.net/senvil/article/details/42526947
更多相关文章
- Linux内核数据结构之链表
- 铯:使用自己的OpenStreetMap服务器。:“未能获得图像块”错误
- OCaml编译错误:/ usr / bin / ld:找不到-lstr
- REDIS从LINUX文件写入批量数据
- Linux环境下修改MySQL数据库存储引擎
- Linux 2.6.x 内核模块加载错误 “Invalid module format” 解决
- 如何使用tc和cgroup来预防数据包
- mysql数据库忘记ROOT密码时的解决办法
- 在用apt源安装mysql-server时出现如下错误,需要安装mysql-server-