编译 Hadoop native libraries
实验中要用到 Hadoop 的一些压缩 codec,需要编译 Hadoop 的 native 库,做一下记录。顺便吐槽 Hadoop 发行版包里只包含32位的 native 库,请问这年头32位还有啥意义。。
Ubuntu 14.04 为例,编译需要先安装以下依赖包:
sudo apt-get install build-essential autoconf libtool zlib1g-dev libssl-dev cmake pkg-config protobuf-compiler maven
当然还要有 jdk 了。
下载 Hadoop 源码之后,运行 mvn package -Pdist,native -DskipTests -Dtar 即可。
当然更简单一点的办法,就是用别人编好的 docker 镜像了 https://hub.docker.com/r/sequenceiq/hadoop-docker/