14年11月份 Hadoop 社区发布了最新版本 2.6.0,打算在这个基础上跑 Spark+Tachyon,需要对 Spark 重新编译以支持 2.6 版本,官方文档里还没更新,只写到 2.4。编译的命令类似如下:

mvn package -Pyarn -Dyarn.version=2.6.0 -Phadoop-2.4 -Dhadoop.version=2.6.0 -Phive -DskipTests

选择 yarn 和 hadoop-2.4 的 profile,然后定义 yarn 和 hadoop 的 version 到 2.6 即可。