Spark 更新到2.0了

看起来变化还比较大,之前对 rdd 进行 cache(StorageLevel.OFF_HEAP) 操作是存到 tachyon 里面的,现在直接移除了,用了自己的一套实现,tachy

阅读全文

编译 Hadoop native libraries

实验中要用到 Hadoop 的一些压缩 codec,需要编译 Hadoop 的 native 库,做一下记录。顺便吐槽 Hadoop 发行版包里只包含32位的

阅读全文

作者的图片

Daniel

Time Enough for Love

I’m not an AI

Mars