webhdfs clj Hadoop WebHDFS Rest API的轻量级Clojure客户端
webhdfs-clj 是一个适用于 Hadoop WebHDFS Rest API 的 Clojure 客户端库。它是一款非常轻量级的工具,无需依赖任何 Hadoop 或 Http 客户端,也完全适用于安全(kerberized)Hadoop 集群。为了配置此库,您需要在项目中创建一个名为 conf/config.clj 的配置文件,该文件中应包含所有必要的属性及其对应的 Clojure 映射。
在使用非安全集群时,只需从配置文件中删除 :secure?
键(或将其设置为 false
),然后添加 :user
键。这里,:user
键的值将作为查询参数 user.name
传递,用于在非安全集群中的身份验证。
对于安全的 Hadoop 集群,则需要将配置文件中的 :secure?
键设置为 true
,并在 conf
文件夹下创建一个类似于 user.conf
的文件,用于存储用户凭据。通过这样的配置,webhdfs-clj 可以顺利连接并操作安全的 Hadoop 集群。
如果您需要获取相关的配置文件示例或了解更多配置细节,可以参考以下资源:
用户评论