关于大数据，Hadoop、Kafka相关命令（持续更新...)

一、关于Hadoop，基本操作命令如下：

        注：hadoop fs == hdfs dfs

        创建文件夹

        hdfs dfs -mkdir path

        删除文件

        hadoop fs -rm -r -skipTrash /path_to_file/file_name

        删除文件夹

        hadoop fs -rm -r -skipTrash /folder_name

        修改文件夹权限

        hdfs dfs -chmod [-R] 777 hdfs_file_path

二、关于Hadoop 主从节点切换

方案一：命令切换
查看节点状态
hdfs haadmin -getServiceState nn1

命令切换节点状态
到 hadoop 目录下执行：

1、将 NN2 切换为 Standby 备用节点
bin/hdfs haadmin -transitionToStandby --forcemanual nn2
2、将 NN1 切换为 Active 备用节点
bin/hdfs haadmin -transitionToActive --forcemanual nn1

效果图

详细可以参考以下链接：        Hadoop集群 手动主备切换 （Active - Standby）_hadoop standby_温岚万叶的博客-CSDN博客

3、关于Hdfs的文件系统，Block size 块 问题

        我们通常发现，Block 的大小为128M，但是这个是为什么，很少有同学会知道，今天找了下相关资料，然后才明白，这个Block的作用。

可以参考一下链接

一篇讲懂为什么HDFS文件块（block）大小设定为128M_hive block大小_攻城狮Kevin的博客-CSDN博客

三、关于Kafka，常用操作命令如下：

        执行topic命令时，需要cd到 kafka/bin 文件夹下执行

        查看topic：
                ./kafka-topics.sh --bootstrap-server PLAINTEXT://dn01:9092 --list

        删除topic：

                ./kafka-topics.sh --bootstap-server PLAINTEXT://dn01:9092 --delete --topic xxx