关于大数据,Hadoop、Kafka相关命令(持续更新...)

一、关于Hadoop,基本操作命令如下:

        注:hadoop fs == hdfs dfs

        创建文件夹

        hdfs dfs -mkdir path

        删除文件

        hadoop fs -rm -r -skipTrash /path_to_file/file_name

        删除文件夹

        hadoop fs -rm -r -skipTrash /folder_name

        修改文件夹权限

        hdfs dfs -chmod [-R] 777 hdfs_file_path

二、关于Hadoop 主从节点切换

方案一:命令切换
查看节点状态
hdfs haadmin -getServiceState nn1


命令切换节点状态
到 hadoop 目录下执行:

1、将 NN2 切换为 Standby 备用节点
bin/hdfs haadmin -transitionToStandby --forcemanual nn2
2、将 NN1 切换为 Active 备用节点
bin/hdfs haadmin -transitionToActive --forcemanual nn1


效果图

在这里插入图片描述

详细可以参考以下链接:        Hadoop集群 手动主备切换 (Active - Standby)_hadoop standby_温岚万叶的博客-CSDN博客

3、关于Hdfs的文件系统,Block size 块 问题

        我们通常发现,Block 的大小为128M,但是这个是为什么,很少有同学会知道,今天找了下相关资料,然后才明白,这个Block的作用。

可以参考一下链接

一篇讲懂为什么HDFS文件块(block)大小设定为128M_hive block大小_攻城狮Kevin的博客-CSDN博客

三、关于Kafka,常用操作命令如下:

        执行topic命令时,需要cd到 kafka/bin 文件夹下执行

        查看topic:
                ./kafka-topics.sh --bootstrap-server PLAINTEXT://dn01:9092 --list

        删除topic:

                ./kafka-topics.sh --bootstap-server PLAINTEXT://dn01:9092 --delete --topic xxx