2023大数据面试总结

先说些废话

作为一个全栈开发工作者，曾经对公司专职的大数据开发有着浓厚的兴趣，所以尝试学习大数据开发所需要的各种技术栈。

本文就是我在学习过程中记录下，所遇到的一些大数据面试的提问，仅供参考。

当然，因为时间精力有限，并非所有的问题我都去记录了答案，如果您不了解某些问题或者不认可我记录的解答，可以带着问题百度或者问ChatCPT，相信会给您留下更深刻的印象。

最后，读者可以把本文当作模拟面试的提纲，欢迎各位在评论区交流，大家一起成长，努力变得更强！！！

高频基础知识点

执行过程

1. MapReduce 的执行过程，如何进行一个文件的计算，shuffle的过程（不需要手写MapReduce或者用java写MapReduce）
   • MapReduce执行流程及示例
2. HDFS 的读写流程
   • HDFS的读写流程步骤（附图文解析）
3. Yarn 的任务提交流程，如何查看任务日志和报错信息
   • hive的执行流程
4. Hive 的执行过程（Hive SQL 如何解析成MapReduce的）
   • Hive SQL转化为MapReduce的过程
   • hive的执行流程
   • 万字长文详解HiveSQL执行计划
   • Hive SQL底层执行过程详细剖析
   • Hive底层原理：explain执行计划详解
5. Spark 任务的执行过程
   • Spark原理 | 任务执行流程
6. Spark SQL 的底层执行过程
   • Spark SQL底层执行流程详解
   • Spark底层执行原理详细解析

Linux

1. 如何查看内存，CPU占用
   • linux下查看cpu使用率和内存占用
2. Shell脚本如何定义函数调用
3. Shell脚本第一行：#!/bin/bash的含义
   • 第一行的内容指定了shell脚本解释器的路径，而且这个指定路径只能放在文件的第一行
   • 第一行写错或者不写时，系统会有一个默认的解释器进行解释
4. Linux脚本授权是什么？Linux授权命令是什么？
   • chmod [{ugoa}{+-=}{rwx}] [文件或目录]
   • chmod [mode=421] [文件或目录]
5. Shell标准输出和标准错误是什么？
6. 工作中常用的Linux命令有哪些？

MySQL

1. sql的执行计划，执行错误报警机制
2. 索引有什么优缺点
3. 什么时候会导致索引失效
4. 如果我给一张表的所有字段添加索引会有什么样的问题
5. 如何进行sql调优 高频
   • MySQL在工作中的优化方案总结

Hadoop（HDFS/MapReduce/Yarn）

1. Haddop3对于Hadoop2有哪些新特性
   • Hadoop 3.x 版本相对于 Hadoop 2.x的新特性
2. HDFS 常用命令有哪些
   • HDFS常用命令
3. 工作中遇到 MapReduce 流程的相关问题如何排查
4. 其他问题汇总
   • 精选Hadoop高频面试题17道

Hive

1. 工作中如何进行Hive优化 高频
   • Hive在工作中的调优总结
2. Hive中有任务跑的时间比较长，怎么优化
3. Hive任务处理过程中遇到过什么样的问题
   • Hive企业级性能优化
4. Hive SQL 查询比较慢（数据倾斜），怎么处理
   • 实操 | Hive 数据倾斜问题定位排查及解决
   • Hive千亿级数据倾斜解决方案
5. Hive的参数设置用过哪些，有什么作用
6. Hive中表关联方式join的分类、用法、应用场景
7. 什么时候会走MapJoin
   • mapjoin的使用方法以及注意事项
8. 什么情况下会产生Hive小文件，小文件有什么危害
9. Hive的查询过程，哪些方法可以提高查询效率 变相的问优化
   • Hive 提高查询效率的方法
10. Hive的窗口函数，常用窗口函数，怎么使用
    • 窗口函数row_number、rank、dense_rank之间的区别

      row_number是行号，不会重复
      rank数据相同的，给出并列排名，但是会跳跃
      dense_rank类似于rank，但不会跳跃
      hive窗口函数之排名函数row_number、rank和dense_rank
      Hive窗口函数保姆级教程
      Hive窗口函数/分析函数详解

    • 如何用窗口函数去重
11. Hive SQL的数据去重方式
    • distinct、groupby、row_number
    • hive中三种去重的方法
12. 项目中Hive有多少表
13. Hive查询组件Impala了解吗？简单介绍下
    • Impala入门操作
14. Hive中的行列转换，除了case when，还有别的方法吗
    • 行转列：collect_set()、collect_list()、concat_ws()
    • 列转行：explode()、split()、LATERAL VIEW
    • Hive sql 行列转换(行转列，列转行)
15. Hive中内部表和外部表的区别？内部表和外部表如果删除了元数据是由谁来维护？元数据的存储位置和管理者是谁
    • 从创建表和删除表两个方面说明
    • metastore，master节点上
    • mysql，metastore
16. Hive分区和分桶的区别？分桶的原理？分区可以提高查询效率吗？分区越多越好吗
    • MR中：按照key的hash值去模除以reductTask的个数
    • Hive中：按照分桶字段的hash值去模除以分桶的个数
    • 缩小数据查询范围，提高查询效率，但是不是分区越多越好
    • Hive中如果有过多的分区，由于底层是存储在HDFS上，HDFS上只用于存储大文件而非小文件，因为过多的分区会增加NameNode的负担
    • Hive SQL会转化为MapReduce， MapReduce会转化为多个task，过多小文件的话，每个文件一个task，每个taskー个JVM实例，JVM的开启与销毀会降低系统效率
    • 合理的分区不应该有过多的分区和文件目录，并且每个目录下的文件应该足够大
    • Hive中分区是否越多越好？
17. 如何反查哪条Hive SQL执行较慢？
    • 【Hive】从执行计划DAG中执行慢的Task，找到对应SQL逻辑片段
    • 一文学完所有的Hive Sql
18. Hive查询在工作中遇到什么样的难点？如何解决？

Hbase

1. Hbase查询用的多吗，有没有做过优化？
   • 万字长文详解HBase读写性能优化
   • Hbase快速入门（超精炼总结）
   • 大多数key-value数据库是为了高频写入而设计的，而不是为了高速读取！用来做高性能查询完全是个方向性错误
2. Hbase查询过滤器用过吗，简单介绍下
   • RowFilter、FamilyFilter、QualifierFilter、ValueFilter
   • SingleColumnValueFilter、SingleColumnValueExcludeFilter、PrefixFilter、PageFilter
   • 多过滤器综合查询FilterList
   • HBase过滤器查询
3. 用户画像的构建是Hbase做的吗？特征值怎么提取的？
4. 项目Hbase的RowKey是如何设计的？
   • HBase RowKey设计和实现

Scala

1. Scala有什么特性
2. Scala的class和case class在使用层面有什么区别
3. Scala的Option类型的作用与使用方法
4. Scala的泛型斜变逆变
5. Scala的函数柯里化了解吗？优点是什么？
6. Scala的隐式函数、隐式转换
   • 不是太了解所以查了一下资料
7. Scala用过哪些函数
   • Scala常用函数
   • scala常用函数大全
8. Scala中的String是可变的吗？
   • String是一个不可变的对象，所以该对象不可被修改，这就意味着你如果修改字符串就会产生一个新的字符串对象，但其他对象，如数组就是可变的对象
   • String对象是不可变的，如果你需要创建一个可以修改的字符串，可以使用String Builder类
   • Scala:字符串
9. Scala是否可以多继承
   • Scala中的多重继承由特质（trait）实现并遵循线性化规则
   • 在多重继承中，如果一个特质已经显式扩展了一个类，则混入该特质的类必须是之前特质混入的类的子类
   • 这意味着当混入一个已扩展了别的类的特质时，他们必须拥有相同的父类

Spark

1. 你了解Spark的序列化吗？Spark提供了哪些序列化类？
2. Spark中RDD持久化了解过吗？
3. Spark算子分类？常用算子？怎么使用的？ 高频
4. Spark的惰性计算机制了解过吗？（懒加载）
   • Spark的惰性求值
5. 工作中如何进行Spark优化？ 高频
   • Spark性能优化的10大问题及其解决方案
   • Spark 出现的问题及其解决方案
   • Spark内存管理详解
   • 详解SparkSQL并行执行多个Job
   • Spark的两种核心Shuffle详解（面试常问，工作常用）
   • Spark性能调优-Shuffle调优及故障排除篇
   • Spark性能调优-RDD算子调优篇
6. Spark的Stage和Task的划分？Task数目由什么决定？
7. Spark的宽窄依赖了解过吗？
8. Spark如何查看日志和排查报错问题？
   • 如何查看Spark日志与排查报错问题
9. 工作中跟有没有遇到到Spark数据倾斜，如何处理的？
   • 详解 Spark 数据倾斜及解决方案
10. Spark Streaming怎么保证精准的消费？
11. Spark在工作中遇到什么样的难点？如何解决？

Spark面试资料合集

1. Spark面试八股文
2. Spark吐血整理
3. Spark学习笔记
4. 上万字详解Spark Core

Kafka

1. 简单介绍下kafka的核心概念及个人理解
2. Kafka在数据传输过程中遇到重复数据怎么处理
3. Kafka在使用过程中如何保证数据不丢失
4. Kafka中的ack含义是什么
   • Kafka的ACK含义

Kafka面试八问

大厂面试官竟然这么爱问Kafka，一连八个Kafka问题把我问蒙了？

1. 为什么要使用Kafka？
2. Kafka消费过的消息如何再消费？
3. Kafka的数据是放在磁盘上还是内存上，为什么速度会快？
4. Kafka数据怎么保障不丢失？
5. 采集数据为什么选择Kafka？
6. Kafka重启是否会导致数据丢失？
7. Kafka宕机了如何解决？
8. 为什么Kafka不支持读写分离？

Java

1. Java的io流分类
   • 数据流向：输入流/输出流；数据类型：字节流/字符流
2. Java怎么写事务
   • connection.setAutoCommit(false)
3. MyBatis怎么使用事务
   • 使用TransactionFactory和Transaction接口
   • 只要是对数据库进行任何update操作（update、delete、insert），都一定是在事务中进行的
4. Java的内部类和外部类
   • 在Java中，可以将一个类定义在另一个类里面或者一个方法里面，这样的类称为内部类
   • 内部类一般来说包括这四种：成员内部类、局部内部类、匿名内部类和静态内部类
   • 静态成员内部类：使用static修饰类
   • 非静态成员内部类：未用static修饰类，在没有说明是静态成员内部类时，默认成员内部类指的就是非静态成员内部类
5. Java中全局变量、静态全局变量、静态局部变量和局部变量的区别
6. Java中重写与重载之间的区别
7. Java中的final关键字
8. Java的jvm了解吗
   • 精选大数据面试真题JVM专项
9. 多线程，线程启动个数如何确定？最多多少？

Flink

1. Flink-cdc介绍一下
   • 基于Flink CDC打通数据实时入湖
2. Flink和Spark的区别是什么？
3. 你们之前使用Spark做实时，后来为什么使用Flink了？
4. Flink的windowapi的分类介绍一下
5. Flink常用算子介绍一下
   • 硬核！一文学完Flink流计算常用算子
6. Flink的cep了解么？怎么使用的？
7. Flink的水位线了解吗？可以具体讲讲吗？
8. 你们Flink主要使用api开发还是sql开发？
9. 能讲讲Flink双流join是如何实现的吗？

Flink面试资料合集

1. Flink面试八股文
2. Flink面试大全总结
3. Flink高频面试题
4. Flink学习笔记

clickhouse

1. 你们有有过clickhouse做join吗？如何保证秒级延迟？

涉及到项目和数仓的问题

1. 简单介绍一下你们项目中的业务吧
2. 能结合业务说说你们的数仓怎么搭建的吗？你负责哪些模块？
   • 结合公司业务分析离线数仓建设
   • 大数据平台中的企业级数仓建设
3. 你们项目中的人员怎么分配的？
4. 你们的主题是根据什么来划分，为什么这么划分？
5. 你们源数据大概多少张表？
6. 你们的日志数据到建立事实表的过程中，主要做了什么？
7. 你们的维度层是怎么建设的
8. 如果在解析日志文件时遇到很多的硬编码，如何使用维度去解决？
9. 你们的项目中有多少个指标？负责过多少个？怎么编写的？
   • 数仓中指标-标签，维度-度量，自然键-代理键等常见的概念术语解析
10. 如果指标出现同义不同名的情况如何解决？
11. 阿里的oneData体系有了解吗？
    • 数据中台底层逻辑
    • 大数据实践：数据指标中心的建设思路
    • 基于OneData的数据仓库建设
12. 你们如何保证数据质量的？你日常遇到最多的数据质量问题是什么？
    • 数据仓库之数据质量建设
13. 你的项目中离线任务有多少个？任务执行的时间是什么时候？
14. 你的项目中数据量，日活，漏斗分析大概是多少？以及其他分析的方向？
15. 你们项目中的业务数据清洗是怎么做的？
16. 数仓的整体架构是什么样的？数仓是如何分层的？
    • 数仓建设 | ODS、DWD、DWM等理论实战
    • 关于数仓建设及数据治理的超全概括
    • 数仓建设 | 谁说ODS层就是简单的数据同步？
17. 介绍一下项目中的数据流向
    • 可以参考这种用户画像数据流动
18. 介绍一下项目中处理后的数据用途？
19. 数仓中的增量表和全量表分别是怎么做的？有没有用过拉链表？
20. 工作中有没有遇到的数据倾斜？如何处理的？
21. 工作中有没有遇到过断点续传的问题？怎么处理的 这个问题具体技术具体处理
22. 你的数据建模经验介绍一下？
    • 数据建模知多少？
    • 通俗易懂数仓建模—Inmon范式建模与Kimball维度建模
    • 浅谈数仓模型（维度建模）
23. Java框架在你们项目中的应用？
24. 你在实时开发的过程中遇到什么问题？如何解决的？
25. 你们的实时模型是如何进行优化的？怎么评估它是否是一个优质的模型？
26. 你们的任务监控有做过吗？主要监控什么？
27. 你们如何保证数据的准确性？
28. 埋点数据缺失怎么处理，埋点数据相关的表示如何设计的？
29. 零点漂移如何解决？
30. 有做过用户路径模型吗？每条路径的转化率是多少？（是不是类似页面单跳率那种）
31. 你们的OLAP引擎主要用的什么？为什么这样选型？
32. 能聊聊端到端的一致性和精准一次消费吗？

工作内容的问题

1. 你们的需求周期一般是多久？拿到需求之后怎么分析？
2. 在完成需求的过程中，有没有考虑过数仓的通用性，你们是如何体现的？
3. 你在工作中的最大收获是什么，带给你什么样的能力？
4. 你们的工作强度怎么样，能接受加班吗？
5. 如果一周内让你做十个紧急的需求，你会怎么办？
6. 你们部门之间是直接进行对接吗？
7. 有没有反驳过产品提出的需求，如果不合理怎么办？

各种组件需要学到什么样的程度

hadoop学习到什么样的程度

1. hdfs、mapreduce、yarn 基本原理即可
2. 各种面试基本题完成即可
   • MapReduce的执行过程，如何进行一个文件的计算，shuffle的过程（不需要手写mapreduce或者用java写mapreduce）
   • HDFS的读写流程
   • Yarn的任务提交流程，如何查看任务日志和报错信息
3. 大多数公司可能都进入spark阶段了

spark学习到什么样的程度

1. 主要为了优化mapreduce2的一些问题，利用内存计算，减少磁盘IO
2. spark streaming + hbase 离线实时 -> 使用flink搭建一整套实时
3. 熟悉spark开发的api和常用的算子
4. 熟悉spark调优
5. spark的应用：批处理，流处理流计算（flink和sparkstreaming），数据分析，图形计算

spark面试重点

1. 一些八股文知识点，基本原理，是高频且必须熟练知晓的，核心原理的流程和图
2. spark常见报错的解决方案
   • real spark冲突怎么解决
   • om怎么处理，driver的om和excute的om分别怎么处理
3. 参数调优，集群层面调优，应用层面调优
   • 为什么这么做
   • 有没有更好的方案
4. sparksql调优
   • 调优场景
   • 怎么发现问题的
   • 发现问题后怎么定位问题的
   • 定位问题后怎么解决的
   • 解决之后达到什么样的一个效果
   • 还有哪些更好的一些优化方案吗
5. 根据业务场景现场写sql，根据数仓的理论优化sql
   • 常规的业务逻辑，join，for函数，截取字符串，嵌套多个高级函数
6. 企业开发使用场景的解决方案
   • udf管理：统一仓库管理还是自己提交，怎么解决相同含义的sql function被重复的udf提交
   • thift server怎么用的，怎么用的，怎么解决多租户，怎么解决权限，怎么解决负载均衡
7. spark平台和二次开发，源码，遇到的问题详细问
8. 面试流程相关
   • 10-20分钟问项目
   • 20分钟问编程基础
   • 20分钟问组件
   • spark问20分钟左右

spark畅谈

1. 小公司大部分业务场景是离线开发，实时场景也较少
2. 大公司80%离线，20%实时
3. sparkstreaming批处理比flink批处理更快，性能差百分之五十左右，spark使用门槛较低
4. 入职后可以想老员工讨教经验，核心组件
5. 博客快速浏览一些内容
6. 官网提供的一些例子

未来技术趋势

1. 万字详解数据仓库、数据湖、数据中台和湖仓一体
2. 一文读懂大数据实时计算
3. 20000字详解大厂实时数仓建设

附录

面试资料总结

1. 大数据面试吹牛草稿V2.0
2. 史上最全大数据面试题​V3.1
3. 精选大数据面试真题10道

大厂面试总结

1. 字节跳动大数据开发面试题-附答案
2. 美团优选大数据开发岗面试真题-附答案详细解析

我是 fx67ll.com，如果您发现本文有什么错误，欢迎在评论区讨论指正，感谢您的阅读！
如果您喜欢这篇文章，欢迎访问我的 本文github仓库地址，为我点一颗Star，Thanks~ 😃
转发请注明参考文章地址，非常感谢！！！