史上最全的大数据开发八股文【自己的吐血总结】
作者:mmseoamin日期:2024-03-20

自我介绍

我本硕都是双非计算机专业,从研一下开始学习大数据开发的相关知识,从找实习到秋招,我投递过100+公司,拿到过10+的offer,包括滴滴、字节、蚂蚁、携程、蔚来、去哪儿等大厂(岗位都是大数据开发),现在已经签约蚂蚁。秋招一路走来,踩过不少坑,比如,刚开始学习大数据的时候,看见那么多的组件框架,不知道如何下手;还有在找工作的时候,不知道如何做好充分的准备等等问题。接下来我主要介绍 大数据开发的学习路线,以及八股文总结相关内容。

大数据开发学习路线【亲自实践】

接触过大数据的同学都知道,有众多的大数据框架,比如Hadoop,Flume,Hive,Spark,Flink,Doris等等,那么我们应该如何去学习呢,是否需要学完市面上所有的大数据框架呢,学习这些需要有哪些前置基础呢

前置基础知识

linux + java

  • 注意:java刚开始只需要看java基础就可以了,不需要学习一些web框架,因为不管是源码二次开发还是数仓都不需要用到这些框架(除了平台开发之外),像spring这些web框架,在学习完所有的大数据框架之后,找工作之前如果还有时间,可以去学一学这些框架【加分项】

    大数据框架学习路线

    Hadoop三件套(HDFS,MapReduce,Yarn) -> Zookeeper -> Hive -> Flume -> Kafka -> HBase --> Maxwell-> Scala(面试从来没被问到过,可以不学) -> Spark -> Flink

    • 注意:这些框架中在面试问的多的:Hadoop三件套,Zookeeper,Hive,Kafka,Spark,Flink

      项目推荐(适合做数仓的同学)

      B站《尚硅谷电商离线数仓》

      • 注意:这个项目涵盖了数仓的建模知识(理论相当重要),还有就是这个分层思路基本上可以和很多企业对齐。

        数仓书籍推荐

        《大数据之路》

        • 注意:这本书真的是数仓同学必看,里面涉及到的理论和企业中的白皮书基本一样。

          刷题

          算法题

          • Leetcode+剑指offer

            SQL题