面试总结

面试总结
1.面试以项目为开始展开,不断深入,从项目的背景一直介绍到项目用到的技术原理。会不断的问为什么
2.考察底层原理
3.语言表达能力很重要,需要把原理背景说清楚
下面是题目,欢迎大家把想到的答案写在评论区一起讨论
题目:

  1. 简单介绍一下数仓的业务场景
  2. 数仓分为4层,共有多少个主题?分别是什么?为什么分成这3个主题而不是更多?因为电商场景是
  3. 那你个人的一些项目呢?
  4. 数仓为什么分成这4层?
  5. o d s 层存储源数据有什么特别之处吗?
  6. 为什么在ods层是TextFile格式,不能用Parquet?
  7. 我的意思是说,为什么ods会选择textile 这种方式去存储。不能直接用parquet或者其他更好的格式?
  8. 数据接入的方式是用Load Data是吗?(反问的语气)
  9. ods还有什么特别之处吗?比如说内部表还是外部表?
  10. DWD层除了存放日志中的关键信息,更多应该存放什么数据
  11. dws层和ads层有什么区别
  12. 两者的本质的区别是什么?
  13. 数仓为什么要这么分层
  14. 还有吗?发散一下想一想为什么这么分层?就比如说我不这么分层的行不行?不行的原因是什么?
  15. 为什么分层以后便于管理维护?
  16. 数仓理论建模,什么是维度建模?
  17. 一句话总结什么是维度建模
  18. 维度建模的模型有哪些?都是什么?适用什么场景?
  19. .配置的计算引擎使用的是spark还是mr? 为什么Spark或Tez会比MR快?
  20. .配置的话是用yarn-cluster模式还是yarn-client模式?
  21. 一个SPARK任务在Yarn-cluster模式下的运行流程?都跟哪些关键节点进行交互,分别承担了哪些职责
  22. driver启动的节点是由谁分配给它的,在哪个节点启动driver
  23. yarn,spark,hive界限是什么?
  24. .在任务调度上有什么调优空间吗?yarn?
  25. .spark任务的调优方法?.
  26. SQL调优,去重不用count distinct 而是group by 底层原理是什么?
  27. .dsitribute by,cluster by, sort by 还有orderby 4个排序的区别
  28. .kafka发布/订阅模式有什么优点和缺点?
  29. .其他的MQ有哪些消费模式
  30. .hive执行过程中数据倾斜是什么?数据倾斜的底层原理是什么?有哪几种倾斜的类型,比如MAP,Join,reduce的倾斜,这三种了解吗?还有其他过程的倾斜?
  31. JVM的主要组成部分和作用
  32. 堆、栈和队列的区别是什么?
  33. java的垃圾回收机制
  34. 什么对象可以被回收
  35. .从本质上讲一下老年代和新生代
  36. .什么时候垃圾回收机制去检查?
  37. .java会存在内存泄漏吗?是如何发生内存泄漏的,一般如何处理这种情况
  38. .java中什么是深拷贝和浅拷贝?

热门文章

暂无图片
编程学习 ·

论怂

从心为怂,世人的误解 老祖宗还是有智慧的,这不是个肯定句。这是个判断语句,if you want to follow your heart,you should be 怂
暂无图片
编程学习 ·

Windows安装redis

Windows安装redis 可以到https://github.com/microsoftarchive/redis/releases下载最新的windows版本 双击 redis-server 就会安装默认配置启动redis服务 这样就说明在windows下启动redis成功了,端口号是6379
暂无图片
编程学习 ·

Victor CMS 未授权sql注入(CVE-2020-29280)漏洞复现

0X00简介 The Victor CMS v1.0版本存在安全漏洞,该漏洞源于通过search.php页面上的“search”参数造成的。 0X01影响范围 The Victor CMS v1.0 0X02漏洞复现 在search.php中search参数未经过滤就直接和sql语句拼接导致sql注入漏洞 1.访问首页点击搜索框&#x…
暂无图片
编程学习 ·

从根本上把握防护DDoS的核心要素,不怕DDoS攻击防不住

随着互联网技术的广泛应用和飞速发展,DDoS流量攻击案件频发,网站防护DDoS变得越来越重要,只有采取有效的网站安全防护措施,才能够更好的防御黑客的攻击。 近日,公安部的微信公众号发布了一则重要提醒:你常…
暂无图片
编程学习 ·

211本,字节视频1面凉凉,三天后,却收到了美团offer?

写在开头 2020年的开端,似乎并不那么幸运,新冠肺炎的出现,对我们的生活、工作和学习都造成了非常大的影响,很多公司延期返工了,原本的金三银四似乎也不会如往年那般热闹,但这并不意味着我们就什么都不去做…
暂无图片
编程学习 ·

12.13补课周

记录2leetcode 104 递归 非递归的栈的还不会写 思路 利用DFS,深度递归;总深度为左石子树最大深度加1; 空树深度为0。 代码 // An highlighted block /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode l…
暂无图片
编程学习 ·

程序猿小白艰辛学习的第三天

变量的三大组成部分 变量名:用来找值 赋值符号:将变量值的内存地址绑定给变量名 变量值:记录的事物的状态,也就是我们存储的数据 引用 print(变量名)运行会显示出变量值 变量名 变量名的命名应该遵循见名…
暂无图片
编程学习 ·

2020-12-17

显示如下问题:、Android studio No Debuggable Processes 解决方法:选中 Run->Debug 重新Debug编译运行就可以了。
暂无图片
编程学习 ·

大数据与云计算

大数据与云计算什么是云计算?云计算包含哪些关键技术?云计算有哪些特点?IaaS、PaaS、SaaS是什么?基础设施即服务IaaSIaaS的特点平台即服务PaaSPaaS的特点PaaS的作用软件即服务SaaSSaaS的特性云计算的基础设施和功能云计算的基础设…
暂无图片
编程学习 ·

TinyML-TVM是如何驯服Tiny的(下)

TinyML-TVM是如何驯服Tiny的(下) Lazy Execution 实际上,随着通信开销开始占主导地位,一旦用户请求,就执行算子的开销变得非常昂贵。可以通过延迟评估直到用户需要调用的结果来提高系统的吞吐量。 从实现的角度来看&a…
暂无图片
编程学习 ·

航次总结2020年7月

航次结束了快2个月,一直没有时间写本航次的总结,主要原因是自己承担的任务要验收,费了好大的劲,才将数据处理成验收单位所需要的,所幸现在应该是没有问题了,符合专项的要求了。航次期间,由于还有…
暂无图片
编程学习 ·

png是什么格式?

png是一种采用无损压缩算法的位图格式。PNG格式有8位、24位、32位三种形式,其中8位PNG支持两种不同的透明形式,24位PNG不支持透明,32位PNG在24位基础上增加了8位透明通道,因此可展现256级透明程度。 png是一种采用无损压缩算法的位…
暂无图片
编程学习 ·

aop 的使用

aop有两种方式,一个是注解,另外一个是配置xml 1、注解的方式: a、和xml一样,首先得有个配置,如果是springboot,写个配置类: Configuration EnableAspectJAutoProxy ComponentScan("xxx.…
暂无图片
编程学习 ·

python制作命令行工具——fire

一、快速介绍 来一波官方介绍。 Python Fire是一个库,用于从任何Python对象自动生成命令行接口。是用python创建CLI的一种简单方法。是开发和调试Python代码的一个有用工具。Python Fire帮助探索现有代码或将其他人的代码转换为CLI。使得Bash和Python之间的转换更…