Apache Kafka实战-认识Apache Kafka

前言

最近读完了 DDIA 前五章,回过头来在看 Apache Kafka 实战,很多东西都是不谋而合的,从中也可以看出来很多分布式处理框架在解决自身消息编码设计,复制分区故障转移的方法思维都是差不多的,只是根据各自主攻的场景选择更合适的解决方案。

  • 可靠性,可伸缩性,可维护性
  • 数据模型与查询语言
  • 存储与检索
  • 编码与演化
  • 复制与分区
阅读全文

Spark Shuffle

前言

在学习很多大数据处理框架时,我们都会听到 Shuffle 。那么 Shuffle 到底是什么?为什么需要 Shuffle 的存在呢?

阅读全文

mac os 升级到 big sur的坑

前言

升级到 big sur 后,一些系统命令及软件包找不到了(比如 git,python3..)。

阅读全文

循序渐进学 Spark

前言

讲一下我个人是从哪些方面来学习 Spark SQL 的?一句话就是自顶向下,逐步下探。

阅读全文

数据开发岗社招面经

面经

编码能力,清晰的表达,解决问题的方式,学习的方法,总结的能力,个人的潜力,感觉这几点往往是最重要的。这几点是需要在生活与工作中建立习惯来养成的。
明确自己感兴趣的行业,去寻找行业中的头部公司作为目标来去了解,去学习。
读书拓展思维,二八原理。

阅读全文

每周刷题202010_19_25

前言

本周碰到的最多的是处理字符串序列,处理链表,用到的最多的是双指针。目前对于很多边界条件,有点面向测试用例编程的感觉

比较含退格的字符串
重排链表
二叉树的最近公共祖先
长按键入
二叉树的序列化与反序列化
组合两个表
第二高的薪水
划分字母区间
回文链表
视频拼接
第N高的薪水
分数排名
数组中的最长山脉

阅读全文

github actions 实现 hexo 自动化部署

前言

使用 github pages 托管个人博客网站,使用双分支来保存博客源文件,使用 git submodule 来管理更新主题文件,使用 github actions 来做持续集成。

阅读全文
使用搜索:谷歌必应百度