多个 git 账户配置 SSH

前言

个人代码维护在 github,而目前大多数公司代码维护在私有 gitlab。这是两套不同的账户体系,并且一般私有 gitlab 的 commit email 不能更改,git 全局的用户名和邮箱只能有一个。这就导致了如下问题 → 不管配置了几个 SSH pub key,SSH 认证最终走的都是 global 的用户名的认证(比如你全局的用户是 github 的,那么你提交 gitlab 就会报 Permission Denied)。本文主要用来解决此问题。
其实多个 SSH 配置的话都是这样搞的,配个路由就好了。

阅读全文

常见的SQL优化

前言

关系型数据库中常见的 SQL 优化。挺久前写过的笔记了,应该借鉴了挺多文章,侵删。

阅读全文

Apache Kafka实战-认识Apache Kafka

前言

最近读完了 DDIA 前五章,回过头来在看 Apache Kafka 实战,很多东西都是不谋而合的,从中也可以看出来很多分布式处理框架在解决自身消息编码设计,复制分区故障转移的方法思维都是差不多的,只是根据各自主攻的场景选择更合适的解决方案。

  • 可靠性,可伸缩性,可维护性
  • 数据模型与查询语言
  • 存储与检索
  • 编码与演化
  • 复制与分区
阅读全文

Spark Shuffle

前言

在学习很多大数据处理框架时,我们都会听到 Shuffle 。那么 Shuffle 到底是什么?为什么需要 Shuffle 的存在呢?

阅读全文

mac os 升级到 big sur的坑

前言

升级到 big sur 后,一些系统命令及软件包找不到了(比如 git,python3..)。

阅读全文

循序渐进学 Spark

前言

讲一下我个人是从哪些方面来学习 Spark SQL 的?一句话就是自顶向下,逐步下探。

阅读全文

数据开发岗社招面经

面经

编码能力,清晰的表达,解决问题的方式,学习的方法,总结的能力,个人的潜力,感觉这几点往往是最重要的。这几点是需要在生活与工作中建立习惯来养成的。
明确自己感兴趣的行业,去寻找行业中的头部公司作为目标来去了解,去学习。
读书拓展思维,二八原理。

阅读全文
使用搜索:谷歌必应百度