树是一种数据结构。为什么会有树这种数据结构?目前理解的非常不深,回答不上来,在以后的日子里补。

阅读全文

Application UI - Monitoring and Instrumentation

前言

Spark Application UI 可以帮助我们直观的了解 Spark 的执行过程,作业占用的 CPU,内存资源的多少,GC耗费的时间,Stage 是如何划分的,每个 Task 的执行时间等。像如果 Spark 作业执行时间过长,我们就可以去 UI 上查看到底是哪个 Task 执行占用时间最长,这个 Task 的操作是什么,进而找到问题并解决优化。

阅读全文

MarkDown 文档常用的语法

背景

在使用 MarkDown 语法书写文档的过程中,经常遇到一些场景不会表达,每次都去搜索,太浪费时间。遂记录下来放在本篇文档中。不定期更新

阅读全文

磁盘与内存

程序的运行方式

磁盘中存储的应用程序必须加载到内存中才能执行,这是因为解析和运行程序的 CPU 需要通过程序计数器指定内存地址来读取程序指令的。

阅读全文

zero_copy

基本概念

用户态与内核态

机器的资源是固定的,应用程序进程却有很多,如果无节制的使用资源会导致系统崩溃。所以必须要对进程使用何种资源进行限制,由此权限的不同可以分为用户态和内核态。处于内核态中的程序可以说为所欲为。内核态像外管理硬件资源,像内管理操作系统中的进程,内存等资源。用户态和内核态的划分可以表示为

阅读全文

Java安装

为什么 Java 8 仍是主流

如今 Java 已经出到了 14,为啥子大家还是在用 Java 8。你有没有为这个困惑过呢。其实接受新事物都有这样的规律,一是新事物有足够的吸引力,大家主动去追求。二是旧事物被强制扼杀,只能转向新事物。

阅读全文

Hadoop安装与基本配置

Mac 上安装 Hadoop

  • 前提条件

  • 命令安装
    执行以下命令,hadoop 会被安装到 /usr/local/Cellar/Hadoop/${HADOOP_VERSION},这样默认安装的是 Hadoop 的最新版本,修改配置可以直接去安装目录下。

阅读全文

SSH配置

什么是 SSH

ssh 是一种网络协议,用于计算机之间的加密登录。大致流程如下

阅读全文
使用搜索:谷歌必应百度