一般的github协作流程：

1. fork一个自己的项目
2. master分支保持不变，去follow最新变更
3. 每次开发新功能的时候创建新分支branch1
4. 在新branch1分支commit 代码
5. 在push branch1的代码之前回到master分支pull最新的远端代码
6. 回到branch1运行rebase master命令，保证自己的所有代码提交都在master之后最新
7. push branch1到自己的github项目库
8. 到github界面上提交pull request选择远端master分支
   阅读全文 »

罗韩梅-资源调度

项目背景

• 目标是整合集群硬件资源, 对外提供统一的标准接口, 海量任务的管理以及资源调配.

• 自研 vs 开源. 开源主要是关注Yarn, Mesos, swarm, kubernetes. 使用开源, 减少用户迁移的成本.

• 规模: 1.7亿container, 10000+资源,

• 微服务

• 介绍总体架构, 使用在线和离线混部, 利用不同任务的资源使用特点.

  阅读全文 »

先给出一些hash join比较不错的连接。

• hash join wiki;
• 常见的join算法
• hive Hybrid Hybrid Grace Hash Join
• 一个总结的ppt。 ;

ftruncate是改变文件长度的一个函数，一般在操作文件的时候用到，例如我之前写的log的时候，由于log是append only的，所以log的record会越老越多，但是某个时间点的时候，需要把文件中的log都读出来，并且汇总成一条log，也就是log的compat，这个时候，当把所有的log读出来的时候，就需要把以前的log全部删掉，并写入新compact的log。所以此时就会用到ftruncate。但是千万要注意的事情就是，用这个函数并不会真的把文件的offset置为0，需要用lseek重新seek一下。这篇文章介绍的很详细。当时主要还是函数说明没有看仔细。

这篇文章讲述了rocksdb的由来。

1. 首先确定了为什么要做成Embedded database. 而不是其他server类型的数据库，具体请看Dhruba Borthakur的一个presentation-Tech Talk: RocksDB Slides by Dhruba Borthakur & Haobo Xu of Facebook.
2. 为什么不使用leveldb，而是使用rocksdb。
   文章详情请戳THE HISTORY OF ROCKSDB.

这篇文章是记录一些常用命令的以便查找。

这篇文章是databricks的一篇博客，主要讲解了为什么在存储计算分离之后，选用S3而不选用HDFS的原因。
简单说就是Cost, elasticity, availability, durability, performance, and data integrity。
后面是原文地址Top 5 Reasons for Choosing S3 over HDFS.

本文主要讲解希腊神话故事的一些名词以及解释。

B-tree的由来？

为什么非得是树呢，而不是直接是数组。Memory locality & the magic of B-Trees!:
说了很清楚，就是因为在申请内存的时候，不知道要申请多大的内存，所以没办法申请很大的一块内存，所以就变成了一个数组被打断为好几段，然后每段用链表连接起来，这其实就是树的基本模型。