大数据工程师技能图谱

大数据通用处理平台

Spark
Flink
Hadoop
Drill

分布式协调

ZooKeeper

分布式存储

HDFS
Alluxio(tachyon)
Ignite

存储格式

Parquet
ORC
CarbonData
Kudu

数据库

HBase

资源调度

Yarn
Mesos
Kubernetes

工作流调度

Oozie
Azkaban

机器学习工具

Mahout
Spark Mlib
TensorFlow
DeepLearning4J
Torch
Theano
Caffe
MxNet
Keras
CNTK
Amazon Machine Learning
DMTK (微软分布式机器学习工具)

数据安全

Sentry
Apache Eagle

部署工具

Cloudera Manager
Ambari

数据分析/数据仓库(SQL类)

Pig
Kylin
Presto
Impala
Hive
Spark SQL／DataFrame／DataSet
Phoenix
ELK
- ElasticSearch
- Logstash
- Kibana

消息队列

Kafka(纯日志类，大吞吐量)
RocketMQ
ZeroMQ
ActiveMQ
RabbitMQ

流式计算

Storm/JStorm
Spark Streaming
Fink

日志收集

Scribe
Flume
Sqoop

编程语言

Java／Scala
Python
R

数据分析挖掘

MATLAB
SPSS
SAS

数据探索／可视化

R
D3.js
ECharts
Excle
Tableau
Zeppelin
Hue

机器学习

机器学习基础

聚类
时间序列
推荐系统
回归分析
文本挖掘
决策树
支持向量机
贝叶斯分类
神经网络

算法

一致性

paxos
raft
gossip

数据结构

栈，队列，链表
散列表
二叉树，红黑树，B树
图

常用算法

排序
- 插入排序
- 桶排序
- 堆排序
- 快速排序
最大子数组
最长公共子序列
最小生成树
最短路径
矩阵的存储和运算

云计算

云服务
- SaaS
- PaaS
- IaaS
OpenStack
Docker