1. 处理框架
- 批处理:Hadoop,MPPDB
- 流处理:Storm, Samza
- 混合:Spark, Flink
2. no-sql数据库
- 键值:Redis
- 面向文档:MongoDB
- 列存储:Hbase, Cassandra
- 图 :Neo4j, JanusGraph, SystemG
3. 建模框架
- 机器学习:Scikit-learn, Spark MLlib, Hadoop Mahout, H2O, Theano
- 深度学习:Tensorflow-Keras, MXNet, PyTorch, CNTK, Neon, Lasagne, Blocks, Caffe
4. 人力结构
- AI团队:数据科学家+算法工程师+大数据架构师
- BI团队:数据分析师+ETL工程师+DBA