大数据处理、建模业界常见框架和人力配置

Posted by Cong Li on October 30, 2018

1. 处理框架

  • 批处理:Hadoop,MPPDB
  • 流处理:Storm, Samza
  • 混合:Spark, Flink

2. no-sql数据库

  • 键值:Redis
  • 面向文档:MongoDB
  • 列存储:Hbase, Cassandra
  • 图 :Neo4j, JanusGraph, SystemG

3. 建模框架

  • 机器学习:Scikit-learn, Spark MLlib, Hadoop Mahout, H2O, Theano
  • 深度学习:Tensorflow-Keras, MXNet, PyTorch, CNTK, Neon, Lasagne, Blocks, Caffe

4. 人力结构

  • AI团队:数据科学家+算法工程师+大数据架构师
  • BI团队:数据分析师+ETL工程师+DBA