大数据通用计算平台(支持flink、spark、storm)-系统调研及设计
项目源于对flink_sql流计算任务的实际使用需求,最初目标是设计一个系统可以在线提交sql生成flink流式计算任务,并进行监控监测。 后延申至支持在线jar包提交的方式,同时支持批式计算任务。并以模块化开发的思路,引入对spark的支持。一 简介1 系统介绍本系统基于多种不同的底层计算框架,如
项目源于对flink_sql流计算任务的实际使用需求,最初目标是设计一个系统可以在线提交sql生成flink流式计算任务,并进行监控监测。 后延申至支持在线jar包提交的方式,同时支持批式计算任务。并以模块化开发的思路,引入对spark的支持。一 简介1 系统介绍本系统基于多种不同的底层计算框架,如