Schedulis是一个分布式工作流任务调度系统,基于LinkedIn的开源项目Azkaban开发的,提供了丰富的任务类型,多样化的任务调度方式,用于解决金融级场景下,大量批量作业任务的复杂依赖、灵活调度,提高工作效率,Schedulis已在国内最大线上银行WeBank,经过了数年海量严苛金融业务场景的打磨和验证,表现卓越。
软件介绍
Schedulis系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户DataSphere Studio。
Schedulis支持常规的Command Shell和Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务;支持完善的告警和工作流执行策略;提供多种类型的参数设置,动态全局变量和简单易用的 UI。
与DataSphere Studio和Linkis的对接:
DataSphere Studio可以将编辑好的工作流一键发布到Schedulis进行调度,而Schedulis也实现了Linkis插件,用于向Linkis提交任务,这样使得Schedulis与DataSphere Studio和Linkis能够无缝衔接,从而实现数据应用开发全流程的连贯顺滑用户体验。
常见问题
01 Schedulis 是什么?
Schedulis 是一个分布式工作流任务调度系统。其支持常规的 Command Shell 和 Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务,支持完善的告警和工作流执行策略;提供多种类型的参数设置,动态全局变量和简单易用的 UI;该调度系统还具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio。
02 为什么需要 Schedulis?
大数据平台中承载着大量多样的数据处理任务,如何才能够充分解放人力,使得这些任务能够按照业务自定义的执行顺序和执行策略,被自动化的调度且具备足够的容错能力?这是企业和业务人员的迫切需要。
业界现有的任务调度系统层出不穷,但也暴露了各色各样的问题:
支持的任务类型不够丰富和任务调度方式单一,不能满足变化多端的业务需求;
不支持工作流之间的相互依赖;
不支持对接DataSphere Studio 和 Linkis;
失败和告警策略要么缺失要么简陋,使得业务人员不能及时的发现问题处理问题;
对于执行的工作流/任务参数的设置不够灵活;
单管理节点配备单冷备的单点故障风险,造成一部分工作流状态的缺失和服务中断等问题。.
软件评论 您的评论需要经过审核才能显示
网友评论