618是电商的大日子,各路人马各显神通。作为中台系统的小伙伴儿们,新西兰电话号码列表 在“见不得人的中后台”各种忙活。我们揭开它的神秘面纱,探究这群“地下”工作者们,是如何为618保驾护航的,如何让那千万台冷冰冰的服务器协作起来、支撑PB级的数据运转,保障百亿级订单,千亿级别的GMV的达成…… 故事,从大数据平台的核心环节“调度平台”说起,任务调度是大数据平台离线计算的重量级产品,它既承载了各类数据库与数据集市间的同步工作,还承载了各类的离线数据计算工作。主要的应用场景是数据的管理、搬运、计算、存储。 目前任务调度支持多种任务类型,新西兰电话号码列表 包括:普通任务、数据计算(py/sh/zip)、数据入库任务、数据出库任务、数据拉链任务、数据同步(JDW到Jmart)。 数据计算(py/sh/zip):调度可以支持python、shell、jar等多种脚本类型,提供强大的计算能力可定时功能支持数据的分析运算。 入库任务:目前任务调度支持从MySQL、HBase、ElasticSearch、Oracle、mongodb、SQLServer、log、phoenix多种数据源抽取数据到数据仓库的bdm层。 出库任务:新西兰电话号码列表 支持从Hive推送到包括MySQL、jss、HBase、Oracle、jinggo、postgresql、ElasticSearch、jimdb、phoenix等多种数据库。 数据拉链任务:支持将bdm层的流水表,新西兰电话号码列表 加工成fdm层的拉链表。 数据同步(JDW到Jmart):支持将数据从数据仓库,同步到数据集市。 通过任务调度系统,可以方便快捷的管理定时任务,新西兰电话号码列表 支持任务间建立依赖关系,任务的快速补数和重跑,以及强大的监控功能,提供良好的作业管理服务。 任务调度以强大的技术能力保障618的各种任务、那么作为调度的产品经理如何保障618呢? 一、事前:制定大促保障策略&宣贯、执行资源倾斜 准备工作一:制定任务等级划分规范、分等级保障机制和管控规范 将任务等级划分为:0级、1级、2级、3级。0级:公司核心业务,数据面向对象为外部客户或内部VP、一级部门领导及以上。一旦发生不可用会直接影响外部客户合作项目,可能造成P0-P2级事故发生。
1级:数据面向对象为二级部门领导,一旦发生不可用会影响跨一级部门或以上合作项目,可能造成一般事故(P3级)的发生。 2级:数据面向对象为三级部门领导,一旦发生不可用会影响二级部门内部项目。 3级:数据面向对象为三级部门内部,新西兰电话号码列表 一旦发生不可用会影响三级部门内部项目或个人报表数据。调度平台会根据设置的等级进行资源的分配 准备工作二:制定调度任务和质量检测的降级策略 制定任务调度的降级策略: L0、L1提供专属监控,保障任务及时收到告警通知。 大促期间资源紧张时平台会对L2、L3采取任务延时抽取策略和任务一键推迟策略 必要时刻为L0、新西兰电话号码列表 L1任务开启绿色通道保障任务正常运行。 L0、L1任务节点资源优先分配。 针对任务关键属性的修改以及任务禁用等高风险操作,平台针对不同级别有不同的管控策略。 制定数据质量的降级策略: 质量规则执行时长达到30分钟,会给质量分区负责人、关联调度告警人发送提醒,确认是否做干预; 质量规则执行时长达到60分钟,系统自动终止质量检测,关联调度任务正常执行,本次质量检测失效,新西兰电话号码列表 并给质量分区负责人、关联调度告警人、质量管理员发送通知。 准备工作三:制定调度任务的封板管理措施(新建、拷贝,禁用、重跑等) 在大促备战期间如果有用户进行任务的创建及拷贝,由于新任务的安全性得不到保证,会存在诸如性能低、资源占用高等风险,影响系统稳定性等问题,针对上述问题产品制定了如下管控措施:禁止新建和拷贝任务,需二级部门负责人审批。