618是电商的大日子，各路人马各显神通。作为中台系统的小伙伴儿们，新西兰电话号码列表 在“见不得人的中后台”各种忙活。我们揭开它的神秘面纱，探究这群“地下”工作者们，是如何为618保驾护航的，如何让那千万台冷冰冰的服务器协作起来、支撑PB级的数据运转，保障百亿级订单，千亿级别的GMV的达成…… 故事，从大数据平台的核心环节“调度平台”说起，任务调度是大数据平台离线计算的重量级产品，它既承载了各类数据库与数据集市间的同步工作，还承载了各类的离线数据计算工作。主要的应用场景是数据的管理、搬运、计算、存储。 目前任务调度支持多种任务类型，新西兰电话号码列表 包括：普通任务、数据计算(py/sh/zip)、数据入库任务、数据出库任务、数据拉链任务、数据同步(JDW到Jmart)。 数据计算(py/sh/zip)：调度可以支持python、shell、jar等多种脚本类型，提供强大的计算能力可定时功能支持数据的分析运算。 入库任务：目前任务调度支持从MySQL、HBase、ElasticSearch、Oracle、mongodb、SQLServer、log、phoenix多种数据源抽取数据到数据仓库的bdm层。 出库任务：新西兰电话号码列表 支持从Hive推送到包括MySQL、jss、HBase、Oracle、jinggo、postgresql、ElasticSearch、jimdb、phoenix等多种数据库。 数据拉链任务：支持将bdm层的流水表，新西兰电话号码列表 加工成fdm层的拉链表。 数据同步(JDW到Jmart)：支持将数据从数据仓库，同步到数据集市。 通过任务调度系统，可以方便快捷的管理定时任务，新西兰电话号码列表 支持任务间建立依赖关系，任务的快速补数和重跑，以及强大的监控功能，提供良好的作业管理服务。 任务调度以强大的技术能力保障618的各种任务、那么作为调度的产品经理如何保障618呢？ 一、事前：制定大促保障策略&宣贯、执行资源倾斜 准备工作一：制定任务等级划分规范、分等级保障机制和管控规范 将任务等级划分为：0级、1级、2级、3级。0级：公司核心业务，数据面向对象为外部客户或内部VP、一级部门领导及以上。一旦发生不可用会直接影响外部客户合作项目，可能造成P0-P2级事故发生。
1级：数据面向对象为二级部门领导，一旦发生不可用会影响跨一级部门或以上合作项目，可能造成一般事故（P3级）的发生。 2级：数据面向对象为三级部门领导，一旦发生不可用会影响二级部门内部项目。 3级：数据面向对象为三级部门内部，新西兰电话号码列表 一旦发生不可用会影响三级部门内部项目或个人报表数据。调度平台会根据设置的等级进行资源的分配 准备工作二：制定调度任务和质量检测的降级策略 制定任务调度的降级策略： L0、L1提供专属监控，保障任务及时收到告警通知。 大促期间资源紧张时平台会对L2、L3采取任务延时抽取策略和任务一键推迟策略 必要时刻为L0、新西兰电话号码列表 L1任务开启绿色通道保障任务正常运行。 L0、L1任务节点资源优先分配。 针对任务关键属性的修改以及任务禁用等高风险操作，平台针对不同级别有不同的管控策略。 制定数据质量的降级策略： 质量规则执行时长达到30分钟，会给质量分区负责人、关联调度告警人发送提醒，确认是否做干预； 质量规则执行时长达到60分钟，系统自动终止质量检测，关联调度任务正常执行，本次质量检测失效，新西兰电话号码列表 并给质量分区负责人、关联调度告警人、质量管理员发送通知。 准备工作三：制定调度任务的封板管理措施（新建、拷贝，禁用、重跑等） 在大促备战期间如果有用户进行任务的创建及拷贝，由于新任务的安全性得不到保证，会存在诸如性能低、资源占用高等风险，影响系统稳定性等问题，针对上述问题产品制定了如下管控措施：禁止新建和拷贝任务，需二级部门负责人审批。