数据开发工程师

岗位职责: 数据仓库与模型建设: 1.负责电商核心业务数仓搭建与迭代,基于维度建模、范式建模等理论,设计ODS/DWD/DWS/ADS分层架构,覆盖商品、交易、用户、营销、物流、金融等主题域。 2.主导数据模型设计与优化,定义数据血缘关系与指标体系,保障数据结构的可复用性与扩展性,支撑业务快速迭代需求。 ETL 流程开发与优化: 1.搭建实时/离线数据处理管道,运用Hadoop、Spark、Flink等大数据框架,实现多源数据(订单、日志、支付、用户行为等)的抽取、清洗、转换与加载。 2. 优化任务执行效率,保障数据时效性(离线任务T+1内完成,实时任务延迟≤5分钟)。 数据服务与业务支撑: 1.对接运营、产品、分析师等团队,将业务需求转化为数据解决方案,开发定制化数据接口与报表,支撑精准营销、库存优化、用户增长等核心场景。 2.基于FineBI 等工具搭建数据看板,可视化展示销售趋势、转化漏斗、用户画像等核心指标,助力业务决策。 数据质量与治理: 1.建立数据质量监控体系,制定完整性、准确性、一致性等校验规则,通过自动化脚本实现异常数据告警与追溯,保障数据源可靠性。 2.参与数据治理工作,梳理数据标准、维护元数据,推动数据资产化管理,确保数据安全与合规。 技术优化与创新: 1.监控数据处理链路性能,通过SQL优化、资源调度调整、模型重构、分区策略、小文件治理等方式解决性能瓶颈,提升系统吞吐量与稳定性。 2.跟踪流批一体、数据湖等前沿技术,探索在电商场景的落地应用,如实时订单分析、动态库存预测等。 任职资格 教育背景: 1.本科及以上学历,计算机科学、数据科学、统计学、软件工程等相关专业优先。 工作经验: 1.3年以上数据开发经验,其中至少2年电商行业相关经验,具备完整数仓从0到1搭建经历者优先。 2.有大规模数据处理(PB级)或实时数仓建设经验者优先,熟悉淘宝、京东等电商平台数据逻辑者加分。 优先考虑: 1.有大规模数据处理(PB级)或实时数仓建设经验者优先,熟悉淘宝、京东等电商平台数据逻辑。 2. 熟悉云原生数据架构(如AWS Glue/Redshift、阿里云 MaxCompute/DataWorks、腾讯云EMR)。 技术能力: 1.编程与数据库:精通SQL及性能优化,熟练掌握Python/Java/Scala 中至少一种编程语言,熟悉MySQL、Hive、Doris/impala、ClickHouse等数据库技术。 2.大数据框架:深入理解Hadoop生态,熟练使用Spark、Flink 等计算引擎,具备实时流处理(如Kafka+Flink CDC)实践经验。 3.工具与方法论:掌握ETL开发流程,有数据仓库建模经验,理解维度建模、星型/雪花模型等方法论;熟悉任务调度、数据可视化工具的使用,了解DAMA数据治理框架者优先。 4.具备良好的问题排查能力,能独立完成数据链路的端到端调试与优化; 5.对数据一致性、准确性、时效性有高度敏感性 软性素质: -责任心强,注重细节,具备良好的沟通协作能力; -能够在快节奏环境中高效交付,具备业务理解与技术落地的桥梁能力; -对数据驱动决策有认同感,愿意持续提升数据基础设施的可靠性与易用性。