面议

• / 开发
• 5年以上 / 本科

职位描述

岗位职责： 1.设计、开发和维护大数据平台，支持海量数据的采集、存储、处理和分析； 2.根据业务需求，选择合适的大数据技术栈，如Hadoop、Spark、Flink、Kafka等； 3.开发ETL工具和流程，支持数据的抽取、转换和加载； 4.负责企业级数据仓库的架构设计和实施，构建符合业务特点的ODS、DWD、DWS、ADS分层模型； 5.基于Hive、Spark、Flink等框架开发高效稳定的ETL流程，支撑离线和实时需求； 6.建立完善的数据血缘和元数据管理体系； 7.负责数据质量监控体系的建设； 8.优化现有数仓架构，提升数据处理效率和资源利用率。 任职要求： 1.计算机科学、软件工程或相关专业本科及以上学历； 2. 5年以上大数据开发经验，3年以上数仓建设经验； 3.精通Hadoop、Spark、Flink、Kafka等大数据技术； 4.精通Java，熟练使用Python、Shell脚本； 5.精通SQL优化，熟练掌握HiveQL、FlinkSQL； 6.熟练使用 Flink SQL 或 DataStream API 开发实时计算任务； 7.熟练使用DolphinScheduler等开源调度工具； 8.熟练使用Doris或Clickhouse，并能调优； 9.主导过完整的企业级数据仓库项目优先； 10.强烈的责任心，能独立解决复杂技术问题； 11.良好的沟通能力和团队协作精神； 12.对新技术有强烈的学习兴趣和探索精神。 加分项： 1.有数据湖开发经验，如Iceberg、Paimon。 2.熟悉机器学习平台或AI相关技术。 3.有开源项目贡献经验。

岗位职责： 1.设计、开发和维护大数据平台，支持海量数据的采集、存储、处理和分析； 2.根据业务需求，选择合适的大数据技术栈，如Hadoop、Spark、Flink、Kafka等； 3.开发ETL工具和流程，支持数据的抽取、转换和加载； 4.负责企业级数据仓库的架构设计和实施，构建符合业务特点的ODS、DWD、DWS、ADS分层模型； 5.基于Hive、Spark、Flink等框架开发高效稳定的ETL流程，支撑离线和实时需求； 6.建立完善的数据血缘和元数据管理体系； 7.负责数据质量监控体系的建设； 8.优化现有数仓架构，提升数据处理效率和资源利用率。

任职要求： 1.计算机科学、软件工程或相关专业本科及以上学历；

2. 5年以上大数据开发经验，3年以上数仓建设经验； 3.精通Hadoop、Spark、Flink、Kafka等大数据技术； 4.精通Java，熟练使用Python、Shell脚本； 5.精通SQL优化，熟练掌握HiveQL、FlinkSQL； 6.熟练使用 Flink SQL 或 DataStream API 开发实时计算任务； 7.熟练使用DolphinScheduler等开源调度工具； 8.熟练使用Doris或Clickhouse，并能调优； 9.主导过完整的企业级数据仓库项目优先； 10.强烈的责任心，能独立解决复杂技术问题； 11.良好的沟通能力和团队协作精神； 12.对新技术有强烈的学习兴趣和探索精神。

加分项： 1.有数据湖开发经验，如Iceberg、Paimon。 2.熟悉机器学习平台或AI相关技术。 3.有开源项目贡献经验。

工作地点

项目简介

TOP15 CEX直招 简历投递邮箱：zeke@ponyft.com

• 发布于 1天前
• 阅读 ( 41 )

免责声明

在登链社区网站、登链社区公众号及关联平台发布的招聘信息均系招聘方自行发布，登链社区只负责展示或格式编辑，对其招聘内容的合法性和真实性不承担任何法律责任，请求职者提高警惕，注意甄别！