数据工程师

  • 全职
  • 远程

20~50k

  • / 开发
  • 不限 / 不限
职位描述

主要职责包括实时数据计算、数据服务开发以及实时数仓建设。

岗位职责:

  1. 负责大数据计算、数据服务开发设计,负责Flink、Iceberg、Hadoop、AWS-EMR集群的开发、调优、监控;
  2. 负责数据基础架构和数据处理体系(实时和离线)的升级和优化,不断提升系统和服务的稳定性和效率。

任职要求:

  1. 熟练掌握Java或Python开发,了解AWS EMR和AWS生态相关产品;
  2. 熟悉Zeppelin、Iceberg、Flink、Flink SQL、Kafka、HDFS、Yarn、Hive、Airflow原理,有丰富的项目开发经验;
  3. 具备数据仓库领域知识和技能者优先,包括但不限于:数据建模、元数据管理、数据开发测试工具与方法、数据质量管理;
  4. 具备实时数仓的实践经验,有在AWS生态实现流批一体、湖仓一体架构经验者优先;
  5. 具有快速定位问题的能力和较强的学习能力。
工作地点
项目简介
## Pond 招数据工程师 利用链上数据构建大模型,项目成员包括世界知名算法和机器学习专家、行业超一流投资机构和个人背书。现寻找数据工程师/数据负责人加入团队,进行链上数据处理和数据基础设施搭建。 Pond 官网:Cryptopond.xyz Pond Twitter:@PondGNN 联系方式:sanzhichazi(Telegram)
  • 发布于 6天前
  • 阅读 ( 106 )
免责声明
在登链社区网站、登链社区公众号及关联平台发布的招聘信息均系招聘方自行发布,登链社区只负责展示或格式编辑,对其招聘内容的合法性和真实性不承担任何法律责任,请求职者提高警惕,注意甄别!
Anty
Anty
江湖只有他的大名,没有他的介绍。

类似职位