Blog

ETL 开发工程师-3(MySQL & PostgreSQL & Redis & Flink)(D003)

【关于我们】

我们是一家领先的全球量化交易企业和流动性提供商,致力于提供卓越的风险调整后回报。通过结合全面的数学分析、丰富的金融市场知识以及尖端的人工智能技术解决方案,我们的交易模型经受住了时间的考验。我们是系统化决策、算法执行和主动风险管理领域的先驱。我们的团队由来自顶级投资银行的资深专业人士和拥有知名学府背景的毕业生组成。

在瞬息万变的资本市场中,准确、可靠地处理海量实时数据 是交易策略成功的基石。我们构建了从多源行情、新闻、宏观、风控、订单簿等多种数据采集、清洗、聚合,到混合RAG推理生成交易信号,再到多模型执行引擎和智能化资金管理的全链路高性能 AI 平台。

【职责范围】

1.MySQL & PostgreSQL

  • 设计并运维 MySQL和 PostgreSQL数据库集群;
  • 实施数据库分库分表、分区、索引及外键约束策略,优化 OLTP/OLAP 混合负载;
  • 定期执行备份恢复与主从/多主复制健康检查,开展慢查询分析与执行计划优化;

2.Redis & 缓存层

  • 构建高可用 Redis 集群,支撑 raw_data_queue、热点规则缓存、会话存储等;
  • 优化内存管理、持久化策略与故障切换;
  • 监控并排查故障,编写自动化恢复与告警脚本;

3.Kafka & 消息管道

  • 将 MySQL/PostgreSQL Binlog 或 Debezium 数据同步到 Kafka Topic;
  • 配置主题、分区及消费组,保障数据一致性与低延迟分发;

4.Flink & 实时 ETL

  • 使用 Apache Flink 构建流式作业,从 Kafka 消费 Binlog/业务事件并写入 Redis 或回流至关系库;
  • 利用 Flink 状态后端、检查点与 Savepoint,实现 Exactly-Once 语义;
  • 与 Data Ingestion Orchestrator 协作,确保多源数据聚合与实时更新;

5.数据治理与安全

  • 在 MySQL/PostgreSQL、Redis、Flink 等中实施访问控制、传输加密与审计;
  • 定期执行安全补丁、漏洞扫描与合规检查;

6. 基础设施与维护

  • 运维大规模 Kubernetes 与 Linux 环境,监控节点资源与网络性能;
  • 承担 DevOps 职责,实现 ETL 服务的自动化部署、灰度发布及回滚;

7. 文档与协作

  • 撰写并维护 ETL 流程配置、操作手册及最佳实践;
  • 与模型业务、系统业务、交易前台业务单元同事紧密配合,提供可观测、可追溯数据管道;
  • 参与值班轮岗,快速响应生产环境突发事件。

【职位要求】

  • 计算机、软件工程、数据工程或相关专业本科及以上学历;
  • 3 年及以上关系型数据库运维或数据平台开发经验,精通 MySQL 或 PostgreSQL;
  • 熟练掌握分库分表、分区、复制拓扑与性能调优;
  • 具备 Redis 集群架构及高并发优化实践;
  • 熟悉 Flink 有状态流处理、Checkpoint、Savepoint 与容错机制;
  • 掌握 Kafka 数据管道设计与 Debezium CDC 同步;
  • 熟悉 Linux 运维、Docker/Kubernetes 自动化部署;
  • 精通 Python/Java/Scala 编写 ETL 作业,具备 SQL 与大数据查询优化能力;
  • 优秀的故障排查与 on-call 响应能力,良好的跨团队沟通与文档撰写能力;
  • 具备高度的责任心,愿意签署严格的保密协议并履行保密义务;
  • 英语听说读写能力强者优先,可快速定位国际化组件文档与技术社区资源者优先,可适应海外公司轮派常驻者优先。

【福利待遇】

  • 具有竞争力的基本薪资与绩效奖金;
  • 扁平化管理体系与充满活力的创新团队文化;
  • 每年多次海外差旅及专项培训机会;
  • 五险一金、带薪年假、年度健康体检、团建活动等完善福利。

【工作地点】

上海、深圳、新加坡、新山

如有意向可将简历发至Careers@liangheng.top,请在邮件标题处注明: 姓名+申请职位