Blog

ETL 开发工程师-1(Elasticsearch & Redis & Flink)(D001)

【关于我们】
我们是一家领先的全球量化交易企业和流动性提供商,致力于提供卓越的风险调整后回报。通过结合全面的数学分析、丰富的金融市场知识以及尖端的人工智能技术解决方案,我们的交易模型经受住了时间的考验。我们是系统化决策、算法执行和主动风险管理领域的先驱。我们的团队由来自顶级投资银行的资深专业人士和拥有知名学府背景的毕业生组成。
在瞬息万变的资本市场中,准确、可靠地处理海量实时数据 是交易策略成功的基石。我们构建了从多源行情、新闻、宏观、风控、订单簿等多种数据采集、清洗、聚合,到混合RAG推理生成交易信号,再到多模型执行引擎和智能化资金管理的全链路高性能 AI 平台。
【职责范围】【关于我们】
我们是一家领先的全球量化交易企业和流动性提供商,致力于提供卓越的风险调整后回报。通过结合全面的数学分析、丰富的金融市场知识以及尖端的人工智能技术解决方案,我们的交易模型经受住了时间的考验。我们是系统化决策、算法执行和主动风险管理领域的先驱。我们的团队由来自顶级投资银行的资深专业人士和拥有知名学府背景的毕业生组成。
在瞬息万变的资本市场中,准确、可靠地处理海量实时数据 是交易策略成功的基石。我们构建了从多源行情、新闻、宏观、风控、订单簿等多种数据采集、清洗、聚合,到混合RAG推理生成交易信号,再到多模型执行引擎和智能化资金管理的全链路高性能 AI 平台。
【职责范围】
1. Elasticsearch 生态系统(ELK)
● 部署、扩容并运维 Elastic Stack(Elasticsearch、Logstash、Kibana);
● 定期执行集群健康检查与慢查询分析,优化索引和查询性能;
● 搭建 Beats / Logstash pipelines,确保日志与业务数据安全、实时传输并可视化;
2. Redis & 缓存层
● 设计并实施高可用 Redis 架构,支撑 raw_data_queue、trade_signals_queue 等高吞吐队列;
● 优化分片、持久化及内存管理,保障高并发读写性能;
● 监控并排查故障,编写自动化恢复脚本;
3. Kafka & 消息管道
● 部署与维护 Apache Kafka 集群,用于新闻数据实时接收、清洗、聚合、推流;
● 配置主题、分区、消费组与 ACL,优化吞吐和延迟;
● 监控 broker、延迟及偏移,保障管道可靠性;
4. Flink & 实时 ETL
● 使用 Apache Flink 构建流式 ETL 作业,将 Kafka 数据清洗并入 Redis/Doris/ES;
● 利用状态后端、检查点机制实现 Exactly‐Once 语义,保障数据可靠性;
● 与 Data Ingestion Orchestrator 协作,确保分钟级上下文 JSON 聚合;
5. 数据治理与安全
● 在 Elasticsearch、Redis、Kafka、Flink 等组件中实施访问控制、传输加密与审计;
● 定期执行安全补丁与漏洞扫描,遵循金融级合规标准;
6. 基础设施与维护
● 运维大规模 Kubernetes 与 Linux 环境,监控节点资源与网络性能;
● 承担 DevOps 职责,实现 ETL 服务的自动化部署、灰度发布及回滚;
7. 文档与协作
● 撰写并维护 ETL 流程配置、操作手册及最佳实践;
● 与模型业务、系统业务、交易前台业务单元同事紧密配合,提供可观测、可追溯数据管道;
● 参与值班轮岗,快速响应生产环境突发事件。
【职位要求】
● 计算机、软件工程、数据工程或相关专业本科及以上学历;
● 3 年及以上大数据/流式处理经验,精通 Elasticsearch、Redis、Kafka、Flink 中至少两项;
● 熟练掌握 ELK 部署、调优与 Kibana 可视化;
● 深刻理解 Redis 集群分片、持久化与高并发优化;
● 具备 Kafka 集群管理、主题分区与消费组调优实战经验;
● 熟悉 Flink 有状态流处理、Checkpoint、Savepoint 与故障恢复;
● 掌握 Linux 运维基础,熟悉 Docker/Kubernetes 自动化部署;
● 精通 Python/Java/Scala 编写 ETL 作业,具备SQL与大数据查询优化能力;
● 优秀的故障排查与 on-call 响应能力,良好的跨团队沟通与文档撰写能力;
● 具备高度的责任心,愿意签署严格的保密协议并履行保密义务;
● 英语听说读写能力强者优先,可快速定位国际化组件文档与技术社区资源者优先,可适应海外公司轮派常驻者优先。
【福利待遇】
● 具有竞争力的基本薪资与绩效奖金;
● 扁平化管理体系与充满活力的创新团队文化;
● 每年多次海外差旅及专项培训机会;
● 五险一金、带薪年假、年度健康体检、团建活动等完善福利。
【工作地点】
上海、深圳、新加坡、新山
如有意向可将简历发至Careers@liangheng.top,请在邮件标题处注明: 姓名+申请职位
1. Elasticsearch 生态系统(ELK)
● 部署、扩容并运维 Elastic Stack(Elasticsearch、Logstash、Kibana);
● 定期执行集群健康检查与慢查询分析,优化索引和查询性能;
● 搭建 Beats / Logstash pipelines,确保日志与业务数据安全、实时传输并可视化;
2. Redis & 缓存层
● 设计并实施高可用 Redis 架构,支撑 raw_data_queue、trade_signals_queue 等高吞吐队列;
● 优化分片、持久化及内存管理,保障高并发读写性能;
● 监控并排查故障,编写自动化恢复脚本;
3. Kafka & 消息管道
● 部署与维护 Apache Kafka 集群,用于新闻数据实时接收、清洗、聚合、推流;
● 配置主题、分区、消费组与 ACL,优化吞吐和延迟;
● 监控 broker、延迟及偏移,保障管道可靠性;
4. Flink & 实时 ETL
● 使用 Apache Flink 构建流式 ETL 作业,将 Kafka 数据清洗并入 Redis/Doris/ES;
● 利用状态后端、检查点机制实现 Exactly‐Once 语义,保障数据可靠性;
● 与 Data Ingestion Orchestrator 协作,确保分钟级上下文 JSON 聚合;
5. 数据治理与安全
● 在 Elasticsearch、Redis、Kafka、Flink 等组件中实施访问控制、传输加密与审计;
● 定期执行安全补丁与漏洞扫描,遵循金融级合规标准;
6. 基础设施与维护
● 运维大规模 Kubernetes 与 Linux 环境,监控节点资源与网络性能;
● 承担 DevOps 职责,实现 ETL 服务的自动化部署、灰度发布及回滚;
7. 文档与协作
● 撰写并维护 ETL 流程配置、操作手册及最佳实践;
● 与模型业务、系统业务、交易前台业务单元同事紧密配合,提供可观测、可追溯数据管道;
● 参与值班轮岗,快速响应生产环境突发事件。
【职位要求】
● 计算机、软件工程、数据工程或相关专业本科及以上学历;
● 3 年及以上大数据/流式处理经验,精通 Elasticsearch、Redis、Kafka、Flink 中至少两项;
● 熟练掌握 ELK 部署、调优与 Kibana 可视化;
● 深刻理解 Redis 集群分片、持久化与高并发优化;
● 具备 Kafka 集群管理、主题分区与消费组调优实战经验;
● 熟悉 Flink 有状态流处理、Checkpoint、Savepoint 与故障恢复;
● 掌握 Linux 运维基础,熟悉 Docker/Kubernetes 自动化部署;
● 精通 Python/Java/Scala 编写 ETL 作业,具备SQL与大数据查询优化能力;
● 优秀的故障排查与 on-call 响应能力,良好的跨团队沟通与文档撰写能力;
● 具备高度的责任心,愿意签署严格的保密协议并履行保密义务;
● 英语听说读写能力强者优先,可快速定位国际化组件文档与技术社区资源者优先,可适应海外公司轮派常驻者优先。
【福利待遇】
● 具有竞争力的基本薪资与绩效奖金;
● 扁平化管理体系与充满活力的创新团队文化;
● 每年多次海外差旅及专项培训机会;
● 五险一金、带薪年假、年度健康体检、团建活动等完善福利。
【工作地点】
上海、深圳、新加坡、新山
如有意向可将简历发至Careers@liangheng.top,请在邮件标题处注明: 姓名+申请职位