Blog

ETL 开发工程师-2(时序数据库 & Redis & Flink)

【公司简介】

上海量恒信息技术股份有限公司,是金融交易行业人工智能解决方案的领先者。在瞬息万变的资本市场,最大的挑战是如何准确预测市场走势,传统模型往往无法捕捉金融市场的复杂性,导致错失交易机会和风险增加。我们致力于通过为中国金融行业打造高性能人工智能驱动的基础设施来克服这些挑战。我们的人工智能解决方案,可以使严格的交易人员在监管框架内部有效地管理各种模型和数据集,使他们能够专注于更深入的研究并做出更明智的交易决策,从而产生卓越的回报。我们的核心价值观是:守正出奇,守拙利他。

【岗位职责】

  1. 实时数据处理
    • 使用 Apache Flink 构建和优化实时数据流处理系统,处理毫秒级行情数据、期权希腊值、波动率以及新闻情绪计算。
    • 基于 Flink CEP 设计并实现复杂事件处理逻辑,用于实时市场异常检测与交易信号生成。
  2. 内存存储与性能优化
    • 利用 Redis 设计高效的实时数据存储与查询架构,实现秒级对海量逐笔行情数据的聚合与访问。
    • 优化 Redis 集群性能,包括数据分片、持久化配置、内存管理以及高并发处理。
  3. 时序数据库集成
    • 评估、实施并优化各类时序数据库(如 AWS Timestream、Apache Doris、阿里云 TSDB),以支持大规模、高吞吐的数据接入与实时分析。
    • 与数据工程团队合作,确保端到端数据管道的稳健与可扩展性,并满足交易业务对超低延迟的需求。
  4. 量化策略支持
    • 支持如分钟级 3-Way Collar 策略等量化交易策略的实时生成与动态调整。
    • 与量化分析师及算法团队紧密协作,设计支持高频交易的底层技术框架。
  5. Kafka & 消息管道
    • 规划、搭建并维护基于 Kafka 的消息系统,以应对高流量的实时数据接收与分发。
    • 根据业务需求配置 Kafka 主题、分区以及消费组,实现高吞吐量与低延迟。
    • 监控并排查 Kafka 集群,确保数据管道的高可靠性与最小宕机时间。
  6. 系统稳定性与可扩展性
    • 构建高可用分布式系统,保障实时交易系统的稳定性与低延迟。
    • 设计数据流与存储的可扩展方案,支持数千只股票及期权的实时计算需求。
  7. 技术创新与优化
    • 持续调研最新的大数据处理技术与数据库优化方案。
    • 编写高质量的技术文档,并提供技术支持与培训。

【任职要求】

  1. 核心技能
    • 本科及以上学历,计算机科学或相关专业,2 年以上分布式系统或金融大数据处理经验。
    • 精通 Redis,熟悉其数据结构、持久化机制以及集群部署。
    • 精通 Apache Flink,掌握流处理架构、状态管理和复杂事件处理(CEP)。
    • 拥有时序数据库(如 AWS Timestream、阿里云 TSDB、Apache Doris)经验或强烈兴趣者优先。
  2. 编程技能
    • 熟练掌握 C++、Java、Python、Scala 等编程语言,具有扎实的编程基础。
    • 优先考虑具备高吞吐量、低延迟开发经验者。
    • 熟悉多线程编程与异步框架。
  3. 数据技能(加分项)
    • 熟练搭建 Apache Doris。
    • 熟悉 AWS Timestream、阿里云 TSDB、Kafka、Minio 等组件的大规模数据接入与实时分析。
    • 了解 Bloomberg/Reuters/Factset 等金融数据产品结构。
    • 熟悉 Kafka 集群的安装、配置与管理,能设置 Kafka 主题、分区、消费组并管理偏移量。
    • 能够监控并排查 Kafka 的性能问题(如延迟、吞吐量、Broker 健康状况)。
    • 掌握 Kafka 的安全配置(如 SSL、ACL),并能将其整合到实时数据管道中。
  4. 量化交易经验(加分项)
    • 具备金融行业及量化交易系统开发经验。
    • 熟悉逐笔行情计算及期权定价模型。
    • 掌握常见期权希腊值和隐含波动率的计算方法。
    • 了解常见的期权交易策略计算。
  5. 个性与软技能
    • 具备优秀的问题分析和解决能力。
    • 具备良好的团队协作与沟通能力。
    • 英语流利者优先。

【福利待遇】

  • 可选择在国内远程办公,可达100%;
  • 每年可在海外远程办公长达 25 天;
  • 具竞争力的基本薪资及奖金;
  • 扁平化的组织结构,融洽积极的团队氛围。
  • 每年多次海外集体出游。
  • 各种休闲活动(如体育运动、桌游等)。

 

【工作地点】

  • 上海