你是那個人嗎？

作為技術領導工程師 - 數據，你將設計、實施和擴展基於AWS S3、Glue、Lake Formation和DMS的端到端數據平台。你將帶領一個小型工程師團隊，並與來自欺詐、財務、產品和工程等不同部門的利益相關者跨部門合作，以確保業務內的數據訪問可靠、及時且安全。

你將倡導數據設計、治理和可觀測性的最佳實踐，利用生成式AI工具來提高工程生產力並加快洞察時間。

你將倡導數據設計、治理和可觀測性的最佳實踐，利用生成式AI工具來提高工程生產力並加快洞察時間。

你將貢獻於

• 擁有流式和批量工作負載的數據湖架構的設計和可擴展性，利用AWS原生服務。
• 領導使用AWS Glue、DMS、Kinesis/Kafka和PySpark開發數據攝取、轉換和存儲管道。
• 結構化並演變數據為開放表格式（Apache Iceberg、Delta Lake），以支持下游服務的實時和時間旅行查詢。
• 推動數據產品化，使得針對欺詐檢測、對賬和報告用例的策劃數據集能夠進行API優先和自助訪問。
• 定義和跟蹤關鍵數據管道的服務水平協議(SLAs)和服務水平目標(SLOs)，確保在受到監管的金融科技環境中高可用性和數據準確性。
• 與信息安全、SRE和數據治理團隊協作，以強化數據安全、血統追蹤、訪問控制和合規性（GDPR、MAS TRM）。
• 使用生成式AI工具提高開發者生產力，包括自動生成測試工具、架構文檔、轉換架構和性能洞察。
• 指導數據工程師，設置技術方向，並確保交付高質量、可觀測的數據管道。

職責

• 設計可擴展、成本優化的管道，通過實時和批量範式，使用AWS Glue、Step Functions、Airflow或EMR等工具。
• 管理來自交易來源的數據攝取，使用AWS DMS，專注於架構漂移處理和低延遲複製。
• 為存儲於S3中的Iceberg或Hudi表設計高效的分區、壓縮和元數據策略，並使用Glue和Lake Formation進行編目。
• 建立數據集市、審計視圖和分析層，以支持機器驅動的過程（例如，欺詐引擎）和人類可讀的介面（例如，儀表板）。
• 確保使用OpenLineage或Great Expectations進行指標、警報和血統追蹤的強大數據可觀測性。
• 與利益相關者和高層領導進行數據成本、性能、架構設計的季度回顧。
• 使用GitOps和Terraform等工具強制執行版本控制、持續集成/持續部署（CI/CD）和基礎設施代碼化實踐。

• 至少有7年的數據工程經驗。
• 在AWS數據堆疊方面具有深入的實踐經驗：Glue（作業和抓取器）、S3、Athena、Lake Formation、DMS和Redshift Spectrum。
• 具備設計實時、流式和批量系統數據管道的專業知識，包括架構設計、格式優化和服務水平協議（SLA）。
• 具有強大的Python（PySpark）編程技能和高級SQL分析處理及轉換能力。
• 有管理使用開放表格格式（Iceberg、Delta Lake、Hudi）的大規模數據架構的經驗。
• 了解使用Kinesis/Kafka進行流處理和通過Airflow或Step Functions進行編排。
• 在受監管環境中實施數據訪問控制、加密政策和合規工作流程的經驗。
• 能夠將GenAI工具集成到數據工程流程中，以推動可衡量的生產力和質量提升，並保持強大的工程衛生。
• 展示出領導團隊、推動架構決策和與跨功能利益相關者合作的能力。

附加優勢

• 在符合PCI DSS或其他中央銀行監管環境中工作，並具備審計日誌和數據保留要求的經驗。
• 在支付或銀行領域的經驗，具備與對賬、退款分析或欺詐檢測相關的用例。
• 熟悉數據合約、數據網格模式和數據作為產品的原則。
• 有使用GenAI自動化數據文檔、生成數據測試或支持對賬用例的經驗。
• 接觸過AWS Glue、Athena和S3中的性能調優和成本優化策略。