角色概述：

數據工程師負責設計、開發和維護可擴展的數據管道和基礎設施，專注於利用Databricks和數據湖技術。此角色與數據科學家，分析師及商業團隊協作，以確保數據在分析中的高效處理、存儲和可訪問性。數據工程師在將原始數據轉換為有價值的、結構化格式並優化數據工作流程以支持組織內部的數據驅動決策中發揮關鍵作用。

主要責任：

a2 設計、實施和管理可擴展的數據管道以進行攝取、處理和存儲，利用Databricks和數據湖技術。

a2 與數據科學家，分析師和商業利益相關者合作以了解數據需求，確保解決方案滿足分析要求。

a2 將多個數據來源（例如，數據庫、API、雲存儲）整合到數據湖等中央庫中，確保數據易於訪問並針對性能進行優化。

a2 開發和自動化ETL（提取、轉換、加載）流程，使用Databricks和其他大數據工具。a2 架構和優化數據湖基礎設施，以適應結構化和非結構化數據的存儲和處理。

a2 應用數據驗證、轉換和清洗過程，以確保所有管道中的數據一致且高質量。

a2 自動化數據工作流程，以確保無縫數據處理和快速訪問分析和機器學習。

a2 與雲平台（如AWS，Google Cloud和Azure）合作，構建可擴展的基於雲的數據解決方案。

a2 確保在數據處理和處理中符合數據隱私、安全和法規標準。

a2 排除故障，監控和優化數據管道以確保高可用性、性能和錯誤解決。

a2 記錄數據管道架構、最佳實踐和過程，以促進知識共享和跨團隊合作。

核心能力：

a2 Databricks專業知識：使用Databricks構建數據管道、優化處理性能和使用Spark進行大規模數據處理的扎實經驗。

a2 數據湖知識：對數據湖架構和管理結構化和非結構化數據的最佳實踐有深刻理解。

a2 編程技能：能夠使用Python、Java或Scala構建和自動化數據工作流程。

a2 雲平台經驗：善於使用雲平台（AWS，Azure，Google Cloud）。

a2 ETL自動化：擅長使用Apache Airflow和Databricks工作流等平台自動化ETL流程。

a2 數據整合：能夠將多個來源的數據整合並簡化為一個連貫的分析管道。

a2 團隊管理技能：證明能有效領導、激勵和發展團隊，包括設定明確的目標、提供建設性的反饋、解決衝突和促進積極的工作環境。

a2 協作技能：強大的團隊合作能力，能夠將複雜的技術概念傳達給技術和非技術的利益相關者。

所需技能：

a2 擁有作為數據工程師的證明經驗，特別是在Databricks和數據湖技術方面。

a2 在管理和查詢大型數據集方面的SQL專業知識。

a2 擁有Databricks、Apache Spark和相關大數據工具的實際經驗。

a2 精通雲平台（AWS，Azure，Google Cloud）。

a2 熟悉Apache Airflow和Databricks工作流等ETL自動化工具。

a2 在Python、Java或Scala方面擁有強大的編程技能，用於數據處理和管道開發。

a2 優秀的問題解決能力，能夠排除並解決複雜的數據工程挑戰。

請參考工作描述。