Tinjauan Posisi:

Kami sedang mencari seorang jurutera pembangunan data besar yang mahir secara teknikal dan berpengalaman praktikal untuk menyertai pasukan platform data teras kami. Anda akan terlibat secara mendalam dalam reka bentuk dan pembangunan platform data generasi akan datang syarikat, bertanggungjawab untuk menyusun dan mengoptimumkan seni bina pemprosesan data yang berprestasi tinggi dan boleh skala, dari pengumpulan data, pembersihan, penyimpanan hingga pemprosesan masa nyata dan perkhidmatan. Platform ini akan secara langsung menyokong strategi berasaskan data syarikat, memberdayakan perniagaan untuk bertindak balas dengan cepat terhadap perubahan pasaran, dan menyediakan sokongan data yang kukuh untuk pasukan algoritma, analisis, dan produk.

Di sini, anda akan mempunyai peluang untuk berurusan dengan data yang besar, pemprosesan aliran dengan kebolehan tinggi, dan komponen teknologi pelbagai (seperti Flink, ClickHouse, Kafka, dan lain-lain), serta terlibat dalam proses pelaksanaan sistem kritikal dari 0 hingga 1. Jika anda bersemangat tentang kejuruteraan data dan ingin mencabar batasan teknologi dalam persekitaran antarabangsa dan kerjasama pelbagai pasukan, kami dengan ikhlas menjemput anda untuk menyertai kami!

Tanggungjawab Pekerjaan:

•       Mengambil bahagian dalam reka bentuk, pembangunan dan pengoptimuman platform data besar syarikat untuk menyokong pertumbuhan perniagaan yang berterusan dan keputusan yang berasaskan data.

•       Bertanggungjawab untuk membina kluster ClickHouse, pengoptimaan prestasi, pemantauan dan penyelenggaraan harian, memastikan sistem mempunyai kebolehpakaian yang tinggi dan prestasi yang baik.

•       Mengambil bahagian dalam pembangunan, penyebaran dan penyelenggaraan tugas pemprosesan aliran Flink, memastikan kestabilan rantaian pemprosesan data masa nyata.

•       Menyokong keperluan perkhidmatan data pihak perniagaan dengan membangunkan perkhidmatan API data berdasarkan Java Spring Boot.

•       Membantu pasukan sains data membina saluran data untuk menyokong latihan dan perkhidmatan dalam talian model algoritma.

•       Sentiasa mengoptimumkan proses pemprosesan data dan seni bina sistem, meningkatkan kestabilan dan kebolehsesuaian sistem.

•       Mengambil tanggungjawab secara proaktif dalam projek, mendorong penyelesaian masalah, mempunyai semangat pemilik, dan mampu mengekalkan keupayaan pelaksanaan dan komunikasi yang baik di bawah tekanan.

Keperluan Posisi:

•       Ijazah sarjana muda atau lebih tinggi, dalam bidang komputer, kejuruteraan perisian, teknologi maklumat atau bidang berkaitan adalah diutamakan.

•       Lebih daripada 5 tahun pengalaman berkaitan data besar.

•       Dasar data yang kukuh: memahami pangkalan data relasi (seperti MySQL, PostgreSQL) dan pangkalan data lajur.

•       Memahami prinsip pengoperasian komponen seperti ClickHouse dan Doris, serta mekanisme penyimpanan dan pengoptimuman carian yang mendasarinya.

•       Kebolehan pembangunan yang kuat: mahir dalam Java, dengan pengalaman dalam menggunakan rangka kerja Spring Boot untuk membangunkan perkhidmatan REST API.

•       Kemahiran komunikasi dan kerjasama yang cemerlang, mampu bekerja rapat dengan pasukan analisis data, produk dan perniagaan.

•       Mempunyai tanggungjawab yang tinggi, kemahiran tahan tekanan yang baik dan kemampuan menyelesaikan masalah, mampu mendorong kemajuan kerja secara proaktif.

Selepas enam bulan, lokasi kerja akan berpindah ke Jepun, memerlukan pemindahan dan bekerja secara dalam talian (syarikat menyediakan sokongan visa dan bantuan pemindahan yang berkaitan).

Poin bonus jika anda juga mempunyai:

1.  Pengalaman praktikal dengan komponen seperti Kafka, Zookeeper, HDFS, Hive, Airflow;

2.  Pengalaman dalam projek berkaitan sistem cadangan, profil pengguna, pengurutan peribadi;

3.  Latar belakang berkaitan algoritma ramalan (seperti ramalan siri waktu, ramalan tingkah laku pengguna);

4.  Memahami dan telah mengamalkan model bahasa besar (LLM, seperti ChatGPT, LLama, dan lain-lain) dalam senario penggunaan perniagaan atau sistem (seperti pengayaan data, pemadanan automatik, soalan pintar);

5.  Pernah terlibat dalam projek pembinaan gudang data masa nyata dan sistem metrik;

6.  Pengalaman membina platform data dari 0 hingga 1 adalah diutamakan.

 ClickHouse 

•       Menguasai pemodelan data ClickHouse, pengoptimuman pertanyaan dan pengawalan sumber;

•       Mempunyai pengalaman praktikal dalam penyelenggaraan kluster, penyelesaian masalah dan pemantauan prestasi;

•       Memahami integrasi ClickHouse dengan middleware data/pemprosesan aliran/sistem penjadualan.

Flink 

•       Memahami mekanisme asas Flink, seperti checkpoint, state backend, mekanisme window dan lain-lain;

•       Mampu menulis tugas pemprosesan masa nyata Flink yang kompleks secara bebas dan menyelesaikan masalah prestasi semasa pelaksanaan;

•      Mempunyai pengalaman penyebaran kluster Flink dan penyelenggaraan kestabilan.