PeoplePlus Tech Apache Flink Engineer

Insinyur Apache Flink

PeoplePlus Tech

₱70-130K[Bulanan]

Jarak jauh5-10 Tahun KedaluwarsaS1Penuh waktu

Detail Jarak Jauh

Negara terbuka：Filipina

Persyaratan Bahasa：Inggris

Pekerjaan jarak jauh ini terbuka untuk kandidat di negara tertentu. Harap konfirmasi jika Anda ingin melanjutkan meskipun ada potensi pembatasan lokasi

Deskripsi Pekerjaan

Tampilkan teks asli

Keterangan

Integrasi Kafka - Menyiapkan pekerjaan Flink untuk terhubung secara seamless ke topik Kafka tertentu, mendefinisikan kelompok konsumen, dan mengelola serialisasi/deserialisasi data.
Logika Pemrosesan Aliran - Menulis logika pemrosesan data Flink menggunakan DataStream API untuk memfilter, mengagregasi, melakukan windowing, dan memanipulasi aliran data yang diterima dari Kafka.
Manajemen Status - Menerapkan operasi stateful dalam pekerjaan Flink untuk mempertahankan konteks di antara peristiwa dalam aliran data, seperti melacak total kumulatif atau informasi sesi.
Optimisasi Pekerjaan Flink - Menyetel parameter pekerjaan Flink untuk kinerja, paralelisme, dan toleransi kesalahan agar dapat menangani aliran data dengan volume tinggi secara efisien.
Monitoring dan Pemberitahuan - Menyiapkan sistem pemantauan untuk melacak kesehatan pekerjaan Flink, mengidentifikasi potensi masalah, dan memicu peringatan untuk masalah operasional.
Mengembangkan aplikasi Flink - Menulis kode untuk mendefinisikan jalur data menggunakan DataStream API Flink, termasuk pengambilan data, transformasi, dan operasi keluaran.
Desain pemrosesan aliran - Mengarsiteki solusi pemrosesan data waktu nyata menggunakan kemampuan Flink untuk manajemen status, windowing, dan toleransi kesalahan.
Optimisasi kinerja - Memantau dan menyetel pekerjaan Flink untuk memastikan pemrosesan data yang efisien dan throughput tinggi.
Integrasi dengan sistem lain - Menghubungkan aplikasi Flink ke sumber data seperti Kafka, basis data, dan sistem pemrosesan data lainnya.
Manajemen Kluster - Menyebarkan dan mengelola pekerjaan Flink di kluster komputasi terdistribusi seperti Kubernetes.

Persyaratan

Pemahaman mendalam tentang arsitektur Kafka, produsen, konsumen, partisi, broker, dan manajemen topik.
Pengetahuan tentang arsitektur Kafka, produsen, konsumen, manajemen topik, dan Kafka Streams API.
Keterampilan dalam pengembangan Java untuk menulis aplikasi Flink dan berinteraksi dengan Kafka menggunakan pustaka Java.
Pemahaman prinsip pemrosesan aliran, pemrosesan waktu-peristiwa, teknik pengelompokan, dan semantik tepat-sekali.
Pemahaman mendalam tentang konsep Flink seperti DataStream API, operator, manajemen status, pengelompokan, dan mekanisme toleransi kesalahan.
Keterampilan dengan prinsip dan konsep komputasi terdistribusi seperti toleransi kesalahan, penyeimbangan beban, dan pemartisian data.
Pengalaman dengan alat pemrosesan data lain seperti Kafka, Spark, atau Hadoop dapat menguntungkan.
Pemahaman SQL dapat berharga untuk bekerja dengan SQL API Flink.
Memproses data langsung dari sensor atau aplikasi untuk menghasilkan wawasan yang hampir instan.
Menganalisis transaksi keuangan secara real-time untuk mengidentifikasi aktivitas mencurigakan.
Mengumpulkan dan menganalisis log secara langsung untuk mendeteksi masalah sistem.
Melacak tingkat stok secara real-time untuk mengoptimalkan manajemen inventaris.

apacheflink