Apache Flink
 | Artikel ini perlu dikembangkan dari artikel terkait di Wikipedia bahasa Inggris. (Februari 2025)
klik [tampil] untuk melihat petunjuk sebelum menerjemahkan.
|
| Apache Flink | |
|---|---|
 | |
| Pengembang | Apache Software Foundation |
| Rilis awal | Mei 2011 |
| Ditulis dalam | Java and Scala |
| Sistem operasi | Cross-platform |
| Jenis |
|
| Lisensi | Apache License 2.0 |
| Situs web | flink |
| Repositori | |
Apache Flink adalah sistem pemrosesan data terdistribusi yang mendukung pemrosesan berkelompok (batch) maupun aliran data (streaming). Flink dirancang untuk menangani berbagai tantangan dalam pengolahan data terbatas dan tidak terbatas secara efisien.
Fitur
Beberapa fitur utama Flink meliputi:
- Dukungan jendela waktu yang fleksibel, memungkinkan pengelompokan data berdasarkan periode tertentu.
- Konsistensi status dengan jaminan pemrosesan tepat sekali (exactly-once), memastikan keakuratan data tanpa duplikasi atau kehilangan informasi.
- Pemrosesan berbasis waktu kejadian (event-time semantics), mempertahankan urutan asli data sesuai waktu terjadinya.
- Pemrosesan aliran data yang memiliki status (stateful stream processing), memungkinkan penyimpanan dan pengelolaan data selama pemrosesan.
- Dukungan untuk pemrosesan kejadian kompleks (complex event processing) dan kueri berkelanjutan (continuous queries), memungkinkan analisis data secara langsung (real-time).
Sejarah
Apache Flink berasal dari proyek penelitian akademik. Pada tahun 2010, proyek Stratosphere dimulai oleh lima kelompok penelitian dari Technische Universität Berlin, Humboldt Universität zu Berlin, dan Hasso Plattner Institute Potsdam. Tujuan utama proyek ini adalah mengembangkan pendekatan baru untuk pemrosesan data terdistribusi dalam skala besar.
Sebagai bagian dari proyek ini, para peneliti mengembangkan prototipe sistem pemrosesan data untuk mengevaluasi pendekatan baru mereka. Perangkat lunak ini kemudian dirilis sebagai aplikasi terbuka (open-source) di bawah lisensi perangkat lunak Apache.
Pada tahun yang sama, proyek Apache Hadoop (dari sebuah implementasi aplikasi terbuka (open-source) dari Google MapReduce dan Google File System (GFS)) yang menjadi sangat populer di kalangan industri dan akademisi. Keunggulan utama Hadoop adalah kemampuannya untuk menskalakan tugas pemrosesan data ke banyak mesin dengan spesifikasi standar serta toleransi tinggi terhadap kegagalan perangkat keras dan perangkat lunak.
Namun, komunitas penelitian basis data menyadari bahwa MapReduce tidak cukup efisien atau mudah digunakan dalam mendefinisikan aplikasi analitik yang kompleks. Oleh karena itu, proyek Stratosphere bertujuan untuk menggabungkan keunggulan MapReduce dengan sistem basis data relasional.
Proyek ini menghasilkan sistem pemrosesan data terdistribusi yang terdiri dari:
- Model pemrograman PACT, yang menggeneralisasi model pemrograman MapReduce dengan menyediakan lebih banyak operator paralel.
- Mesin pemrosesan aliran data terdistribusi Nephele, yang menjalankan program PACT sebagai aliran data berbentuk graf asiklik terarah (DAG).
- Optimizer, yang menerjemahkan program PACT menjadi aliran data Nephele untuk meningkatkan efisiensi eksekusi.
Pendekatan ini membuat spesifikasi aplikasi analitik yang kompleks menjadi lebih mudah. Operator runtime yang digunakan untuk menjalankan program PACT diimplementasikan berdasarkan algoritma terkenal dalam sistem basis data, seperti:
- External merge-sort
- Block-nested loop join
- Hybrid-hash join
- Sort-merge join
Pendekatan ini memungkinkan sistem untuk menangani pemrosesan data dengan efisiensi yang lebih tinggi dibandingkan dengan MapReduce.
Referensi
- ^ "Release 2.2.1". 11 Mei 2026. Diakses tanggal 12 Mei 2026.
- ^ "All stable Flink releases". flink.apache.org. Apache Software Foundation. Diakses tanggal 2021-12-20.
Content Disclaimer
Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.
- The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
- There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
- It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
- Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
- Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.