ETL Data Warehouse !!!!!!!
ETL (Extraction Transformation Load)
Proses ETL (Extraction, Transformation, Loading) merupakan proses yang harus dilalui dalam pembentukan data warehouse (Kimball, 2004). Berikut adalah penjelasan dari tiap proses.
Extract
Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai database sistem operasional yang ada, baik menggunakan query, atau aplikasi ETL.
Metode Ekstrasi, yaitu :
Umum
- Statis
- Terjadwal
* Berdasarkan Waktu
* Berdasarkan perbedaan
- Seketika
* Mekanisme log transaksi
* Mekanisme basis data triger
* Sumber Aplikasi
Logikal
- Ekstrasi full
Dimana pengambilan data dari database OLTP secara keseluruhan tidak di ambil beberapa point saja.
- Ekstrasi incremental
Dimana pengambilan data dari database OLTP berdasarkan point tertentu
Fisik
- Online
Pengambilan data secara langsung ke dalam database yang di tuju atau sudah ter integrasi
- Offline
Pengambilan data dari sumber eksternal (hardisk,dll)
Transformation
Transformasi adalah proses dimana data mentah (raw data) hasil ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku. Tranformasion data terdiri dari beberapa tahap, yaitu :
Load
Proses terakhir yang perlu dilakukan adalah proses pemuatan data yang didapatkan dari hasil transformasi ke dalam data warehouse.
Fase load ada 4 metode:
Proses ETL (Extraction, Transformation, Loading) merupakan proses yang harus dilalui dalam pembentukan data warehouse (Kimball, 2004). Berikut adalah penjelasan dari tiap proses.
Extract
Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai database sistem operasional yang ada, baik menggunakan query, atau aplikasi ETL.
Metode Ekstrasi, yaitu :
Umum
- Statis
- Terjadwal
* Berdasarkan Waktu
* Berdasarkan perbedaan
- Seketika
* Mekanisme log transaksi
* Mekanisme basis data triger
* Sumber Aplikasi
Logikal
- Ekstrasi full
Dimana pengambilan data dari database OLTP secara keseluruhan tidak di ambil beberapa point saja.
- Ekstrasi incremental
Dimana pengambilan data dari database OLTP berdasarkan point tertentu
Fisik
- Online
Pengambilan data secara langsung ke dalam database yang di tuju atau sudah ter integrasi
- Offline
Pengambilan data dari sumber eksternal (hardisk,dll)
Transformation
Transformasi adalah proses dimana data mentah (raw data) hasil ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku. Tranformasion data terdiri dari beberapa tahap, yaitu :
- Seleksi
- Pemisahan dan penggabungan
- Konversi (dengan alasan : standarisasi pengambilan data dari banyak sumber dan membuat file yang di gunakan datawarehouse yang juga bisa di pahami oleh pengguna)
- Ringkasan
- Pengayaan
Load
Proses terakhir yang perlu dilakukan adalah proses pemuatan data yang didapatkan dari hasil transformasi ke dalam data warehouse.
Fase load ada 4 metode:
- Panggil
- Tambah
- Destructive merge
- Constructive merge