EXTRACT, TRANSFORM, LOADING (ETL) (Meet-08)

ETL adalah kumpulan proses menyiapkan data dari operational source untuk datadata-1. Proses ini terdiri dari extracting, transforming, loading, dan beberapa proses yang dilakukan sebelum dipublikasikan ke dalam data warehouse. Jadi, ETL atau extract, transform, loading adalah fase pemrosesan data dari sumber data masuk ke dalam data warehouse. Tujuan ETL adalah mengumpulkan, menyaring, mengolah dan menggabungkan datadata yang relevan dari berbagai sumber untuk disimpan ke dalam data warehouse. ETL juga dapat digunakan untuk mengintegrasikan data.

Untuk melakukan proses integrasi ini Data Warehouse Architect menggunakan suatu aplikasi yang disebut ETL (Extract, Transform, Load).Sesuai dengan namanya, aplikasi ETL melakukan fungsi-fungsi Extract, Transform dan Load. Proses Extract adalah proses pengambilan data dari sumber data.

extract, karena proses pengambilan data ini tidak mengambil keseluruhan data yang ada di database operasional, melainkan hanya mengambil data-data matang saja. Proses Extract ini harus mengakomodir berbagai macam teknologi yang digunakan oleh sumber data dan diintegrasikan ke dalam databsae tunggal.

Kemudian data-data hasil extract ini menjalani proses transformasi yang pada prinsipnya adalah mengubah kode-kode yang ada menjadi kode-kode standard, misalnya kode propinsi. Hal ini perlu dilakukan mengingat data-data yang diambil berasal dari sumber yang berbeda yang kemungkinan memiliki standarisasi yang berbeda pula. Standarisasi diperlukan untuk nantinya memudahkan pembuatan laporan.Arsitektur Data Warehouse yang umum biasanya menempatkan satu server database terpisah yang disebut Staging yang berfungsi untuk menangani proses Extract dan Transform ini sebelum dilakukan proses Load ke tujuan akhir Data Warehouse.

Proses Load dalam ETL adalah suatu proses mengirimkan data yang telah menjalani proses transformasi ke gudang data akhir, yaitu Data Warehouse itu sendiri di mana aplikasi reporting dan business intelligence siap mengakses.Untuk memudahkan pembuatan report dan meningkatkan performance, struktur database dari suatu Data Warehouse biasanya berbentuk Star Schema. Disebut demikian karena bentuk ERD (Entity Relationshio Diagram) dari table-tablenya mirip Bintang (star).

referensi 

>http://informatika.web.id/category/data-warehouse/

>http://dessysapitri.blogspot.com/2011/05/apa-itu-etl.html

>http://kundang.weblog.esaunggul.ac.id/2013/09/17/extract-transform-loading/

OLTP dan OLAP (Meet-07)

Pengertian OLAP

Suatu jenis prangkat lunak yang melakukan pemrosesan untuk menganalisa data bervolume besar dari berbagai perspektif (multidimensi). OLAP seringkali disebut analisis data multidimensi yang berfungsi sebagai data analasis (select). Data multidimensi adalah data yang dapat dimodelkan sebagai atribut dimensi dan atribut ukuran. Contoh atribut dimensi adalah nama barang dan warna barang, sedangkan contoh atribut ukuran adalah jumlah barang.

Pengertian OLTP

OLTP (On-line Transaction Processing) memiliki karakteristik dengan jumlah data yang besar namun transaksi yang dilakukan cukup sederhana seperti insert,update, dan delete. Hal utama yang menjadi perhatian dari sistem yang dilakukan OLTP adalah melakukan query secara cepat, data mudah untuk diperbaiki dan dapat diakses melalui komputer yang terhubung dalam jaringan. OLTP berorientasi pada proses yang memproses suatu transaksi secara langsung melalui komputer yang terhubung dalam jaringan. Seperti misalanya kasir pada sebuah super market yang menggunakan mesin dalam proses transaksinya. OLTP mempunyai karakteristik beberapa user dapat creating, updating, retrieving untuk setiap record data, lagi pula OLTP sangat optimal untuk updating data.

Perbedaan OLTP dan OLAP 1.OLTP (Online Transaction Processing)

1. fungsi aplikasi OLTP merupakan satu aplikasi yang berguna untuk mendukung operasional perusahaan sehari-hari. Contohnya adalah aplikasi untuk merekam pesanan konsumen, merekam pembelian, merekam proses produksi, merekam penggajian karyawan dan lain sebagainya. Aktivitas pemrosesan transaksi, biasanya hanya melibatkan beberapa record. Sebagai contoh, dalam aplikasi untuk merekam pesanan konsumen, aplikasi akan mengakses data dari tabel Konsumen, tabel Pesanan Konsumen, tabel Detail Pesanan, tabel Persediaan dan tabel Karyawan. Setiap tabel memiliki kunci yang berguna untuk sarana relasi antar tabel. Aplikasi pesanan konsumen, hanya akan menambahkan beberapa baris baru dalam tabel Pesanan Konsumen dan tabel Detail Pesanan. 
2. desine database Desain dalam OLTP bersifat Entity Relational atau databasenya dinormalisasi dulu sebelum digunakan. Database untuk mendukung OLTP adalah database yang normal. Normalized dengan banyak table. OLTP mengunakan data model ER untuk melihat transaksi sebagai proses model yang tunggal dan sinormalisaionel untuk menjagaintegritas data. OLTP menjadi bentuk yg lebih mudah untuk di ambildan di analisis. rancangan OLTP mengharuskan perancangan logika tabel dan tipe query secara bersama-sama agar tabel tersebut dapat terakses dengan cepat. 
3. Berdasarkan sumber data Data Operasional, data OLTP adalah data asli. Dalam OLTP datanya adalah hari ini, update setiap saat (datanya dapat di-edit, di-ganti, atau di-hapus) d. Berdasarkan Tujuan datanya Untuk mengendalikan dan menjalankan tugas2 utama. Penggunaan OLTP digunakan setiap saat. 
4. Berdasarkan Data apa yg di tampilkan Bisnis proses yg berkelajutan. 
5.  Query yg digunakan Simple Query.
6. Kecepatan proses Pada dasarnya sangat cepat 
7. Space yg dibutuhkan Relativ kecil. 
8. Kemampuan OLTP 
9. Data bisa saja disimpan pada beberapa platform 
10. Data diorganisasikan berdasarkan fungsi atau operasi seperti penjualan, produksi,dan pemrosesan pesanan 
11. Pemrosesan bersifat berulang 
12. User Melayani banyak pemakai operasional User. Dalam OLTP, penggunanya adalah IT Proffesional. Jumlah Pengguna Untuk OLTP penggunanya adalah puluhan. 
13. Ukuran Database Ukuran database untuk OLTP sekitar MB-GB. l. Access OLTP aksesnya bisa write, read dan lain-lain. Jumlah rekaman yang di akses OLTP sekitar ratusan sampai ribuan. 
14. Unit Pekerjaan OLTP pekerjaannya hanya sederhana misalnya transaksi dalam swalayan. Seperti misalanya kasir pada sebuah super market yang menggunakan mesin dalam proses transaksinya.