Perbedaan DTS dan SSIS (Meet - 10)

Data Transformation Services adalah salah satu modul pada SQL Server yang bisa mengkonversi data dari SQL Server ke format data yang lain yang kompatibel dengan OLE DB, ODBC, dan file teks.

Sebuah paket DTS pada dasarnya adalah keterangan yang terperinci mengenai operasi-operasi yang harus dilakukan untuk mengimpor, mengekspor, atau mentransformasi suatu data.

Paket DTS bisa mencakup meng-copy tabel-tabel antardatabase dan mentransformasi data dari 1 format ke format yang lain dengan menggunakan ODBC, AktiveX, dan perintah SQL, atau bahkan program-program eksternal yangbisa menjadi bagian dari paket DTS.

SQL Server Integration Services (SSIS) adalah suatu platform untuk membangun sistem yang handal untuk integrasi data, solusi workflow termasuk extraction, transformation, dan loading (ETL) yang banyak digunakan pada data warehousing.

Root :

1. http://www.globalkomputer.com/Bahasan/Database/Topik/DTS.html

2. http://blog.aguskurniawan.net/post/SQL-Server-2008-Integration-Services.aspx

3. https://atiaarenda.wordpress.com/2014/12/07/resume-pertemuan-12-data-warehouse/

Data Transformation Service Dalam Data Warehouse (Meet - 09)

Setelah sebelumnya membahas ETL, sekarang saya akan membahas tentang DTS atau Data Transformation Service.

Data Transformation Service adalah suatu proses atau modul yang dapat melakukan import ataupun export dan transport data pada SQL server, ms excel ataupun ms access kedalam format OLE DB.

„DTS adalah memindahkan data dari database OLTP ke data warehouse dengan tujuannya. Hal ini dilakukakn ketika validasi, cleaning up, konsolidasi, dan mengubah data yang diperlukan. (Vieria, Robert, 2000, p91) atau juga bisa dibilang keterangan yang terperinci mengenai operasi-operasi yang harus dilakukan untuk mengimpor, mengekspor, atau mentransformasi suatu data. Transfer data yang memuat tiap kolom dari sumber data antardatabase dan mentransformasi data dari 1 format ke format yang lain dengan menggunakan ODBC, AktiveX, dan perintah SQL, atau bahkan program-program eksternal yangbisa menjadi bagian dari paket DTS tersebut merupakan cakupan dari proses dari fungsi DTS itu sendiri.

Tools yang terdapat dalam Data Transformation Service :

1.DTS Wizard

Import/Export Wizard untuk membangun DTS packages sederhana dan mensupport perpindahan data dan transformasi sederhana.Import Export Wizzard

2. DTS Designer

DTS Designer mengimplementasikan DTS object model graphically yang memungkinkan user untuk menciptakan DTS packages dengan fungsi luas

3. DTS Run 

DTSRun merupakan command prompt utility yang digunakan untuk mengeksekusi DTS packages yang ada.

4. DTS Run UI

DTSRunUI merupakan grafik interface untuk DTSRun, yang juga mengijinkan pemakaian variable global dan command lines.

DTSRunUI merupakan grafik interface untuk DTSRun, yang juga mengijinkan pemakaian variable global dan command lines.

Sebuah DTS package biasanya terdiri atas satu task atau lebih. Setiap task mendefinisikan jenis pekerjaan yang akan diberikan selama eksekusi package. Task-task tersebut dikelompokkan berdasarkan fungsinya berikut ini:

1. Transformasi data
2. Mengcopy dan mengatur data
3. Menjalankan tasks sebagai jobs dari dalam sebuah package

Agar eksekusi DTS tasks dalam menyalin dan memindahkan data berjalan sukses, sebuah DTS package harus mempunyai hubungan yang valid antara sumber data asal dengan sumber data tujua. Ketika menciptakan sebuah package, user dapat mengkonfigurasikan hubungan dengan memilih jenis hubungan dari daftar yang tersedia pada OLE DB providers dan ODBC drivers. Jenis hubungan yang tersedia antara lain:

1. Microsoft Data Acces Component (MDAC) drivers
2. Microsoft Jet drivers
3. Other drivers
4. OLE DB CONNECTION

Root :

1. http://faizaltrywicaksono.blogspot.com/2014/11/data-transformation-service.html

2. http://www.techrepublic.com/article/step-by-step-learn-the-basics-of-using-dts-in-microsoft-sql-server/

3. http://zhulfiki.wordpress.com/2014/12/01/resume-data-warehouse-pertemuan-10/

4. http://en.wikipedia.org/wiki/Data_Transformation_Services

EXTRACT, TRANSFORM, LOADING (ETL) (Meet-08)

ETL adalah kumpulan proses menyiapkan data dari operational source untuk datadata-1. Proses ini terdiri dari extracting, transforming, loading, dan beberapa proses yang dilakukan sebelum dipublikasikan ke dalam data warehouse. Jadi, ETL atau extract, transform, loading adalah fase pemrosesan data dari sumber data masuk ke dalam data warehouse. Tujuan ETL adalah mengumpulkan, menyaring, mengolah dan menggabungkan datadata yang relevan dari berbagai sumber untuk disimpan ke dalam data warehouse. ETL juga dapat digunakan untuk mengintegrasikan data.

Untuk melakukan proses integrasi ini Data Warehouse Architect menggunakan suatu aplikasi yang disebut ETL (Extract, Transform, Load).Sesuai dengan namanya, aplikasi ETL melakukan fungsi-fungsi Extract, Transform dan Load. Proses Extract adalah proses pengambilan data dari sumber data.

extract, karena proses pengambilan data ini tidak mengambil keseluruhan data yang ada di database operasional, melainkan hanya mengambil data-data matang saja. Proses Extract ini harus mengakomodir berbagai macam teknologi yang digunakan oleh sumber data dan diintegrasikan ke dalam databsae tunggal.

Kemudian data-data hasil extract ini menjalani proses transformasi yang pada prinsipnya adalah mengubah kode-kode yang ada menjadi kode-kode standard, misalnya kode propinsi. Hal ini perlu dilakukan mengingat data-data yang diambil berasal dari sumber yang berbeda yang kemungkinan memiliki standarisasi yang berbeda pula. Standarisasi diperlukan untuk nantinya memudahkan pembuatan laporan.Arsitektur Data Warehouse yang umum biasanya menempatkan satu server database terpisah yang disebut Staging yang berfungsi untuk menangani proses Extract dan Transform ini sebelum dilakukan proses Load ke tujuan akhir Data Warehouse.

Proses Load dalam ETL adalah suatu proses mengirimkan data yang telah menjalani proses transformasi ke gudang data akhir, yaitu Data Warehouse itu sendiri di mana aplikasi reporting dan business intelligence siap mengakses.Untuk memudahkan pembuatan report dan meningkatkan performance, struktur database dari suatu Data Warehouse biasanya berbentuk Star Schema. Disebut demikian karena bentuk ERD (Entity Relationshio Diagram) dari table-tablenya mirip Bintang (star).

referensi 

>http://informatika.web.id/category/data-warehouse/

>http://dessysapitri.blogspot.com/2011/05/apa-itu-etl.html

>http://kundang.weblog.esaunggul.ac.id/2013/09/17/extract-transform-loading/

OLTP dan OLAP (Meet-07)

Pengertian OLAP

Suatu jenis prangkat lunak yang melakukan pemrosesan untuk menganalisa data bervolume besar dari berbagai perspektif (multidimensi). OLAP seringkali disebut analisis data multidimensi yang berfungsi sebagai data analasis (select). Data multidimensi adalah data yang dapat dimodelkan sebagai atribut dimensi dan atribut ukuran. Contoh atribut dimensi adalah nama barang dan warna barang, sedangkan contoh atribut ukuran adalah jumlah barang.

Pengertian OLTP

OLTP (On-line Transaction Processing) memiliki karakteristik dengan jumlah data yang besar namun transaksi yang dilakukan cukup sederhana seperti insert,update, dan delete. Hal utama yang menjadi perhatian dari sistem yang dilakukan OLTP adalah melakukan query secara cepat, data mudah untuk diperbaiki dan dapat diakses melalui komputer yang terhubung dalam jaringan. OLTP berorientasi pada proses yang memproses suatu transaksi secara langsung melalui komputer yang terhubung dalam jaringan. Seperti misalanya kasir pada sebuah super market yang menggunakan mesin dalam proses transaksinya. OLTP mempunyai karakteristik beberapa user dapat creating, updating, retrieving untuk setiap record data, lagi pula OLTP sangat optimal untuk updating data.

Perbedaan OLTP dan OLAP 1.OLTP (Online Transaction Processing)

1. fungsi aplikasi OLTP merupakan satu aplikasi yang berguna untuk mendukung operasional perusahaan sehari-hari. Contohnya adalah aplikasi untuk merekam pesanan konsumen, merekam pembelian, merekam proses produksi, merekam penggajian karyawan dan lain sebagainya. Aktivitas pemrosesan transaksi, biasanya hanya melibatkan beberapa record. Sebagai contoh, dalam aplikasi untuk merekam pesanan konsumen, aplikasi akan mengakses data dari tabel Konsumen, tabel Pesanan Konsumen, tabel Detail Pesanan, tabel Persediaan dan tabel Karyawan. Setiap tabel memiliki kunci yang berguna untuk sarana relasi antar tabel. Aplikasi pesanan konsumen, hanya akan menambahkan beberapa baris baru dalam tabel Pesanan Konsumen dan tabel Detail Pesanan. 
2. desine database Desain dalam OLTP bersifat Entity Relational atau databasenya dinormalisasi dulu sebelum digunakan. Database untuk mendukung OLTP adalah database yang normal. Normalized dengan banyak table. OLTP mengunakan data model ER untuk melihat transaksi sebagai proses model yang tunggal dan sinormalisaionel untuk menjagaintegritas data. OLTP menjadi bentuk yg lebih mudah untuk di ambildan di analisis. rancangan OLTP mengharuskan perancangan logika tabel dan tipe query secara bersama-sama agar tabel tersebut dapat terakses dengan cepat. 
3. Berdasarkan sumber data Data Operasional, data OLTP adalah data asli. Dalam OLTP datanya adalah hari ini, update setiap saat (datanya dapat di-edit, di-ganti, atau di-hapus) d. Berdasarkan Tujuan datanya Untuk mengendalikan dan menjalankan tugas2 utama. Penggunaan OLTP digunakan setiap saat. 
4. Berdasarkan Data apa yg di tampilkan Bisnis proses yg berkelajutan. 
5.  Query yg digunakan Simple Query.
6. Kecepatan proses Pada dasarnya sangat cepat 
7. Space yg dibutuhkan Relativ kecil. 
8. Kemampuan OLTP 
9. Data bisa saja disimpan pada beberapa platform 
10. Data diorganisasikan berdasarkan fungsi atau operasi seperti penjualan, produksi,dan pemrosesan pesanan 
11. Pemrosesan bersifat berulang 
12. User Melayani banyak pemakai operasional User. Dalam OLTP, penggunanya adalah IT Proffesional. Jumlah Pengguna Untuk OLTP penggunanya adalah puluhan. 
13. Ukuran Database Ukuran database untuk OLTP sekitar MB-GB. l. Access OLTP aksesnya bisa write, read dan lain-lain. Jumlah rekaman yang di akses OLTP sekitar ratusan sampai ribuan. 
14. Unit Pekerjaan OLTP pekerjaannya hanya sederhana misalnya transaksi dalam swalayan. Seperti misalanya kasir pada sebuah super market yang menggunakan mesin dalam proses transaksinya.

Pemodelan Dimensional (Meet - 06)

Nah langsung aja,

Pemodelan dimensional adalah  teknik desain yang bertujuan untuk menyajikan data dalam  kerangka kerja standar yang intuitif dan memungkinkan untuk akses kinerja tinggi. Pada dasarnya model dimensional mengikuti entity-relationship modeling dengan beberapa pembatasan penting. Setiap model dimensional terdiri dari satu tabel dengan multipart key yang disebut tabel fakta, dan satu set tabel kecil yang disebut tabel dimensi. Setiap tabel dimensi memiliki primary key yang sesuai persis dengan salah satu komponen multipart key dalam tabel fakta.

Sedangkan yang dimaksud dengan tabel fakta dan tabel dimensi, yaitu :

• Tabel fakta (fact table) adalah tabel yang umumnya mengandung sesuatu yang dapat diukur (measure) seperti harga, jumlah barang, dan sebagainya. Tabel fakta juga merupakan kumpulan foreign key dari primary key yang terdapat pada masing-masing tabel dimensi. Tabel fakta juga mengandung data yang bersifat historis.

tabel fakta

• Tabel dimensi (dimension table) adalah tabel yang berisi detail yang menjelaskan foreign key yang terdapat pada tabel fakta. Atribut yang terdapat pada tabel dimensi dibuat secara berjenjang (hirarki) untuk memudahkan proses query.

tabel dimensi

Star Schema

Disebut star schema karena Entity Relationship Diagram atau ERD-nya yang menyerupai bintang, tabel fakta berada di tengah dengan dikelilingi tabel dimensi di sampingnya.

star skema

Snowflake Schema

adalah struktur logical yang memiliki tabel fakta , dan dikelilingi dengan tabel dimensi , tetapi tabel dimensi utama diperbolehkan memiliki dimensi lain.

snowflake skema

Starflake Schema

Adalah gabungan dari star schema dan snowflake schema yang digunakan saat dalam situasi sulit untuk merestrukturasi semua entitas menjadi satu set dimensi yang berbeda.

\

starflake skema

Kelebihan dan kekurangan masing-masing skema

Referensi

• http://yoyonb.wordpress.com/2009/11/24/apakah-dimensioanal-modeling-dm/
• http://aditiyagita.com/business-intelligence/data-warehouse/pengertian-dimensional-modelling/\
• http://levinbosz.wordpress.com/2014/01/02/star-schema-dan-snowflake-schema-baru/
• http://pic.dhe.ibm.com/infocenter/idm/docv3/index.jsp?topic=%2Fcom.ibm.datatools.dimensional.ui.doc%2Ftopics%2Fc_dm_schema_starflake.html
• http://en.wikipedia.org/wiki/Snowflake_schema

Arsitektur dan Infrastruktur Data warehouse (Meet - 05)

Nah, setelah sebelumnya membahas mulai dari arti dan kegunaan data warehouse sampe contoh penggunaan data warehouse, kali ini entri blog saya akan saya isi dengan apa itu arsitektur dan infrastruktur data warehouse. langsung aja deh...

apa itu arsitektur data warehouse?

Arsitektur adalah sekumpulan atau struktur yang memberikan kerangka untuk keseluruhan rancangan suatu sistem atau produk. Ada arsitektur client-server,arsitektur networking  dan masih banyak arsitektur lainnya. Arsitektur data menyediakan kerangka dengan mengidentifikasikan dan memahami bagaimana data akan pindah melalui sistem dan digunakan dalam perusahaan. Arsitektur data untuk data warehouse mempunyai komponen utama yaitu read-only database.

contoh arsitektur data warehouse 

Arsitektur data warehouse mempunyai karakteristik loh :

1. Data diambil dari sistem asal (sistem informasi yang ada), database dan file.
3. Data dari sistem asal diintegrasikan dan ditransformasi sebelum disimpan ke dalam Database Management System (DBMS) seperti Oracle,Ms SQL Server, Sybase dan masih banyak yang lainnya.
4. Data warehouse merupakan sebuah database terpisah bersifat hanya dapat dibaca yang dibuat khusus untuk mendukung pengambilan keputusan
5. Pemakai mengakses data warehouse melalui aplikasi front end tool

komponen utama arsitektur data warehouse:

1. Operational Data
2. Load Manager
3. Warehouse Manager
4. Query Manager
5. End-user Access Tools

Nah, selanjutnya infrastruktur Data warehouse, apa itu infrastruktur data warehouse?

Infrastruktur data warehouse adalah software, hardware, pelatihan dan komponen-komponen lainnya yang memberikan dukungan yang dibutuhkan untuk mengimplementasikan data warehouse(Poe).

Salah satu instrumen yang mempengaruhi keberhasilan pengembangan data warehouse adalah pengidentifikasian arsitektur mana yang terbaik dan infrasruktur apa yang dibutuhkan. Arsitektur yang sama, mungkin memerlukan infrastruktur yang berbeda, tergantung pada lingkunan perusahaan ataupun organisasi.

referensi :

1. Arsitektur dan Infrastruktur Data Warehouse | http://calvingulo.blogspot.com/2012/10/arsitektur-dan-infrastruktur-data.html

2. Data warehouse | http://edukasi.kompasiana.com/2013/11/09/data-warehouse-609238.html

3. Arsitektur dan Infrastruktur Data Warehouse | http://padamasa.wordpress.com/2013/09/30/infrastruktur-dan-arsitektur-data-warehouse/

Analisa Arsitektur dan Skema (Meet - 04)

Link Dokumen :

http://repository.akprind.ac.id/sites/files/conference-paper/2008/amborowati_20131.pdf

atau

http://goo.gl/pA7GcO

Analisa arsitektur pada perpustakaan STMIK AMIKOM YOGYAKARTA, yaitu:

Berdasarkan  kebutuhan informasi yang dibutuhkan oleh petugas dan manajemen perpustakaan maka model data dimensional yang dibuat dalam bentuk star schema untuk data warehouse.

Star Schema adalah alat dimana pemodelan dimesional diterapkan dan berisi sebuah tabel fakta pusat. Tabel fakta berisi atribut deskriptif yang digunakan untuk proses query dan foreign key untuk menghubungkan ke tabel dimensi. Atribut analisis keputusan terdiri dari ukuran performa, metrik operasional, ukuran agregat, dan semua metrik yang lain yang diperlukan untuk menganalisis performa organisasi. Tabel fakta menunjukkan apa yang didukung oleh data warehouse untuk analisis keputusan. Tabel dimensi mengelilingi tabel fakta pusat. Tabel dimensi berisi atribut yang menguraikan data yang dimasukkan dalam tabel fakta.