BAB V Arsitektur Data dan Integrasi Data PDF

Pengelolaan Data BAB V ARSITEKTUR DATA DAN INTEGRASI DATA 5.1. Uraian Materi Arsitektur dapat diartikan sebagai gambaran dari sistem yang ada saat ini, komponen yang terdapat pada sistem, ilmu dalam mendesain sistem, arsitektur sistem usulan, dokument...

Pengelolaan Data BAB V ARSITEKTUR DATA DAN INTEGRASI DATA 5.1. Uraian Materi Arsitektur dapat diartikan sebagai gambaran dari sistem yang ada saat ini, komponen yang terdapat pada sistem, ilmu dalam mendesain sistem, arsitektur sistem usulan, dokumentasi sistem, atau tim yang melaksanakan pekerjaan terkait arsitektur sistem. Secara best practice, perancangan arsitektur dapat dilaksanakan pada berbagai level di organisasi (enterprise, domain, project, dan lain-lain) dengan fokus area yang berbeda-beda (infrastruktur, aplikasi, dan data). Berdasarkan Enterprise Architecture (EA), terdapat empat arsitektur utama, yaitu bisnis, data, aplikasi, dan teknologi. EA yang diimplementasikan dengan baik, dapat membantu organisasi dalam memahami kondisi sistem yang saat ini digunakan, merancang sistem yang diharapkan dapat diimplementasikan di masa mendatang, serta merencanakan strategi bagaimana agar dapat mencapai kondisi di masa mendatang tersebut. Pada bab ini, akan dijelaskan mengenai arsitektur terkait data baik arsitektur data secara end-to-end, arsitektur integrasi data yang merupakan bagian dari proses penting dalam arsitektur data, dan arsitektur teknologi yang digunakan dalam mendukung implementasi arsitektur data tersebut. a. Arsitektur Data Arsitektur data merupakan dasar utama dalam implementasi pengelolaan data. Hal tersebut disebabkan karena sebagian besar organisasi memiliki kebutuhan agar data yang ada dapat dengan mudah dipahami sesuai dengan level penyajian data (strategis, operasional, dan teknis) sehingga pihak yang berkepentingan dapat mengambil keputusan berbasis data. Output dari arsitektur data meliputi gambaran terkait kondisi saat ini, definisi kebutuhan data, panduan integrasi data, dan kontrol aset data yang dituangkan dalam strategi data. Secara umum, sasaran yang ingin dicapai dari implementasi arsitektur data adalah menjembatani antara strategi bisnis dengan teknologi yang akan diimplementasikan. Arsitektur data mendefinisikan bentuk dan rancangan standar dari setiap elemen yang penting di organisasi. Hal tersebut mencakup gambaran aliran data dari tahap pengumpulan, penyimpanan, integrasi, perpindahan, dan distribusi data. Untuk 32 Pengelolaan Data dapat membuat arsitektur data, beberapa langkah yang dapat dilakukan adalah sebagai berikut. 4. Mengkaji domain arsitektur data yang sudah ada dan atau domain- domain lain yang terkait Domain lain terkait yang dimaksud seperti domain bisnis, aplikasi dan teknologi. Hasil analisis baik dari arsitektur data yang sudah ada maupun domain terkait lainnya akan menjadi bahan untuk mengidentifikasi gap dari arsitektur saat ini dengan arsitektur yang diharapkan di masa mendatang. 5. Mengidentifikasi jenis data apa yang dikumpulkan, bagaimana data tersebut dikumpulkan, diproses, disimpan, dan digunakan oleh organisasi Proses identifikasi data ini akan membantu dalam melihat apakah terdapat kebutuhan data yang belum tercakup dan apakah terdapat proses pengelolaan data yang perlu ditingkatkan di setiap tahapan mulai dari pengumpulan hingga penggunaan data. 6. Mengidentifikasi atribut dan parameter dalam setiap objek data Objek data diperoleh dari hasil identifikasi data yang terdapat di organisasi. Data tersebut dikategorikan berdasarkan kebutuhan, misal sesuai subjek (pegawai, customer, komoditas, penjualan, dan lain-lain), bentuk penyimpanan (data warehouse, working database, dan lain-lain), jenis data (data sensus, data publikasi, metadata, geospatial, dan lain-lain). 7. Menggambarkan arsitektur data yang mencakup objek-objek data dan interaksinya Objek data yang berhasil diidentifikasi kemudian dikaitkan satu sama lain. Relasi yang dibentuk akan membentuk rancangan aliran data baik antar repositori maupun antara subjek data yang tersimpan di tiap-tiap repositori. Untuk mempermudah penggambaran arsitektur data, maka aliran data dapat dimulai dari tahap pengumpulan, pemrosesan, analisis, dan diseminasi data. 33 Pengelolaan Data 8. Mendokumentasikan proses penyusunan arsitektur data Semua output yang dihasilkan dari proses perancangan arsitektur data perlu didokumentasikan dan diperbaharui jika terdapat penyesuaian berdasarkan kebutuhan pengelolaan data di organisasi. b. Arsitektur Integrasi Data Integrasi data merupakan proses perpindahan atau konsolidasi data di dalam dan antara repositori data, aplikasi, dan organisasi. Dari pengertian tersebut, dapat diketahui bahwa proses integrasi dapat mencakup internal organisasi saja dan/atau eksternal organisasi. Tujuan dari proses integrasi data adalah sebagai berikut. 1. Menyediakan data dalam format dan periode yang dibutuhkan oleh pengguna maupun sistem. 2. Mengkonsolidasikan data baik secara fisik maupun virtual melalui data hubs. 3. Mendukung implementasi business intelligence, analitik, pengelolaan data master, dan mengefisienkan operasional pengelolaan data. Sumber data yang akan diintegrasikan dapat memiliki format dan teknologi penyimpanan yang beragam dan untuk mengkonversi ke format dan struktur standar diperlukan Extract, Transform, Load (ETL) tool. Beberapa langkah yang dapat dilakukan dalam merancang integrasi data adalah sebagai berikut. 1. Melakukan requirement gathering terkait kebutuhan integrasi data Hal-hal yang perlu diidentifikasi melalui proses requirement gathering adalah sebagai berikut. a) Memahami kebutuhan organisasi sekaligus data dan teknologi yang diusulkan untuk memenuhi kebutuhan tersebut. b) Mengumpulkan informasi terkait aturan penggunaan data, terutama hal- hal terkait keamanan dan kerahasiaan data. c) Mengidentifikasi kebijakan data di organisasi. 2. Melakukan identifikasi sumber data yang potensial untuk diintegrasikan termasuk didalamnya assessment kualitas sumber data 34 Pengelolaan Data Sumber data yang diidentifikasi dapat terdiri dari beberapa kandidat yang mungkin dapat memenuhi kebutuhan. Untuk menentukan sumber data yang tepat, maka diperlukan pemahaman terhadap metadata, kualitas, cakupan, dan keberlangsungan data. 3. Mengidentifikasi keterkaitan antar sumber data Dari hasil identifikasi sumber data, maka mulai tergambar bagaimana data mengalir dalam organisasi. Gambaran tersebut dapat digunakan untuk penyusunan dokumen keterkaitan data secara high level, seperti: a) bagaimana data dihasilkan oleh organisasi; b) bagaimana data digunakan oleh organisasi bak untuk analitik, pengambilan keputusan, maupun trigger terhadap kejadian tertentu; c) bagaimana frekuensi perubahan data dan data mana saja yang berubah. Dengan keterkaitan antar sumber data, maka dapat dilihat dampak yang terjadi akibat perubahan sumber data baik terhadap teknologi yang digunakan maupun aliran data itu sendiri. 4. Melakukan profiling untuk mengetahui konten dan struktur sumber data Cakupan dari data profiling adalah sebagai berikut. a) Format data yang didefinisikan dalam struktur data dan merupakan gambaran dari data aktual. b) Validasi data terkait nilai null, blank, atau nilai default. c) Pengecekan value data untuk menemukan invalid value. d) Pola dan hubungan dalam dataset, seperti field yang berelasi dan aturan kardinalitas. e) Hubungan antar dataset. 5. Melakukan perancangan business rule untuk keperluan matching dan merging Business rule akan sangat bermanfaat dalam menilai sumber dan target data yang potensial, alur data yang ada di organisasi, pengawasan data operasional, 35 Pengelolaan Data dan otomasi trigger. Beberapa sumber yang dapat dijadikan dasar dalam pembuatan business rules yaitu dokumentasi sistem (use case, spesifikasi, kode sistem) dan hasil workshop serta wawancara dengan subject matter experts. Tiap-tiap dataset dapat memiliki di-matching dan di-merging berdasarkan kesamaan konten kolom yang nantinya akan berperan sebagai key. Konten kolom yang dijadikan key dapat terdiri dari satu atau lebih kolom sesuai dengan kebutuhan. 36 Pengelolaan Data 6. Merancang solusi integrasi data yang mencakup teknologi yang digunakan dan rancangan alur data Rancangan integrasi data mencakup teknik dan teknologi yang akan digunakan, termasuk struktur data, orkestrasi dan frekuensi data pada aliran data, kebijakan, keamanan, dan pemeliharaan data. c. Arsitektur Teknologi Data Arsitektur teknologi data berkaitan dengan hubungan antara komponen arsitektur aplikasi dengan komponen teknologi baik perangkat keras maupun perangkat lunak. Arsitektur teknologi juga memastikan komponen aplikasi dapat berjalan dengan baik sehingga dapat menjawab kebutuhan bisnis. Berbeda dengan arsitektur pada domain data, arsitektur teknologi spesifik menggambarkan lingkungan deployment dari aplikasi. Hal tersebut menyangkut kebutuhan nonteknis seperti concurrent user, reliability, dan availibility sistem. Beberapa hal yang dipertimbangkan untuk perancangan teknologi data adalah hardware dan network sizing. Oleh karena itu, rancangan arsitektur teknologi data akan lebih banyak menggambarkan server, network, workstation, dan lain-lain. Beberapa langkah yang dapat dilakukan dalam merancang arsitektur teknologi data adalah sebagai berikut. 1. Menelaah kebutuhan manajemen data organisasi Kebutuhan manajemen data organisasi dapat diperoleh dari rancangan manajemen data yang sudah ada di organisasi, misalnya melalui arsitektur bisnis dan data. Jika belum terdapat rancangan arsitektur bisnis dan data, maka dapat dilakukan requirement gathering untuk mengetahui keadaan manajemen data yang ada saat ini di organisasi. Berdasarkan rancangan atau hasil requirement gathering, maka dilakukan pencatatan terhadap poin penting yang menjadi permasalahan dalam implementasi manajemen data dan perlu dicarikan solusinya melalui penggunaan teknologi. 37 Pengelolaan Data 2. Menelaah kebutuhan teknologi data organisasi Berdasarkan kegiatan sebelumnya, kebutuhan teknologi data juga dapat diidentifikasi sehingga dapat mengetahui kebutuhan teknis untuk implementasi manajemen data di organisasi. Kebutuhan teknologi data dapat dilihat dari fungsi atau fitur, performa (misal, untuk menangani data berukuran besar), keamanan, skalabilitas, dan konfigurasi untuk meningkatkan availability. Setiap kebutuhan tersebut sebaiknya dapat dipetakan dengan kebutuhan bisnis yang ada di organisasi. 3. Mereviu teknologi data organisasi saat ini Disamping merancang kebutuhan teknologi data di masa mendatang, reviu terhadap teknologi yang saat ini digunakan oleh organisasi juga sangat penting. Dengan melihat fungsi atau fitur, performa (misal, untuk menangani data berukuran besar), keamanan, skalabilitas, dan konfigurasi yang saat ini diimplementasikan, maka lebih tergambar apa saja yang harus ditingkatkan baik melalui eksplorasi lebih lanjut terhadap teknologi yang ada maupun penggunaan teknologi baru untuk menggantikan teknologi yang digunakan saat ini. 4. Mengidentifikasi dan menganalisis jenis teknologi data yang akan digunakan Dari daftar kebutuhan yang telah diperoleh, maka mulai dilakukan identifikasi jenis teknologi yang sesuai untuk diterapkan. Seperti yang diketahui bahawa jenis teknologi data cukup beragam, maka perlu dipertimbangkan beberapa hal dalam pemilihan teknologi data, seperti ukuran data, query workload, kebutuhan response times, kemampuan komputasi, tipe data yang akan dikelola, read and write ratio, ingest rate, dan arsitektur aplikasi yang terkait. 5. Merancang arsitektur teknologi data Setelah semua kegiatan dilaksanakan, maka tahapan perancangan arsitektur teknologi data akan menjadi lebih mudah. Seperti yang telah dijelaskan bahwa 38 Pengelolaan Data arsitektur teknologi data akan lebih banyak menggambarkan kebutuhan perangkat keras dan lunak. Setiap kebutuhan akan digambarkan dalam rancangan dan berdasarkan spesifikasi nonteknis yang dimiliki oleh teknologi data terpilih. Sebagai contoh, untuk menjamin ketersediaan sistem, maka akan dilakukan konfigurasi high availability pada teknologi Relational Database Management System (RDBMS) yang jika digambarkan dapat terlihat jumlah server atau node dan perannya masing-masing (sebagai main server atau secondary server) sesuai dengan konfigurasi high availability yang akan diterapkan. 5.2. Rangkuman 1. Arsitektur dapat diartikan sebagai gambaran dari sistem yang ada saat ini, komponen yang terdapat pada sistem, ilmu dalam mendesain sistem, arsitektur sistem usulan, dokumentasi sistem, atau tim yang melaksanakan pekerjaan terkait arsitektur sistem. 2. Arsitektur data mencakup gambaran aliran data dari tahap pengumpulan, penyimpanan, integrasi, perpindahan, dan distribusi data. 3. Rancangan integrasi data mencakup teknik dan teknologi yang akan digunakan, termasuk struktur data, orkestrasi dan frekuensi data pada aliran data, kebijakan, keamanan, dan pemeliharaan data. 4. Arsitektur teknologi data berkaitan dengan hubungan antara komponen arsitektur aplikasi dengan komponen teknologi baik perangkat keras maupun perangkat lunak. 5.3. Soal Latihan 1. Dari pilihan berikut, pernyataan yang tepat terkait arsitektur data adalah… a. Arsitektur data merupakan domain dari EA b. Arsitektur data hanya menggambarkan aliran data mulai dari pengumpulan hingga penyimpanan data 39 Pengelolaan Data c. Arsitektur data harus menggambarkan jenis data yang ada di luar organisasi walaupun tidak aad keterkaitannya dengan kebutuhan organisasi d. Arsitektur data dapat dirancang tanpa melihat arsitektur bisnis 2. Relasi antara arsitektur data dengan arsitektur integrasi data adalah… a. Arsitektur integrasi data mengambarkan hubungan antar objek dalam arsitektur data b. Arsitektur data merupakan high level dari arsitektur integrasi data c. Arsitektur integrasi data adalah pendetilan dari proses integrasi yang terdapat pada arsitektur data d. Arsitektur data menggambarkan aliran data mulai dari pengumpulan hingga integrasi data 3. Dari pilihan berikut, langkah-langkah yang dapat dilakukan untuk merancang arsitektur data yang tepat adalah… a. Mereviu teknologi data organisasi saat ini b. Mengidentifikasi jenis data apa yang dikumpulkan, bagaimana data tersebut dikumpulkan, diproses, disimpan, dan digunakan oleh organisasi c. Melakukan perancangan business rule untuk keperluan matching dan merging d. Melakukan identifikasi sumber data yang potensial untuk diintegrasikan termasuk didalamnya assessment kualitas sumber data 4. Tool yang sering digunakan dalam integrasi data adalah… a. API management tool b. Worksheet c. ETL tool d. Tool visualisasi 40 Pengelolaan Data 5. Integrasi data dapat dilaksanakan antara… a. Data dengan tipe yang sama saja b. Data di internal organisasi saja c. Data dengan struktur data yang sama saja d. Data internal dan eksternal organisasi 6. Mengapa kebutuhan organisasi terkait manajemen data harus diidentifikasi terlebih dahulu sebelum melakukan perancangan arsitektur baik data, integrasi data, maupun teknologi data? 7. Sebutkan contoh integrasi data yang ada di organisasi Anda! 8. Apakah perancangan teknologi data harus selalu menggunakan teknologi baru? 5.4. Contoh Kasus Suatu organisasi memiliki inisiatif untuk mengimplementasikan repositori terpusat dimana setiap data yang dikumpulkan dan dihasilkan oleh organisasi akan tersimpan di repositori tersebut. Untuk pengaksesan data juga akan terpusat sehingga dari segi keamanan lebih terjaga. Keadaan saat ini terkait pengelolaan data adalah sebagai berikut. 1. Untuk mendukung proses bisnis, terdapat beragam sistem/aplikasi khususnya pada proses pengumpulan data dan pemrosesan data. 2. Aplikasi yang ada tidak saling terintegrasi (silo). 3. Aplikasi yang ada dikembangkan dengan menggunakan teknologi yang berbeda-beda. 4. Masih terdapat mekanisme transfer data survei melalui CD, FTP, e-mail, file sharing melalui laci, dll. yang menimbulkan risiko integritas data. Berdasarkan keadaan organisasi saat ini, buatlah rancangan arsitektur data secara high level yang dibutuhkan sesuai dengan inisiatif peningkatan pengelolaan data di masa mendatang! 41