Asslamu Alaikum Warohmatullah Wabarokatuh
Selain tadi tentang Hadoop Cluster, ada juga konsep data Warehouse dan data lake. Bedanya apa? Kalau data Warehouse itu lebih berpegang kepada skema-skema database yang structure, sedangkan kalau data lake dia berpegang pada skema database yang semi-structure atau un-structure, walalupun sebenarnya dia juga bisa dipakai untuk yang structure.
Kemudian data Warehouse ini dipakai oleh bisnis professional, jadi dia bisa langsung dianalisis, sedangkan kalau data lake, dia biasanya digunakan oleh data Scientist, karena data Scientist akan melakukan pemrosesan lanjutan, supaya inside dari data lake bisa diambil. Jadinya ilustrasinya seperti ini, secara umum sebenarnya kita sudah mengalami semua ini, jadi ada data sources, kemudian kita melakukan akuisisi, kemudian kita simpanan dan kita analisis.
Kalau untuk data Warehouse, datanya semua structure, kemudian di acquire dengan ETL (Extract Transformer Load), kemudian masuk ke data Warehouse. Kalau dengan data yang unstructured atau semi structures seperti ini, ada teks, ada sensor, ada sosial media data, kita perlu acquire dengan toolstools yang berbeda, yaitu disebut juga sebagai project di Apache.
Kemudian, dia perlu di store dengan skema berbeda juga, makanya ada HDFS, kemudian ada Cassandra atau H Base, kemudian mereka juga akan dianalisis dengan cara yang berbeda. Kita akan go-true masingmasing ini apa? Spark itu apa, Cloudera Impala itu apa, Hive itu apa? Tapi pada intinya, kita mau tidak mau harus menjalankan keduanya berdampingan, jadi yang structure tetap dijalankan dengan prinsip data warehouse, kemudian yang unstructured tetap harus disimpan dan diproses dengan menggunakan skema yang Hadoop.
Berdasarkan video tadi, kita juga sebenarnya sudah bisa melihat, teknologi Hadoop memiliki beberapa manfaat, diantaranya dia bisa skills horizontally artinya dia bisa ditambah secara horizontal, ini akan menghemat dari segi pembelian atau ongkos, kemudian dia bisa meng-handle and structure atau Semi structure data. Kenapa? Karena Hadoop prinsip data lake, jadi seperti danau, masuk saja ke danau, kita tidak paksakan satu skema spesifik untuk data yang disimpan, kemudian dia juga profess storage and computing, jadi ide utamanya adalah satu nude bisa digunakan untuk storage dan processing bersamaan. Kemudian, satu hal lagi adalah resistant to hardware failure. Jadi, seiring perkembangan teknologi kita tahu bahwa semakin sering kita mengalami hardware failures, itu tak terelakkan. Hadoop itu membantu karena node-nya adalah mesin sendiri-sendiri, kemudian dia punya sistem yang meng-copy, jadi semua file yang kita punya di copy, by default 3 kali dan ditaruh di node yang berbeda. Jadi kalau ada apa-apa, kemungkinan untuk kehilangan data, akan menjadi sangat kecil, karena kita punya back-up di node yang berbeda.
Barusan kita mempelajari mengenai simple basic architecture tentang Hadoop. Selanjutnya kita akan membahas lebih detail mengenai HDFS dan MapReduce.
Wasslamu Alaikum Warohmatullah Wabarokatuh
Kota Tegal ,21 April 2021
#Google #Bigdata #opensource #2021 #April #blogger #hadoop
Terima kasih dan sampai jumpa.