BLOG TEKNOLOGI INFORMASI KOMPUTER

Tegal | 16 Mei 2021  Asssalamu Alaikum warahmatullah Wabarokatuh Hai teman-teman, selamat datang kembali di modul ketiga dari data science and technology series, yaitu modul teknologi dan manajemen big data. Sebelumnya kita sudah belajar seperti apa cara kerja Hadoop secara simple . Di bagian ini kita akan masuk ke penjelasan mengenai profesi yang berkaitan dengan Hadoop itu sendiri. Sudah siap? Mari kita mulai. Berikut adalah chart yang mengilustrasikan tren pekerjaan yang membutuhkan kemampuan Hadoop dari tahun ke tahun, jadi disini bisa dilihat bahwa untuk data base, Hadoop tetap menjadi demand-nya paling tinggi, kemudian ada mongodb. Kalau di Indonesia, sepertinya ini akan masih terus growing, karena sebenarnya teknologi big data belum sampai ke titik majority atau titik matang untuk landscape industri di Indonesia. Kemudian untuk implementasi Hadoop itu sendiri, seperti yang sudah saya ceritakan.   Hadoop itu adalah technology distributed computing yang ada di layer bawah, ka

 Assalamu Alaikum Warahmatullah Wabarokatuh Pengenalan Apache Hadoop Ecosystem   Hai teman-teman, selamat datang kembali di modul data science and technology series, yang berjudul teknologi dan manajemen big data.   Setelah sebelumnya kita belajar mengenai Hadoop architecture, sekarang kita akan mencoba untuk meng-install single-node cluster Hadoop dengan menggunakan VirtualBox dan Cloudera QuickStart Virtual Machine.   Tapi sebelumnya, saya jelaskan dulu ya sedikit mengenai Apache Hadoop Ecosystem, karena ada banyak sekali tools yang berhubungan dengan projects Hadoop di Apache. Kita mulai dulu dengan basic-nya, supaya nanti ketika prakteknnya lebih mudah dipahami, sudah siap? Mari kita mulai.   Sebelum membahas apa ciri Hadoop Ecosystem, mungkin kita perlu tahu dulu apa itu Apache Project? Seperti bisa dilihat di sini Hadoop adalah salah satu Project yang dikembangkan oleh Apache Software Foundation, jadi di dalam project.apache.org ini ada macam-macam project yang

  Assalamu Alaikum waramatullah wabarokatuh; Hai teman-teman, selamat datang kembali di modul ketiga dari data science and technology series, yaitu modul teknologi dan manajemen big data. Di bagian sebelumnya, kita telah belajar tentang Cluster dan nodes. Di bagian ini kita akan melanjutkan mengenai HDFS dan MapReduce. Sudah siap? Mari kita mulai. Seperti yang sudah saya ceritakan sebelumnya, dua komponen utama dari Hadoop adalah Hadoop distributed file system atau HDFS dan MapReduce. HDFS ini seperti sejarahnya terinspirasi dari GFS atau Google file system dan tujuan dari HDFS adalah untuk mengurusin storage atau penyimpanan data, data ini bisa berupa macam-macam files.  Bagaimana dengan MapReduce? MapReduce ini terinspirasi dari MapReduce algorithm yang dibuat oleh Google. Tujuannya adalah untuk mengurus data processing-nya. Jadi HDFS untuk storage-nya, MapReduce untuk processing. Bagaimana cara kerja Hadoop? Seperti video yang sudah ditunjukan dibagian sebelumnya, kita mengenal kons

 Assalamu Alaikum waramatullah wabarokatuh; Pengantar Hadoop Hai teman-teman, selamat datang kembali di modul ketiga dari data science and technology series, yaitu modul teknologi dan manajemen big data. Di sesi ini, kita akan masuk ke penjelasan mengenai apa itu Hadoop ? Di bagian pertama ini kita akan membahas dulu mengenai motivasi di belakang penggunaan Hadoop dan sejarahnya. Bagaimana Hadoop muncul, Sudah siap? Mari kita mulai. Teman-teman pasti masih ingat dengan “3V’s of Big data” yang mencirikan kondisi data di zaman sekarang, yaitu volumenya besar, velocity atau kecepatan data dihasilkan juga begitu cepat dan variety atau macam-macam bentuk data. Data-data yang banyak dan bermacam-macam ini, dihasilkan oleh bukan hanya manusia tetapi juga device atau sensor.  Contoh dari human generated data misalkan email, foto, teks dan video , seperti yang kita upload di YouTube atau tetap posting di Facebook . Ada juga mesin generated data yang juga sebenarnya termasuk dalam big data, co

Asslamu Alaikum Warohmatullah Wabarokatuh Pengertian Cluster And Node Hadoop Selain tadi tentang Hadoop Cluster, ada juga konsep data Warehouse dan data lake. Bedanya apa? Kalau  data Warehouse itu lebih berpegang kepada skema-skema database yang structure, sedangkan kalau data lake dia berpegang pada skema database yang semi-structure atau un-structure, walalupun sebenarnya dia juga bisa dipakai untuk yang structure. Kemudian data Warehouse ini dipakai oleh bisnis professional, jadi dia bisa langsung dianalisis, sedangkan kalau data lake, dia biasanya digunakan oleh data Scientist, karena data Scientist akan melakukan pemrosesan lanjutan, supaya inside dari data lake bisa diambil. Jadinya ilustrasinya seperti ini, secara umum sebenarnya kita sudah mengalami semua ini, jadi ada data sources, kemudian kita melakukan akuisisi, kemudian kita simpanan dan kita analisis. Kalau untuk data Warehouse, datanya semua structure, kemudian di acquire dengan ETL (Extract Transformer Load), kemud