Tegal | 16 Mei 2021
Asssalamu Alaikum warahmatullah Wabarokatuh
Hai teman-teman, selamat datang kembali di modul ketiga dari data science and technology series, yaitu modul teknologi dan manajemen big data. Sebelumnya kita sudah belajar seperti apa cara kerja Hadoop secara simple.
Di
bagian ini kita akan masuk ke penjelasan mengenai profesi yang berkaitan dengan
Hadoop itu sendiri. Sudah siap? Mari kita mulai. Berikut adalah chart yang
mengilustrasikan tren pekerjaan yang membutuhkan kemampuan Hadoop dari tahun ke
tahun, jadi disini bisa dilihat bahwa untuk data base, Hadoop tetap menjadi
demand-nya paling tinggi, kemudian ada mongodb. Kalau di Indonesia, sepertinya
ini akan masih terus growing, karena sebenarnya teknologi big data belum sampai
ke titik majority atau titik matang untuk landscape industri di Indonesia.
Kemudian untuk implementasi Hadoop itu sendiri, seperti yang sudah saya
ceritakan.
Hadoop itu adalah technology distributed
computing yang ada di layer bawah, karena dia banyak sekali configuration
filesnya, jadi ada banyak perusahaan yang menjadi distributor dari Hadoop.
Tujuan mereka adalah seperti yang dilakukan salah satunya oleh cloudera, mereka
membuat 1 package, satu Framework yang didalamnya sudah terdapat teknologi
Hadoop dan beberapa proyek yang lain, seperti layer, misalkan ini kalau scoop
dan flume itu untuk accusation, kemudian ada Pig and Hive, itu untuk analisis
dan sebagainya. Jadi cloudera ini membungkus semuanya dan kemudian memberikan
user interface yang lebih mudah dipahami. Karena, kemudian dibutuhkan ke
mampuan khusus, misalkan kalau ini teknologi cloudera, berarti dia harus
belajar bagaimana caranya melakukan administration dengan cloudera misalkan.
Jadi banyak sekali pekerjaan di bidang Hadoop yang kemudian meminta spesifik,
Kamu juga harus bisa skill menggunakan cloudera misalkan. Seperti interface
system yang lain, ada dua type user untuk Hadoop jadi ada yang menjadi
administrator, kemudian ada yang menjadi end user. Bedanya apa? Untuk mereka
yang sering disebut sebagai big data engineer atau kadang-kadang big data
administrator, mereka pada dasarnya adalah engineer yang bertanggung jawab pada
instalasinya, jadi inspirasi Hadoop dan apapun package yang dibutuhkan,
kemudian untuk me-manage atau memonitor sistemnya, kemudian tuning the system,
karena ke merun by application, berarti sering kali kita fine tune sedikit
disana dan disini, dan itu perlu pengetahuan infrastructure. Tipe user yang
lain adalah end user.
Kalau end user ini dia bertanggung jawab untuk
men-design application, jadi misalkan untuk menganalisis berapa kali kata
“korupsi” mucul dipostingan media social, jadi itu adalah tugas end user, yang
sebenarnya mereka juga perlu memiliki kemampuan IT, setidaknya mereka bisa
programming dan bisa SQL.
Kemudian mereka juga bertugas melakukan
impor-ekspor data, karena bagaimanapun semua data yang distributed di dalam
Hadoop, kita harus bisa mengimpor dan mengekspornya dan kemudian menarik
inside-nya, kemudian dia juga bisa work with tools. Usage area-nya ada
bermacam-macam, jadi tentu saja yang pertama adalah search engine, karena dia
akan dimulai oleh si Google dan si Yahoo, kemudian ada sosial media, Facebook
adalah salah satu pengguna terbesar dari Hadoop, kemudian ritel, kita bisa
lihat Amazon, e-bay, mereka juga menggunakan Hadoop, kemudian financial
Services tentu saja, karena mereka punya banyak sekali transaction data dan
kemudian perlu melakukan banyak sekali analisis. Karena government, karena government
data memang besar dan kemudian kita butuh menarik banyak inside, contohnya
Federal Reserve Board kalau di US, dan kemudian ada juga banyak insdustri lain.
Contoh aplikasinya, teman-teman sudah tahu jadi misalkan targeted
advertisement, kita tahu behavior usage-nya dengan lebih baik, kita bisa
memberi rekomendasi yang lebih baik.
Kalau
search engine, kita bisa melakukan grouping dari related documents, karena
kadang-kadang kita typo, karena sesuatu. Jadi kita bisa lihat pattern dan bisa
lakukan grouping, kemudian kita bisa melakukan detection, misalkan security,
email yang spam seperti apa pattern-nya. Untuk peluang kerja, karena
aplikasinya begitu banyak, tentu saja sebenarnya kita bisa mengaplikasikan
skill big data kita ke mana-mana. Jadi ini adalah contoh perusahaan yang biasa
kita lihat, ini kebanyakan dari luar negeri (multinational companies) mereka
menggunakan big data semua. Ada banking, retail, technology, media, kemudian
ada supermarket, hypermarket dan sebagainya. Barusan kita membahas mengenai
profesi yang berhubungan dengan Hadoop. Di sesi berikutnya kita akan membahas
lebih dalam mulai dari Apache Hadoop Ecosystem dan project-project apa saja
yang ada didalamnya.
Terima
kasih dan sampai jumpa
#Hadoop #Bigdata #Hadoop #linux #tegal #tegalcomputer #database
Wsssalamu Alaikum warahmatullah Wabarokatuh