Untuk kamu yang pernah mencari lowongan kerja pasti tidak asing dengan salah satu platform populer yaitu LinkedIn. Kamu juga mungkin menyadari atau bahkan menggunakan berbagai fitur di platform LinkedIn untuk memudahkan berjejaring dan menemukan peluang pekerjaan yang sesuai dengan karier yang kamu impikan. Namun walaupun sering menggunakannya, mungkin kamu selama ini tidak menyadari bahwa beragam fitur yang ada di LinkedIn itu merupakan hasil dari penggunaan big data yang jadi bagian dari pekerjaan data engineer.
LinkedIn pertama kali dirilis di tahun 2003 dan dari awal kemunculannya memang didesain sebagai sosial media para profesional untuk berjejaring dan berbagi. Seperti kebanyakan platform online lainnya, LinkedIn juga mengolah data penggunanya yang sangat banyak untuk menjadi bahan dalam pembuatan berbagai fitur. Ada beberapa fitur yang pasti kamu sudah tidak asing karena menjadi fitur khas dari LinkedIn seperti ‘People You May Know’, ‘Skill Endorsement’, hingga ‘Jobs You May be Interested In’.
Penasaran bagaimana LinkedIn menerapkan big data untuk kesuksesan bisnisnya? Dan apa saja peran pekerjaan data engineer untuk pengelolaan big data? Simak artikel ini sampai akhir!
Penerapan Big Data di LinkedIn
Awalnya LinkedIn akan merekam berbagai data dari profil para penggunanya untuk dikirimkan ke dalam sistem yang bernama Hadoop Distributed File System (HDFS). Sistem ini yang akan mengolah pemrosesan data dan menyimpan data untuk aplikasi big data. Lalu, LinkedIn akan mengumpulkan seluruh data dari lebih 50 data follow offline untuk dilakukan proses batch processing melalui database Teradata. Dengan dataset yang terus berkembang, LinkedIn perlu membangun sejumlah infrastruktur data agar tetap berjalan optimal. Berikut beberapa hal yang sudah diterapkan LinkedIn berkaitan dengan big data:
- Otomatisasi workflow = LinkedIn melakukan otomatisasi workflow dengan Azkaban yaitu tool open source yang bekerja di dalam Hadoop
- ETL = ETL atau extract transform load yaitu membantu mengumpulkan data dari berbagai macam database ke sistem Hadoop
- Ad-hoc querying language = LinkedIn memakai Spark SQL, Scala, Hive SQL, dan Trino
- Metric framework = LinkedIn memakai unified metrics platform untuk membangun, mempertahankan, dan mengelola berbagai dataset metrics yang memudahkan pekerjaan data engineer membuat metric sendiri dalam platform sentral.
- Reporting = LinkedIn membangun platform reporting internal-nya sendiri dengan Retina
Selain itu, LinkedIn juga menambahkan Dagli yaitu machine learning library untuk Java yang sifatnya open source untuk sistem pengelolaan big data yang LinkedIn punya. Lewat proses pengolahan data yang dilakukan oleh data talent seperti data engineer tadi muncul berbagai fitur LinkedIn yang biasa kamu gunakan, diantaranya:
People You May Know
Melalui fitur People You May Know, kamu bisa menemukan rekomendasi koneksi berdasarkan asal kantor, asal kampus, hingga profesional dalam bidang yang mirip dengan kamu. LinkedIn menggunakan Hadoop batch processing untuk memfilter lebih dari 950 juta pengguna mereka untuk bisa memberikan rekomendasi yang tepat untuk kamu. LinkedIn mengumpulkan banyak sekali data dari masing-masing penggunanya mulai dari data pengaturan browser, detail info login, hingga profil orang yang pernah kamu kunjungi untuk menjadi pertimbangan dalam menentukan koneksi yang menarik untuk kamu.
Skill Endorsement
Walaupun tampak sederhana, fitur skill endorsement ini juga membutuhkan pengelolaan big data yang kompleks. Tim data talent LinkedIn harus melakukan pemetaan sehingga endorsement ini bisa muncul dalam filter profil akun, filter pencarian LinkedIn, grup, dan berbagai interaksi lainnya.
Job You May be Interested In
Menurut data dari LinkedIn, saat ini ada lebih dari 63 juta perusahaan tercatat di sistem mereka dan 61 juta orang aktif mencari pekerjaan tiap minggunya. Menggunakan machine learning dan regresi, LinkedIn mengelola informasi dari kandidat dan lowongan dari perusahaan untuk memberikan rekomendasi dengan urutan paling sesuai. Tak hanya data dari profil yang dipertimbangkan oleh machine learning, LinkedIn juga mencatat lokasi user hingga perkembangan kariernya agar rekomendasi yang diberikan bisa sesuai dengan yang user inginkan baik dari segi lokasi kantor hingga jenjang kariernya.
Job You May be Interested In
Jika kamu pernah mencari topik, pekerjaan atau profil seseorang di LinkedIn, pasti kamu juga menyadari bahwa kamu bisa menggunakan fitur filtering informasi dengan sangat detail supaya hasil pencarian yang kamu dapatkan bisa lebih spesifik dan akurat. Tentunya, hal ini tidak mungkin dilakukan jika LinkedIn tidak mengelola big data mereka dengan terstruktur.
Pekerjaan Data Engineer dalam Penerapan Big Data LinkedIn
Dari study case LinkedIn kita bisa tahu bahwa big data memiliki peran yang sangat besar dalam pengembangan bisnis apalagi bisnis digital seperti LinkedIn. Tentunya, di balik penerapan big data yang rumit seperti yang dilakukan LinkedIn ada sosok data talent yang bertugas untuk mengolah big data, salah satu sosok yang berperan penting adalah data engineer. Berikut beberapa pekerjaan data engineer dalam penerapan big data:
Pekerjaan Data Engineer: Mengumpulkan dan Mengolah Data
Pekerjaan data engineer yang pertama dalam penerapan big data adalah mengumpulkan dan mengolah data dari berbagai macam sumber. Seperti yang dijelaskan sebelumnya, agar LinkedIn bisa menciptakan fitur-fitur yang baik itu membutuhkan pengumpulan dan pengelolaan data yang optimal. Selanjutnya data yang sudah dikumpulkan dan dikelola harus dirapikan berdasarkan jenisnya.
Pekerjaan Data Engineer: Data Cleaning
Tentunya data yang dikelola LinkedIn itu sangat banyak dan pastinya ada yang masih dalam bentuk data mentah yang terdapat anomali data, tipe data yang tidak sesuai, hingga duplikasi data. Nah, pekerjaan data engineer adalah membersihkan data yang masih mentah atau biasa disebut raw data menjadi data yang rapi dan siap digunakan.
Baca juga: Ini Data Engineering Certificate yang Dilirik HR
Pekerjaan Data Engineer: Pengembangan Data Warehouse
Pekerjaan data engineer selanjutnya adalah mengembangkan data warehouse dengan mengelola sekumpulan data menggunakan bantuan tools dan software agar memudahkan akses menuju informasi, menambah wawasan big data, hingga mempercepat query-response times.
Memastikan Ketersediaan Machine Learning
Selanjutnya pekerjaan data engineer adalah memastikan ketersediaan machine learning yang sudah dirancang oleh data scientist di storage. Proses ini juga didukung dengan pekerjaan data engineer lainnya yaitu pengelolaan sumber daya komputasi hingga persiapan alat pemantauan machine learning.
Kamu yang ingin mulai belajar skill di bidang data engineer, bisa mulai belajar skill ini untuk mendapat kesempatan berkarier di bidang ini. Kamu bisa mulai belajar di kelas data engineer Digital Skola. Di Bootcamp Data Engineer dari Digital Skola kamu akan dapatkan kurikulum terstruktur sesuai kebutuhan industri dan fasilitas lengkap penunjang karier seperti:
- Data Engineer Job Connector
- Pembuatan 8 portofolio
- 1on1 career counseling with HR Expert
- Professional Branding
- Konsultasi tutor di luar kelas
Cari tahu info lengkapnya dengan klik button di bawah ini!