Data engineer saat ini menjadi profesi yang kian menjanjikan. Berbagai report menunjukkan bahwa prospek pekerjaan di bidang ini kian meningkat dari tahun ke tahun. Tidak hanya para profesional yang ingin berpindah karier, para mahasiswa pun mungkin telah melirik profesi ini sebagai karier masa depan. Hal ini membuat pertanyaan mengenai data engineer jurusan apa, menjadi topik yang menarik untuk dibahas. Mari kulik selengkapnya di artikel berikut.
Tentang Profesi Data Engineer
Sebelum masuk ke rekomendasi jurusan kuliah untuk menuju karier data engineer, kamu harus tahu terlebih dahulu apa yang dimaksud dengan profesi data engineer. Seorang data engineer membangun pipeline informasi untuk mendapatkan data yang tepat dari sumber-sumber terbaik kepada orang-orang yang tepat. Singkatnya, data engineer mengekstraksi data, mengubahnya, dan mengangkut data ke dalam data warehouse yang dapat diakses orang-orang yang berkepentingan — proses tersebut disebut sebagai ETL alias extract, transform, load.
Dalam menjalankan tugas sehari-hari, seorang data engineer bisa jadi terlibat dalam proyek pengembangan berskala besar, atau fokus hanya pada aspek-aspek khusus, seperti membuat script untuk menarik data tentang aktivitas pengguna untuk kemudian dirapikan agar bisa digunakan oleh tim marketing. Dalam prosesnya, seorang data engineer juga sering kali bekerja sama dengan data scientist yang biasanya mengakses dan merapikan informasi di dalam data.
Baca juga: Cara Mendapatkan Big Data Certification
Apa Saja Tugas Seorang Data Engineer?
Tugas masing-masing data engineer tidak selalu sama, bahkan di dalam tim yang sama sekalipun. Hanya saja, tugas-tugasnya bisa dikategorikan ke dalam tiga kelompok berdasarkan sebagai berikut:
Generalist data engineer
Untuk perusahaan yang skalanya lebih kecil, biasanya data engineer-nya masih generalis dan merangkap tugas sebagai data scientist. Biasanya, seorang data engineer generalis menangani seluruh pipeline informasi end-to-end.
Pipeline data engineer
Kemudian ada juga data engineer yang fokus di pipeline, yang biasanya paling banyak ditemukan di perusahaan berskala menengah hingga besar. Sebab, semakin besar skala perusahaan, semakin besar dan kompleks kebutuhan datanya. Untuk pipeline data engineer sendiri, mereka bekerja sama dengan tim data science untuk mengubah data perusahaan ke dalam format yang dapat dianalisis. Oleh karena itu, data engineer di sini harus memiliki pemahaman dan keahlian mendalam mengenai ilmu komputer agar dapat menjalankan tugasnya.
Database data engineer
Berikutnya adalah data engineer yang fokus pada database, mulai dari membangun database, memasukkan data ke dalamnya, hingga mengelola analytics database. Terkadang database data engineer juga bersinggungan dengan pipeline, namun fokus utamanya adalah membuat database yang paling fungsional dan kemudian melakukan memolesnya agar performa database semakin cepat.
Database data engineer ini paling umum ditemukan di perusahaan dengan skala besar, di mana peran analytics database menjadi semakin krusial. Akibatnya, database membutuhkan tim khusus untuk pengelolaan dan maintenance-nya. Dan karena peran ini membutuhkan pekerjaan yang sangat terspesialisasi, data engineer dengan tugas ini harus memiliki skill teknis yang sangat kuat serta mendalam.
Data Engineer Jurusan Apa?
Sampai di sini, kamu mungkin sudah mendapatkan gambaran yang lebih jelas bahwa profesi dan peran seorang data engineer juga membutuhkan background pendidikan yang solid. Oleh karena itu, kamu yang ingin menjadi jadi data engineer perlu memilih jurusan yang sesuai untuk membekalimu dengan berbagai skill penting sebagai data engineer, terutama skill teknis.
Jika demikian, untuk menjadi data engineer jurusan apa ya yang paling mendukung? Berdasarkan rekomendasi dari Western Governors University, berikut beberapa jurusan yang disarankan untuk menjadi data engineer:
Teknik Informatika
Data engineering adalah bidang ilmu yang sangat dekat dengan pemrograman. Untuk menjalankan peran data engineer, kamu perlu menguasai workflow programming, menguasai berbagai bahasa pemrograman seperti Python, SQL hingga Java. Kamu juga harus memahami mengenai database. Dengan demikian, jurusan atau program studi teknik informatika menjadi pilihan yang tepat untuk mendukung karier data engineer.
Ilmu Komputer
Kurikulum program studi ilmu komputer bisa jadi berbeda di berbagai universitas. Meski demikian, pada umumnya di program studi ini, kamu akan belajar beberapa topik terkait data engineering seperti algoritma dan data structures, artificial intelligence dan robotics, database dan information retrieval, human-computer communication, numerical dan symbolic computation, dan sebagainya. Beberapa keahlian ini yang akan sangat mendukung kompetensimu sebagai seorang data engineer.
Software Development
Jurusan kuliah lainnya yang juga bisa membantumu meraih karier data engineer adalah software development. Program studi ini pada umumnya mengajarkan hal-hal seperti mendasar mengenai pemrograman komputer, pengembangan web hingga aplikasi. Skill-skill ini melibatkan penguasaan programming yang kuat dan sangat mendukung keahlian seorang data engineer professional.
Data Analytics
Program studi atau jurusan kuliah yang juga akan sangat membantu roadmap data engineer adalah program studi data analytics. Pada umumnya, di program studi ini kamu akan belajar berbagai skill teknis yang dibutuhkan oleh data engineer seperti analisis data, pengembangan software, database principles, data visualization, business data analytics, data mining, hingga forecasting dan predictive modeling.
Fisika
Carol College menyebut fisika seperti ‘liberal art’ dalam dunia teknologi yang berarti jurusan ini memungkinkan alumninya untuk bekerja di berbagai bidang mulai dari computer science, engineering hingga research and development. Melalui perkuliahan di program studi fisika, kamu akan terlatih dalam skill matematika, membuat model, dan problem solving yang kuat. Dengan demikian, jurusan ini dapat menjadi bekal yang ideal untuk masuk ke dunia data engineer.
Baca juga: Data Analyst VS Data Scientist VS Data Engineer
Cara Jadi Data Engineer Tanpa Background Linear
Faktanya, kini di industri untuk bisa jadi data engineer tidak wajib memiliki latar belakang IT atau latar belakang linear, karena yang terpenting kamu menguasai skill dan memiliki portfolio. Berikut penjelasan lengkapnya:
Kuasai Skill
Hal utama yang bisa membawa kamu menjadi data engineer meski tidak memiliki background linear adalah skill yang mumpuni. Untuk jadi data engineer setidaknya kamu harus menguasai skill:
Bahasa Pemrograman Dasar, dalam mengerjakan tanggung jawabnya seorang data engineer harus bisa menguasai beberapa bahasa pemrograman dasar seperti Scala, Java, Python, dan SQL. Kemampuan pemrograman ini nantinya akan digunakan untuk mengakses, mengambil data, menjalankan query, hingga menghapus berbagai data yang tidak diperlukan di dalam database.
System Scripting, kemampuan ini berguna agar data engineer bisa membuat data menjadi lebih mudah dibaca dan diproses agar kode yang dibuat juga bisa langsung dijalankan sebagai program.
Pengetahuan Algoritma, kemampuan ini berguna untuk membantu data engineer memahami fungsi data organisasi secara keseluruhan dan menentukan checkpoints dari masalah bisnis yang sedang dihadapi perusahaan.
Struktur Database, data engineer sehari-harinya akan berkutat dengan pemindahan data ke database, oleh karena itu data engineer mampu menguasai struktur database menggunakan teknologi database SQL dan NoSQL.
Cloud Computing, kemampuan ini berguna untuk mengakses dan menyimpan data dari berbagai lokasi serta platform untuk selanjutnya dianalisis dan di-query. Skill cloud computing yang kini paling banyak dicari oleh industri adalah penguasaan Apache Spark dan Amazon Web Services.
ETL, data engineer harus bisa melakukan integrasi data yang menggabungkan data dari banyak sumber untuk dipindahkan ke satu penyimpanan. Proses ETL ini meliputi:
- Extract = Mengumpulkan data dari berbagai sumber seperti dokumen, email, aplikasi dan lain sebagainya
- Transform = Data dibersihkan dan diubah ke format standar agar bisa disimpan di database
- Load = Data yang formatnya sudah sesuai dipindahkan ke database tujuan
Tools yang harus dikuasai untuk proses ETL adalah Snowflake, Apache Airflow, Apache Spark, Apache Kafka, dan SQL Server.
Machine Learning, data engineer perlu pengetahuan dasar soal machine learning untuk memahami kebutuhan data scientist dan perusahaan. Nantinya data engineer akan mengambil model yang dikembangkan oleh data scientist lalu mengubahnya menjadi sistem produksi langsung.
API, data engineer bertugas membangun API dalam basis dalam agar data scientist, business intelligence, dan data analyst melakukan query data.
Siapkan Portfolio
Selain skill kamu juga harus menyiapkan portfolio untuk bisa berkarier jadi data engineer. Fakta menariknya, ada beberapa riset penting terkait pentingnya portfolio:
- Survey Linkedin = Profile Linkedin yang mencantumkan portfolio 71% lebih dilirik oleh recruiter
- Workfolio = 56% recruiter lebih tertarik melihat portfolio dibanding berkas lamaran lainnya
Ada beberapa rekomendasi project yang bisa kamu praktikan untuk jadi bahan portfolio data engineer:
- Data modeling = Membuat modelling pada berbagai streaming platform seperti album dan lagu yang disukai pengguna, genre yang sering didengarkan, hingga playlist yang masuk ke user library
- Data warehouse = Membuat project mengumpulkan data dari sumber-sumber yang bersifat heterogen dan mengubahnya menjadi format standar
- Data lake = Membuat project data lake menggunakan tools seperti Apache Spark dengan fungsi ETL agar hasil data jadi jauh lebih menarik
- Data integration = Membuat project menggunakan Google platform dengan real-time streaming dan batch loads
- Forecasting = Membuat project perkiraan permintaan pasar dalam berbagai aspek seperti produk, pelangga, hingga tujuan di masa yang akan mendatang
Belajar Secara Otodidak atau Ikut Pelatihan
Sebenarnya kamu bisa belajar secara otodidak atau ikut pelatihan untuk bisa menjadi data engineer tanpa latar belakang linear. Tentunya masing-masing pilihan tersebut punya kekurangan dan kelebihan, kira-kira seperti ini kelebihan belajar otodidak:
- Biaya lebih murah
- Waktu dan tempat belajar fleksibel
- Melatih skill time management
Sedangkan, kekurangan belajar otodidak seperti ini:
- Sulit mencari bahan belajar
- Pembelajaran kurang komprehensif
- Tidak ada mentor yang bisa memberi feedback
Lalu, jika kamu memilih untuk belajar dengan mengikuti pelatihan berikut kelebihannya:
- Kurikulum komprehensif
- Dapat bimbingan dari tutor expert
- Bahan ajar sudah disediakan sesuai kebutuhan industri
- Bisa praktik langsung untuk bahan portofolio
Sedangkan, kekurangan mengikuti pelatihan seperti ini:
- Biaya relatif mahal
- Waktu belajar sudah ditentukan
Jika kamu tertarik untuk belajar secara otodidak, kamu bisa memanfaatkan beberapa sumber belajar gratis seperti:
- YouTube = Martin Kleppmann dan PyData
- Blog = KDNuggets, The Netflix Tech Blog, Pinterest Engineering
- Podcast = Data Engineering Podcast dan Software Engineering Daily
Sedangkan, jika kamu tertarik untuk ikut pelatihan kamu bisa ikut bootcamp dari Bootcamp Data Engineer Digital Skola.
Jadi Data Engineer dari Background Apapun
Jika kamu memiliki ijazah sarjana atau malah master di bidang yang lain atau jauh dari dunia IT, apakah artinya kamu tidak bisa menjadi seorang data engineer? Sebut saja, kamu adalah lulusan jurusan ilmu ekonomi, akuntansi, sastra Inggris, ilmu pertanian, hukum, atau jurusan lainnya yang jauh dari dunia data maupun IT. Untuk kamu yang menghadapi situasi serupa, tak perlu khawatir karena ternyata ada cara lain yang bisa kamu lakukan untuk menjadi seorang data engineer tanpa harus kuliah di jurusan computer science, IT, atau jurusan terkait.
Bahkan cara ini sebenarnya juga sudah dilakukan banyak orang yang melakukan career switch, bahkan di bidang yang jauh berbeda. Kamu bisa memulai perjalanan menjadi data engineer dengan mengikuti program bootcamp. Lewat program ini, kamu berkesempatan untuk belajar data engineering mulai dari 0 secara intensif. Salah satu bootcamp data engineering terpercaya yang bisa kamu ikuti adalah Digital Skola. Di kelas ini kamu akan mendapatkan materi sesuai kebutuhan industri dan fasilitas lengkap yang akan membantumu meraih karier sebagai data engineer. Berikut materi yang akan kamu pelajari:
- Basic Programming with Python
- Linux/Unix & System Administration
- Database SQL & NoSQL
- Kubernetes
- Basic Java
- Hadoop Fundamentals & Operations
- Git & Github
- Airflow as Data Orchestration Tools
- MapReduce
- API
- Machine Learning
- Kafka
- Object-Oriented Programming (OOP)
Materi-materi tersebut tentunya sudah disesuaikan dengan kebutuhan industri saat ini dan tools yang kamu pelajari juga merupakan tools populer yang sedang banyak digunakan di industri. Selain materi, kamu juga akan mendapatkan bimbingan untuk membuat portofolio, berikut contoh portfolio alumni kelas Data Engineer di Digital Skola:
- Fibonacci Function dan Spark Data Analysis
- Airflow Orchestration, Rest API dan MapReduce
- Python Algorithm dan ETL (Web Scraping to PostgreSQL)
Dengan materi, portfolio, hingga fasilitas lain yang menunjang karier terbukti banyak alumni Digital Skola yang kini sukses berkarier jadi data engineer meski bukan datang dari latar belakang IT. Contohnya alumni Digital Skola yaitu Dedi Kurniawan yang memiliki latar belakang Pendidikan Geologi berhasil switch career ke bidang data bersama Digital Skoka. Dedi berhasil menguasai skill yang dibutuhkan sekaligus mempersiapkan diri sebagai data talent profesional sehingga berhasil meraih karier di bidang data.
Selain itu, ada juga alumni Digital Skola yaitu M. Bramansyah yang berhasil switch career dari data analyst jadi data engineer di Klik Digital Sinergi berkat skill yang dipelajari di Digital Skola. Menurutnya, setelah mengikuti Bootcamp Data Engineer di Digital Skola ia merasakan banyak manfaat mulai dari technical skill, professional branding hingga sesi softskill yang berperan untuk meraih kariernya sebagai data engineer.
Simak info lengkap mengenai Success Story Alumni Digital Skola dengan klik link DI SINI. Penasaran ingin tahu lebih lanjut mengenai program ini? Klik tombol di bawah.
