Menebar sejuta manfaat
Jan 24 2008

rss + web crawler = web clipper

oke…. setelah sekian lama berberat-berat ria dengan tulisan-tulisan berat macam:

sekarang saatnya kembali lagi ke kompetensi murni saya sebagai orang IT. Kalau memang ingin menjadi SDM IT yang benar-benar expert, maka saya juga harus menguasai aspek-aspek teknis dari IT itu sendiri, sesuai dengan tulisan saya disini: SDM IT yang gak suka IT vs SDM non IT yang cinta IT . Kalau tidak saya cuma akan jadi sapi ompong yang keras suara lenguhannya tapi gak bisa menggigit :) Oleh karena itu kali ini saya ingin menulis sesuatu yang menyentuh ke aspek teknis dari suatu teknologi dibidang internet, yaitu web clipper. Tentunya disini saya tidak akan membahasakannya dengan segala macam kode-kode aneh yang tidak Anda mengerti. Saya akan menjelaskkanya dengan bahasa manusia, jadi ya… teknis tapi gak teknis-teknis amat :)

Apa itu web clipper? Kalau dilihat dari judulnya dapat dilihat bahwa web clipper bisa dibilang merupakan kombinasi dari dua jenis teknologi web yang berbeda yaitu RSS (Really Simple Syndication) dan web crawler. Sebelum masuk ke penjelasan tentang apa itu web clipper, saya akan menjelaskan sedikit tentang dua teknologi yang saya sebutkan diatas,

RSS (Really Simple Syndication), merupakan sebuah teknologi untuk menarik konten dari suatu situs ke situs kita sendiri. Contoh: csui05 blog aggregator (merupakan aggregator blog teman-teman saya di fasilkom UI 2005). Situs tersebut menarik konten blog dari semua teman saya satu angkatan untuk ditampilka disitus tersebut. Blog ini juga termasuk blog yang di-aggregate (ditarik konten tulisannya) di situs tersebut. Supaya konten tulisan dari suatu situs dapat ditarik, maka situs tersebut harus mengaktifkan fitur RSS-nya, kebanyakan blog engine (wordpress, blogger dll) yang beredar dijagad maya saat ini sudah memiliki fitur RSS sehingga semua blog tersebut bisa di-aggregate. Untuk dapat menarik isi sebuah situs kedalam situs yang kita buat, kita cukup meng-copy link RSS dari situs yang bersangkutan kedalam RSS engine yang kita miliki disitus kita. Nanti engine tersebut akan secara rutin mengecek apakah ada tulisan baru yang bisa diambil atau tidak? jika ada, maka engine tersebut akan meng-copy tulisan tersebut untuk diitampilkan disitus kita.

Web Crawler, kalau yang satu ini adalah teknologi memungkinkan komputer kita secara otomatis menjelajahi dunia maya. Aplikasi web crawler ini akan “merangkak” terus menjelajahi setiap sudut internet. Dia akan mengunjungi setiap halaman web dan kemudian merambah semua link yang ada dalam halaman web tersebut. Saat ini, didunia ada satu web crawler yang jangkauannya sudah paling luas, yaitu web crawler nya mbah google, Katanya sih google telah berhasil merambah semua halaman web yang ada di Internet yang jumlah mencapai (kurang lebih) 8 milyar. Dengan aplikasi ini, kita dapat terus memantau perkembangan berbagai halaman web yang ada di jagad maya.

Sekarang baru masuk ke penjelasan tentang apa itu web clipper. Web clipper merupakan kombinasi dari dua teknologi diatas. Jika kita perhatikan, dua teknologi diatas kan punya kelemahan. Untuk teknologi RSS, kita hanya bisa menarik konten web yang memang menyediakan link rss nya ke publik. Bagaimana dengan situs-situs yang tidak ada fitur RSS nya? Untuk itulah dibuat teknologi yang namanya web clipper. Web clipper mampu merambah suatu situs dan kemudian menarik konten dari situs tersebut walaupun situs tersebut tidak memiliki fitur RSS. Saya akan menjelaskan cara kerja dengan studi kasus berikut:

Situs detik.com yang merupakan situs berita terbesar di Indonesia, itu tidak memiliki fitur RSS. Lalu bagaimana caranya agar kita dapat mengambil berita-berita yang mucul disana? Kita akan menariknya secara manual, setiap situs berita punya format sendiri dalam hal penulisan berita. Pada situs detik.com, tanggal dan waktu diletakkan diatas judul, Judul ditulisan dengan huruf yang besar baru kemudian dibagian bawah judul diletakkan isi beritanya. Jika kita mengklik judul berita tersebut maka kita akan mendapatkan format baku penulisan berita di detik.com secara utuh. Format baku tersebut nantinya akan kita kustomasikan secara khusus pada web clipper yang kita buat, supaya web clipper tersebut dapat menampilkan isi situs detik.com sesuai dengan format yang ada di detik.com. Oleh karena itu, memang agak rumit untuk membuat web clipper karena kita harus membuat satu web clipper sendiri untuk satu satu situs dengan format penulisan tertentu. Dengan RSS, kita tidak perlu memikirkan hal tersebut karena RSS menyeragamkan format penulisan situs yang menggunakan fiturnya.

Sekian saja penjelasan tentang web clipper, Kalau ada yang kurang jelas langsung tanya aja deh…

Semoga bermanfaat :)

Dec 29 2007

SDM IT yang gak suka IT vs SDM non IT yang cinta IT

Ada seorang teman saya satu kampus di fasilkom yang apabila ditanya sesuatu tentang IT, dengan tegas dia bilang tidak tahu. Jika diajak untuk ikut dalam kegiatan-kegiatan yang banyak menyentuh aspek IT, dia juga pasti menolak mentah-mentah. Fenomena seperti ini cukup banyak terjadi dikalangan SDM IT di Indonesia. Sebaliknya banyak pula SDM yang latar belakang pendidikannya sebenarnya bukan IT tapi lebih punya ketertarikan pada bidang IT, bahkan mereka biasanya justru lebih ke-IT-IT-an daripada SDM IT itu sendiri. Sebagian besar latar belakang mereka adalah berasal dari jurusan matematika (MIPA) atau elektro (Teknik). Diluar itu ada juga SDM yang berasal dari jurusan ekonomi, budaya, bahkan ilmu sosial politik, yang akhirnya malah terjun kedunia IT setelah memasuki dunia kerja.

untuk SDM IT yang tidak ke-IT-IT-an biasanya mengarahkan dirinya pada bidang sistem informasi. Dimana memang bidang ICT yang satu ini lebih banyak menyentuh aspek manajerial dari suatu sistem IT daripada aspek teknikal IT-nya. Disini, pemahaman terhadap aspek teknikal IT cenderung tidak terlalu dibutuhkan, walaupun TETAP perlu. Sementara itu, mereka yang tidak berasal dari jurusan IT dan tertarik pada IT biasanya lebih tertarik pada aspek teknikalnya. Biasanya orang-orang seperti ini akan menggali kompetensinya sendiri dibidang IT. Dia akan belajar programming sendiri, dia akan belajar hacking sendiri dll dia akan belajar dari berbagai sumber semisal kursus, buku dan khususnya internet.

Sebenarnya bagaimanakah imbas dari kondisi seperti itu? apakah kondisi yang seperti itu akan memberi dampak positif bagi pertumbuhan IT di Indoensia, ataukah tidak berpengaruh, atau malah justru meruntuhkan kekokohan sendi-sendi pembangunan IT di Indonesia? berikut ulasannya dari saya:

SDM IT yang tidak berjiwa IT

kita mulai dulu dari SDM IT yang tidak berjiwa IT. Seperti yang telah dijelaskan sebelumnya bahwa SDM IT yang seperti ini cenderung akan memilih sistem informasi sebagai bidang minat jurusannya. Disinilah muncul permasalahan, sebagian besar orang yang memilih bidang minat sistem informasi itu bertipe seperti ini. Hasilnya, banyak spesialis IT bidang Sistem Informasi yang tidak benar-benar kompeten dalam bidangnya. Memang jurusan sistem informasi itu tidak terlalu membutuhkan pemahaman yang mendalam akan aspek teknikal IT, tapi biar bagaimanapun pemahaman tersebut tetap diperlukan supaya SDM yg bersangkutan dapat seutuhnya mengerti tentang apa yang dia kelola.

  • Apa jadinya kalau mereka tidak tahu bagaimana suatu server dapat bekerja (aspek teknikal IT) sehingga cocok dengan pengimplementasian bussiness process di suatu organisasi (aspek sistem informasi)?

kondisi yang seperti itu akan mengurangi tingkat produktifitas dan kreatifitas dari SDM yang bersangkutan. Tidak bisa produktif karena dia cenderung tidak ingin mempelajari suatu teknologi baru yang muncul yang dapat diimplementasikan pada suatu organisasi. Tidak kreatif karena dia akan terpaku pada batasan-batasan teknologi yang dia ketahui saja sehingga tidak bisa memanfaatkan teknologi lain yang mungkin lebih canggih untuk diimplemetasikan. Sementara SDM-SDM yang seperti ini cenderung tidak ingin mempelajari aspek teknikal dari suatu teknologi baru yang belum dia tahu. Akhirnya, SDM yang seperti ini terancam tergilas oleh putaran zaman. tergilas oleh inovasi teknologi yang terus berjalan. Dan bagaimana efeknya pada tataran makro? Apa jadinya kalau sebagian besar SDM Sistem informasi di Indonesia seperti itu? yang terjadi adalah munculnya banyak inkompetensi SDM dibidang ini. SDM-SDM Sistem informasi dari Indonesia akan berkualitas rendah, sehingga akan berdampak secara tidak langsung pada citra SDM IT secara umum di Indonesia.

SDM non IT yang cinta IT

Sekarang kita coba telaah tentang mereka yang tidak punya kesempatan untuk mendalami IT dikampus, tapi punya ketertarika yang tinggi pada bidang IT. Seperti yang telah saya katakan tadi bahwa mereka biasanya merupakan self learner yang baik. Mereka mampu menggali kompetensi dibidang IT secara mandiri melalui berbagai sumber-sumber informal. Dan mereka cenderung mampu menguasai berbagai aspek teknis IT yang memang mereka sukai, banyak dari mereka yang bahkan lebih jago dibandingkan dengan SDM IT yang memang benar-benar berasal dari jurusan IT. Namun sayangnya, karena mereka tidak mendapatkan pendidikan formal dibidang IT, maka banyak dari mereka yang akhirnya hanya mengetahui kulit luar dari IT itu sendiri. Dan biasanya mereka mempunyai kompetensi yang sangat tinggi pada berbagai aspek teknikal dari IT tapi mereka tidak tahu menahu tentang bagaimana pengoptimalan yang bisa dilakukan dari implementasi IT yang bersangkutan. Misal: mereka cenderung sangat jago dalam hal programming terutama pemahaman terhadap suatu bahasa, tapi mereka tidak terlalu pandai dalam hal implementasi algoritma yg baik dalam suatu bahasa pemrograman. Mereka mampu membuat sebuah sistem informasi, tapi mereka tidak mampu membuat pola database yang baik untuk sistem informasi tersebut. Mereka mampu membuat sebuah desktop software tapi mereka tidak mampu mengimplementasikan algoritma yang canggih untuk aplikasi yang dibuat olehnya. Mereka mampu membuat software-software kecil tapi tidak bisa membuat software-software profesional yang butuh sistematika software engineering yang baik. Mereka tahu PHP, MySQL, Java, ASP, hacking dll tapi mereka tidak tahu perancangan database, software engineering, artificial intelligence, organisasi arsitektur komputer dll. Mereka jago teknis tapi mereka payah konsep.

Lalu bagaimana efeknya secara makro? Saat ini di Indonesia, jumlah SDM IT yang tersedia masih sangat jauh dari cukup untuk mengisi pos-pos pekerjaan yang bisa disediakan. Akhirnya banyak SDM non IT yang pindah jalur didunia kerja dengan memilih pekerjaan yang berkaitan dengan IT. Kondisi seperti ini juga akan memberikan dampak negatif bagi pertumbuhan IT di Indonesia. Dengan munculnya SDM-SDM ‘karbitan’ ini (no offense, udah bingung nih milih bahasa/ punya usulan bahas yang lebih halus :) ) Maka banyak produk-produk IT yang dihasilkan menjadi berkualitas rendah. Kode pemrograman tidak terformalisasi, pola database tida teratur dsb. Akhirnya, Indonesia sulit menghasilkan suatu produk IT yang berkaulitas tinggi, dan ini nantinya akan kembali ke kredibilitas produk IT di Indonesia. Contoh yang menarik adalah aplikasi ERP bermerek SAP, dimana banyak pihak Indonesia (BUMN, Swasta dll) yang sudah miskin ini rela mengeluarkan uang miliaran bahkan triliunan rupiah supaya dapat memakai aplikasi ini. Kenapa mereka rela, karena mereka tidak punya pilihan, mereka tidak percaya dengan produk-produk sejenis yang dihasilkan didalam negeri. Padahal produk-produk yang sejenis dengan SAP itu cenderung mudah dibuat tapi sulit dikelola. Itulah permasalahan kita di Indonesia, kita mungkin bisa saja membuat aplikasi sejenis dengan kondisi SDM yg seperti ini, tapi kondisi SDM seperti ini tidak akan bisa membuat kita mampu mengelola keberlangsungan aplikasi ini dengan baik. Hasilnya? Begitu banyak rupiah yang akhirnya mengalir keluar negeri dan pergi meninggalkan Indoensia yang semakin lama semakin miskin.

Begitulah dilema kondisi SDM IT di Indonesia. Namun permasalahan ini bukan hanya untuk kita renungi, bukan cuma untuk kita pahami, tapi juga untuk kita cari solusinya. Solusi yang paling efektif adalah sadarkan diri Anda sendiri. Jika anda merasa sebagai salah satu tipe SDM dari dua tipe SDM diatas, maka pikirkanlah solusinya. Kelola kompetensi pribadi anda dengan baik. Supaya benar-benar dapat menjadi seorang profesional dibidang IT dan memberikan banyak manfaat buat orang lain.

jika anda SDM IT yang tidak suka IT: cintailah IT! Anda sdah terlanjur masuk didunia ini. Anda sudah punya kesempatan besar untuk mengobok-obok wilayah kompetensi ini. Jangan disia-siakan!Galilah kompetensi IT anda supaya bisa benar-benar memberikan kontribusi maksimum untuk pertumbuhan IT di Indonesia

jika anda SDM non IT yang suka dengan IT: pelajarilah IT lebih dalam, coba pelajari IT dari slide-slide perkuliahan IT yang banyak terdapat di Internet (kira-kira bakal ngerti gak ya ^_^). Kalau memungkinkan, cobalah untuk masuk dijurusan IT. Kalau tidak memungkinkan, ya… mau bagaimana lagi :) gali saja terus kompetensi Anda. Dan jangan terlalu banyak berkutat pada aspek teknis, cobalah ambil satu topik IT yang menarik bagi Anda lalu pelajari konsep-konsepnya. Dengan begitu Anda benar-benar mempunyai spesialisasi dibidang IT dan Anda juga punya senajat yang ampuh berupa pemahaman teknis untuk mengimplementasikan konsep yang sudah anda dalami dalam wujud nyata yang bermanfaat didunia nyata.

Sekian saja ya ulasannya. Semoga bermanfaat


↑ Back to top