Jika program Archie meng-index file komputer, “Gopher” meng-index teks dokumen. Gopher diciptakan pada tahun 1991 oleh Mark Mccahill di Universitas Minnesota. Karena berbentuk file teks, hampir semua situs gopher menjadi website setelah terciptanya World Wide Web.
Program yang lainnya yaitu “Veronica” dan “Jughead”, yang berfungsi untuk mencari file yang disimpan di dalam sistem index Gopher. Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) menyediakan pencarian dengan menggunakan kata kunci di menu judul dalam seluruh daftar Gopher. Jughead ( Jonzy’s Universal Gopher Hierarchy Excavation And Display ) adalah suatu alat untuk memperoleh menu informasi dari beberapa jenis Gopher server.
Search engine pada web yang pertama adalah “Wandex”, suatu nowdefunct index yang dikumpulkan oleh World Wide Web Wanderer, suatu Web Crawler yang dikembangkan oleh Matthew Gray lulusan MIT tahun 1993. Pada tahun yang sama, sebuah search engine lainnya keluar yaitu Aliweb, yang saat ini masih ada. Search engine pertama kalinya yang “full text” atau search engine yang hampir semuanya tulisan adalah Web Crawler yang muncul pada tahun 1994. tidak seperti search engine sebelumnya, web crawler yang muncul pada tahun 1994. Tidak seperti search engine sebelumnya, web crawler mengijinkan para pemakai mencari informasi dengan menggunakan kata apa saja pada halaman web mana saja. Inilah yang menjadi standarisasi dari semua search engine yang ada sekarang ini.
Setelah itu, banyak search engine yang bermunculan dan saling berlomba untuk mendapatkan ketenaran. Diantaranya Excite, Infosee, Inktomi, Northern Light, dan AltaVista. Dalam beberapa hal, mereka bersaing dengan direktori terkenal seperti Yahoo!.
Sebelum web muncul, terdapat search engine untuk protokol atau pengguna lain, seperti Archie untuk situs anonymous FTP dan Veronica untuk protokol Gopher. Baru-baru ini muncul juga search engine online yang menggunakan XML atau RSS. Dengan ini search engine menjadi lebih efisien mengindex data pada website tanpa tuntutan yang rumit. Sehingga website hanya menyediakan suatu timbal balik XML dengan index-index search engine. Timbal-balik XML secara meningkat disediakan secara otomatis oleh weblogs atau blogs. Contoh search engine ini adalah feedster, seperti LjFind Search yang menyediakan jasa pencarian untuk Livejournal blogs.
by : http://ardionline.blogspot.com/
