Internet se toliko uvećao za vrlo kratko vreme, da bi se moglo reći da mašine za pretraživanje poput Yahoo-a ili AltaVista-e bukvalno samo grebu po površini neiscrpnog rezervoara informacija, tvrdi se u novoj naučnoj studiji posvećenoj ovoj tematici i objavljenoj u Americi.
Ovo istraživanje sprovela je softverska kompanija BrightPlanet iz Južne Dakote koja upravo radi na razvoju novog softvera kojim planira da pronikne u dubine Internetovskog mora. Prema rezultatima, procenjuje se da je web oko 500 puta veći nego što to prikazuju popularne mašine za pretraživanje.
Ove skrivene „informatičke pećine“, poznate samo starim web-ovskim vukovima, postale su neverovatan izvor frustracija za razne istraživače kojima su potrebne i koji njihovo postojanje pretpostavljaju, ali naprosto ne mogu da dođu do njih korišćenjem nekoliko tastera. Ove neistražene teritorije, dugo nazivane „nevidljivim Web-om", sada će verovatno postati „samo“ „duboki Web“, zahvaljujući kompaniji BrightPlanet. Mnogi istraživači su pretpostavljali da su ovi „neiskorišćeni“ resursi sajber prostora zapravo glavno tkivo Interneta, ali se do sada niko nije pozabavio time da istraži zabačene puteve kroz web tako sveobuhvatno kako je to rešila da učini kompanija BrightPlanet.
Razvijajući proteklih šest meseci nova softverska rešenja za pretraživanje web-a, stručnjaci iz BrightPlanet-a su došli do procene od oko 550 milijardi dokumenata koji trenutno sačinjavaju web.
Sve zajedno, mašine za pretraživanje Interneta trenutno u svojim indeksima imaju oko milijardu stranica. Naravno, to je izuzetno mnogo u poređenju sa 1994 godinom, kada je Lycos, jedan od prvih pretraživača Interneta, imao indeks od svega 54.000 stranica. Međutim, premda su očigledno prevalili veliki razvojni put od 1994, pretraživači naprosto ne mogu da indeksiraju veći broj stranica jer velika količina informacija počiva u gigantskim bazama podataka raznih vladinih agencija, univerziteta i korporacija. Ove baze imaju dinamički karakter, što znači da im se sadržaj menja i uvećava, a tehnologija na kojoj su zasnovane mašine za pretraživanje daleko je pogodnija za praćenje „statičnih“ strana. Ovo praktično znači da su standardne mašine za pretraživanje u stanju da surfere odvedu do matičnih strana ustanova koje održavaju dotične baze podataka, ali bi pretraživanje samih baza zahtevalo drugačiju i složeniju strukturu upita.
Ljudi iz BrightPlanet-a veruju da su pronašli softversko rešenje za ovaj problem, a ono se zove LexiBot. Na osnovu samo jednog unetog zahteva za pretragu, ovaj softver ne samo što pretražuje stranice indeksirane u klasičnim pretraživačima, već ponire i duboko u strukturu baza podataka koje se nalaze na web-u i „peca“ informacije iz njih.
Ovaj softver, ipak, nije pogodan za opštu upotrebu, priznaju u BrightPlanet-u. Pre svega, on nije besplatan, već košta oko 90 dolara nakon jednomesečnog probnog perioda. Osim toga, pretraga LexiBot-om uopšte nije brza. Uobičajene pretrage obično traju 10 do 25 minuta, ali složenije mogu oduzeti i čitavih 90 minuta.
Zbog toga, kompanija BrightPlanet očekuje da će LexiBot biti naročito popularan u akademskim i naučnim krugovima.
Još jedna zanimljiva informacija, do koje su takođe došli stručnjaci BrightPlanet-a, jeste da je oko 95 % podataka pohranjenih u „dubokom web-u“ besplatno.
Ipak, mnogi stručnjaci za Internet projektu LexiBot ne predviđaju preterano slavnu budućnost. Primedbe se uglavnom odnose na nesrazmerno složen način upotrebe u odnosu na svrhu, te na „centralizovanost pristupa“. Takođe, već počinju da se pojavljuju i konkurentska rešenja koja su u prednosti, samim tim što imaju uvid u nedostatke LexiBot-a.
Deni Salivan (Danny Sullivan), urednik sajta SearchEngineWatch.com, posvećenog analizama web-pretraživača, tvrdi da će najveći izazov za BrightPlanet biti upravo da pokaže poslovnim ljudima i kućnim korisnicima kako bi mogli delotvorno da upotrebe LexiBot: „Niko se još ni sa čim sličnim nije pojavio, pa kada ljudima predstave sve ove podatke o „dubokom web-u“, moraće i da im pokažu gde i kako u tom nepreglednom moru roniti. U suprotnom, ljudi će se podaviti“.
Pratite Krstaricu i preko mobilne aplikacije za Android i iPhone.