ilse lanceert vandaag haar nieuwe, verbeterde, zoekmachine. Na een uitgebreide testperiode op campus.ilse.nl, heeft ilse de testversie van de verbeterde zoekmachine overgezet naar www.ilse.nl.
Het lanceren van de verbeterde zoekmachine is de eerste stap in een fase van continue verbeteringen aan de zoekmachine. In de nieuwe database zijn meer dan 20 miljoen Nederlandse en Nederlandstalige webpagina's opgenomen.
De belangrijkste vernieuwing is de manier waarop de resultaten worden samengesteld en de manier waarop 'lokale informatiebronnen' kunnen worden ontsloten. "Binnen ilse media hebben we heel veel informatie over de kwaliteit en populariteit van Nederlandse websites," zegt Nils Rooijmans, de 'architect' van de nieuwe zoekmachine: "We weten welke websites er zijn, maar ook welke echt de moeite waard zijn. Deze menselijke kennis gebruiken we om de beste resultaten boven te halen." Daarnaast heeft ilse.nl de technologie volledig vernieuwd met state-of-the-art ranking algoritmen. "We gebruiken moderne methoden om tot de samenstelling van de resultatenlijst te komen," aldus Rooijmans: "Bovendien is dat mechanisme bijzonder flexibel en kunnen we ook aan de hand van gebruikers-ervaringen de resultatenlijst makkelijk aanpassen."
De nieuwe zoekmachine-technologie is ook gericht op het ontsluiten van het 'hidden web'. Dat is de verzamelnaam voor al die informatie die zoekmachines normaal gesproken niet zo makkelijk kunnen vinden en dus ook niet kunnen opnemen in de resultatenlijst.
Met meer resultaten die op een betere manier in volgorde zijn gezet, kan ilse.nl haar gebruikers beter bedienen. Ook zullen websites in de zoekmachine 'actueler' zijn doordat de zoekmachine bijhoudt hoe vaak een website verandert, en alle veranderingen meeneemt in de resultaten. Ook Algemeen Directeur van ilse media, Paul Molenaar, is zeer content met de nieuwe zoekmachine: "Daar waar we bij de voorgaande vernieuwing voornamelijk conceptuele wijzigingen hebben gemaakt, hebben we de zoekmachine nu van voor tot achter vernieuwd", aldus Paul Molenaar, "Er is letterlijk geen oud onderdeel achtergebleven".
Over ilse media
ilse media is met meer dan 200 miljoen pageviews per maand de grootste internetuitgever van Nederland. Onder ilse media vallen NU.nl (35 miljoen pageviews per maand), Startpagina (120 miljoen pageviews per maand) en de zoekmachine ilse.nl (46 miljoen pageviews per maand)
Ook de gratis e-mailsite dolfijn.nl en het populaire chat.nl vallen onder ilse media. Bij ilse media groep BV zijn 44 personen in dienst.
Noot voor de redactie:
Voor meer informatie over ilse media B.V. kunt u contact opnemen met:
Paul Molenaar (Algemeen Directeur ilse media BV)
Telefoon (020) 8404500
E-mail: paul.molenaar@ilsemedia.nl
Technische bijlage
Voor de meer technische redacties, hebben wij een samenvatting gemaakt van de technologische vernieuwingen in de zoekmachine. Deze vernieuwingen zijn in de afgelopen twaalf maanden door een team van negen ontwikkelaars ontworpen en gerealiseerd. Met uitzondering van de spider, zijn alle elementen van de zoekmachine door ilse geïmplementeerd. Dit vanuit de gedachte dat een nationale zoekmachine die optimaal resultaat wil leveren, ook permanente lokale ontwikkeling moet ondergaan zodat de specifieke kennis van het Nederlandse internet en het gebruik daarvan zich ook in de resultaten uit. Concrete toepassingen hiervan verwacht ilse binnen enkele weken te kunnen presenteren.
Verbetering in het aantal zoekresultaten
Door verbeterde spider technologie optimaal af te stellen op het Nederlandse internet heeft de nieuwe ilse index een record grootte van 18.223.641 miljoen webpagina's; een aantal dat vanaf vandaag onbeperkt kan groeien. Alles wat ilse in Nederland kon vinden, is opgenomen in de database. Om deze grote hoeveelheid data (>150 GigaByte) efficiënt te kunnen doorzoeken zijn er verschillende indices met een totale grootte van 1,2 teraybyte (cq. 1200 gigabyte cq. 1.200.000 megabyte). Door dataduplicatie en compressie kan met relatief weinig machine-beslag een dergelijke hoeveelheid informatie worden ontsloten voor meer dan 100 gebruikers tegelijkertijd.
Zelflerend zoekmechanisme
De spider van de ilse zoekmachine is zelflerend; de spider leert de frequentie waarmee webpagina's veranderen en past daarmee het spidergedrag aan. Dat houdt in dat de spider niet nodeloos verkeer genereert op sites die niet vaak veranderen en vaker langsgaat bij sites die een hogere verversingsfrequentie hebben. Dit bijhouden van de update frequentie in combinatie met een minimale request interval van 10 seconden per server, garandeert dat webservers minimaal belast worden, en dat de index volledig up-to-date wordt gehouden.
Verbetering in het ranking-algoritme
ilse heeft een volledig vernieuwd ranking-algoritme ontwikkeld dat gebruik maakt van de verschillende 'ranking-features'. Deze ranking-features bepalen op welke positie in de resultatenlijst een website getoond wordt. Nieuwe ranking-features zijn bijvoorbeeld de hoeveelheid relevante verwijzingen die de site in het Nederlandse domein heeft. Ook onze kennis over het gebruik van diverse sites in Nederland weegt mee in het bepalen van de rankingscore van een pagina. Naast deze twee ranking-features worden er momenteel nog 22 andere algoritmen (waaronder het bekende TFIDF) gebruikt die een featurescore geven welke gebruikt wordt om de relevantie van een pagina voor een gegeven zoekopdracht te bepalen. De verschillende ranking-features worden via een wiskundige formule gecombineerd tot een resultaatscore die de positie van een pagina in de resultaatlijst bepaald. Deze algoritmen zijn gebaseerd op de meest recente wetenschappelijke onderzoeken naar 'Information Retrieval'. (zie oa: http://sunsite.dcc.uchile.cl/irbook/links.html )
Link-based en content-based ranking algoritmen in combinatie met verschillende representaties van het gebruik en kwaliteit van de pagina's geven, naar mening van ilse, de optimale resultatenlijst weer voor de gebruiker.
De resultatenlijst zal in de komende weken ook nog worden beïnvloed door een aantal zelflerende mechanismen, waarover ilse -in verband met het voorkomen van misbruik- geen nadere details verstrekt.
Snelheidsverbetering
De grote hoeveelheid webpagina's in het Nederlandse domein, stelden hoge eisen aan het programmeren van de zoekmachine. De missie was om ook zonder een immens machinepark snel resultaten te tonen. Momenteel bestaat het serverpark voor de zoekmachine uit in totaal 15 dedicated dual pentium III 1Ghz machines. Voor het behalen van optimale performance met minimale hardware zijn er verschillende indices gebouwd. Optimalisatie van zowel disk-access, compressiealgoritmen als netwerkverkeer heeft tot enorme snelheidsverbetering geleid. Daarnaast zijn domeinspecifieke sorteeralgoritmen gebruikt om de performance van de 18 rankers op elk een pentium III 1 Ghz processoren te optimaliseren.
Presentatie
ilse heeft de presentatie van de resultaten verbeterd, waardoor de gebruiker sneller ziet welk resultaat het beste aan de vraag voldoet. Door verbeterde taaltechnologie is de beschrijving van een pagina duidelijker geworden.