- inhoud van "echte" databases
want robots van zoekmachines volgen links en vullen geen zoekschermen in,
maar:
- database-eigenaars maken soms wel via de achterdeur link-paadjes voor robots om hun spul toch in zoekmachines te krijgen
- zoekmachines doen proeven om zoekresultaten uit belangrijke databases te "oogsten"
- alle pagina's
- die door hun robots nog niet zijn ontdekt,
- die vanwege restricties in "robots.txt"-file niet geïndexeerd "mogen" worden,
- die achter inlog-schermen (zelfs gratis) verborgen zitten
the invisible web
|
Eric Sieverts, 2016