http://www.worldwidewebsize.com Grafik indizierte Webseiten weltwet

Wird das Word Wide Web kleiner?

Es gibt keine zentrale Stelle, an der Webseiten registriert werden müssten. Das Web ist dezentral – das war auch so gedacht.

Die Kehrseite der Medaille ist: Informationen sind schwer zu finden (davon lebt Google sehr gut) und außerdem weiß man nicht abschließend, welche Informationen es gibt und wie viel davon.

Es gibt ein offensichtlich niederländisches Projekt, das die Größe des Word Wide Webes anhand verschiedener Abbildungen zu erfassen und zu verfolgen versucht: http://www.worldwidewebsize.com

Bing und Google lassen keine Einblicke zu, wieviele Dokumente sich in ihren Indizes befinden. Der Macher der Seite rechnet die Zahlen auf Basis von Suchanfragen mit definierten Suchbegriffen hoch. Dabei geben die Suchergebnisseiten aus, wieviele Treffer ingesamt gefunden wurden. So wird die Anzahl der indizierten Dokumente abgeschätzt. Als Bezugsgröße wird auch  DMOZ verwendet. Wie das genau gemacht wird, haben Antal van den Bosch, Toine Bogers und Maurice de Kunder in ihrem Paper beschrieben (PDF).

Für Google schätzen die Forscher, dass 45 bis 50 Milliarden Webdokumente erfasst sind. Für Bing liegt die Zahl deutlich tiefer, so bei 15 Milliarden Webdokumenten. Yahoo und Ask berichten keine Zahlen mehr.

Interessant ist der Trend.

Besonders bei Bing fällt auf, dass zunehmend weniger Treffer ausgewiesen werden. Weniger deutlich sieht das im Falle Google im Zweijahreszeitraum aus.

Wie groß ist das WordWide Web. Keiner weiss es. Man kann sich dem nur schätzungsweise nähern
Die Schätzung der Größe des WordWideWebs basiert auf der Messung der ausgewiesenen Trefferanzahlen für viele Keywords, die dann hochgerechnet werden. Bei Bign zeigt sich ein fallender Trend. Wird das Web kleiner=

 

Der geschätzte Umfang des Google Index beträge in etwa 45 Milliarden Webdokumente
Forscher versuchen den Umfang des Google Index zu schätzen und mit gleicher Methode einen Langfristtrend zu zeigen.

Zu erwarten wäre, dass die Größe des Google Index (und auch die von Bing) weiter steigt, da die Crawler in immer weitere Bereich vordringen, die man gelegentlich Dark Web nennt. Dem ist offenbar nicht so.

Möglicherweise liegt dies aber auch an der Methode, die ja auf Suchbegriffen basiert, die von vorneherein festgelegt sind und sich auch auf das DMOZ-Verzeichnis beziehen, das vielleicht nicht mehr die Rolle spielt wie in den früher 2000er Jahren.

Andererseits erscheint die Vermutung eines Zusammenschrumpfprozess des offenen Webs durchaus plausibel:

  • Verlagerung von Informationen in schwer durchsuchbare Social Web Plattformen
  • Bündelung von Informationen in Mobile Apps, die ebenfalls nicht per Crawler durchsuchbar sind und keine einfache Verlinkung zulassen.
  • Es entstehen zwar weiter immer mehr Webseiten, aber die Relevanz dieser Webseiten für Suchanfragen schwindet im Durchschnitt tendenziell.

 

Veröffentlicht von

Markus Käkenmeister

Interessiert an Technologie, Politik, Psychologie. Seit 2000 beruflich im Web (Internetbranche) als Marketing Manager und Product Manager Schwerpunkt Community/Dating, Hosting, Domains, Cloud

Kommentar verfassen