Web superficial y web Profunda

Para buscar bien, es imprescindible tener en cuenta, que además de los buscadores convencionales, hay disponibles otras fuentes específicas de información.

Los buscadores tradicionales sólo ofrecen acceso a una pequeña parte de lo que existe online, lo que se ha comenzado a llamar la Web superficial o visible.

La Web profunda o invisible, es un amplio banco de información ubicado en catálogos, revistas digitales, blogs, entradas a diccionarios y contenido de sitios que demandan un login (aunque sea gratuito) y otros tipos de contenido que no aparecen entre los resultados de una búsqueda convencional.

Sería conveniente aclarar la confusión acerca de la web profundad (deep web) y la web oscura (dark web), son dos conceptos distintos, aunque dark web forma parte de deep web, o web profunda. así es que esta matización la realizaré en un post aparte.

Por la naturaleza propia de la web profunda es prácticamente imposible poder determinar el tamaño que posee la misma. El volumen al que tenemos acceso, se estima que es el 4% del volumen total de la web. Esta limitación de acceso es debida a que en la web visible, la que utilizamos en el uso cotidiano, solo se accede a las páginas indexadas por los buscadores. Los spiders no tienen acceso a las páginas dinámicas, como las bases de datos internas de las empresas o páginas independientes que no se conectan a nada, o este mismo artículo mientras está en modo borrador.

En último lugar antes de dar paso a las explicaciones del módulo, cito textualmente lo que el compañero Poncio Garau Vaquer ha comentado en su blog:

"La curiosidad mató al gato, si alquien quiere experimentar con dark web que tenga en cuenta que tendrá que descargar un explorador específico, el más conocido fue creado por la Marina de los Estados Unidos, el nombre es TOR, cuidado con el contenido, no es nada agradable y además los virus están a la orden del día. Recordar que en muchos países, incluyendo España acceder a estas páginas es una actividad ilícita."

La Web Superficial o visible
Comprende todos aquellos sitios cuya información puede ser indexada por los robots de los buscadores convencionales y recuperada casi en su totalidad mediante una consulta en sus formularios de búsqueda.
Las características principales de los sitios de la Web visible son:

• Su información no está contenida en bases de datos
• Es de libre acceso
• No se requiere la realización de un proceso de registro para acceder a la información.
• Mayoritariamente está formada por páginas Web estáticas, es decir páginas o archivos con una URL fija y accesibles desde otro enlace.

La Web Profunda o invisible
Web invisible es el término utilizado para describir toda la información disponible en Internet que no se recupera interrogando a los buscadores convencionales.

"Generalmente es información almacenada y accesible mediante bases de datos."

Parte de la información es "invisible" a los robots de los buscadores convencionales, ya que los resultados se generan en la contestación a una pregunta directa mediante páginas dinámicas (ASP, PHP, etc.) es decir páginas que no tienen una URL fija y que se construyen en el mismo instante (temporales) desapareciendo una vez cerrada la consulta.

Sherman y Price identifican cuatro tipos de contenidos invisibles en la Web:

• Web opaca (the opaque Web)
• Web privada (the private Web)
• Web propietaria (the proprietary Web)
• Web realmente invisible (the truly invisible Web)

Pequeña descripción de cada una de ellas

WEB OPACA: está compuesta por archivos que, si bien podrían estar incluidos en los índices de los buscadores, no lo están por alguno de los siguientes motivos:

• Extensión de la indización: a veces, por economía, no todas las páginas de un sitio son indizadas en los buscadores.
• Frecuencia de la indización: los buscadores no poseen la capacidad de indizar todas las páginas existentes; a diario se agregan y modifican muchas y la indización no se realiza al ritmo que permita incluirlas a todas.
• Número máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces un gran número de resultados, generalmente limitan el número de documentos que se muestran (entre 200 y 1000).
• URL desconectadas: las generaciones más recientes de buscadores, presentan los documentos por relevancia basada en el número de veces que aparecen referenciados en otros. Si un documento no tiene un link a él, desde otro documento, será imposible que la página sea encontrada, pues no se encuentra indizada.

WEB PRIVADA: consiste en las páginas Web que podrían estar indizadas en los buscadores pero son excluidas deliberadamente por alguno de estos motivos:

• Las páginas están protegidas por contraseñas.
• Contienen un archivo “robots.txt” para evitar ser indizadas.
• Contienen un campo “noindex” para evitar que el buscador pueda indizar la parte correspondiente al cuerpo de la página.

Este segmento de la Web contiene, en general, documentos excluidos deliberadamente por su falta de utilidad. Ya que son los dueños de la información que contienen, son los que deciden que no se encuentre disponible, por lo que difícilmente se podrán encontrar mecanismos legítimos para franquear esa barrera.

WEB PROPIETARIA: incluye aquellas páginas en las que es necesario registrarse para tener acceso al contenido, ya sea de forma gratuita o arancelada.

WEB REALMENTE INVISIBLE: se compone de páginas que no pueden ser indizadas por limitaciones técnicas de los buscadores, programas ejecutables y archivos comprimidos, páginas generadas dinámicamente, es decir, que se generan a partir de datos que introduce el usuario, información almacenada en bases de datos relacionales, que no puede ser extraída a menos que se realice una petición específica.
NOTA: Según Lluis Codina: “Internet invisible es un nombre claramente inadecuado para referirse al sector de sitios y de páginas web que no pueden indizar los motores de búsqueda de uso público. Debería denominarse, en realidad, la web "no indizable", lo cual es un término mucho más adecuado”.

Algunos de los recursos de búsqueda en la Web Profunda:

WWW Virtual Library se considera el catálogo más antiguo en la web y fue iniciado por Tim Berners-Lee, el creador de la web.

Infoplease es una Web de consulta con más de 57.000 artículos de la prestigiosa enciclopedia Columbia. Facilita la consulta de información con opciones de búsqueda por términos o por áreas de conocimiento. Es posible acceder a un buen número de enciclopedias, atlas, y biografías. Y también tiene algunas ramificaciones interesantes como Factmonster.com para los niños y Biosearch, un motor de búsqueda sólo para biografías, o información de todo lo acontecido históricamente en un determinado día.

DeepWebTechnologies ofrece cinco motores de búsqueda para temas específicos. Los motores de búsqueda abarcan la ciencia, medicina y negocios. El uso de estos motores de búsqueda específicos del tema, puede consultar las bases de datos subyacentes en la Web profunda.

TechXtra Engineering centra su información, en ingeniería, matemáticas e informática. Es posible navegar a través de una extensa lista de revistas gratuitas especializadas de ingeniería, documentos técnicos, descargas y podcasts.

En éste mooc se ha propuesto aportar en el foro búsquedas realizadas por los alumnos, de las que tengo previsto hacer una recopilación por temas para compartirela en mi blog.