El Open Directory

http://www.dmoz.org/about.html

Un poco de historia

Dmoz nació en 1998, una época en la que cualquier nuevo directorio era comparado, para bien o para mal, al gigante Yahoo. Después de todo, el directorio Yahoo había sido la semilla, y seguía siendo el corazón, del portal más poderoso. De modo que cualquier nuevo directorio debía posicionarse por fuerza ante Yahoo: ¿qué ofrecía que fuese distinto? ¿En qué se diferenciaba?

Dmoz tenía una respuesta a esto: se diferenciaba en su naturaleza colaborativa. A diferencia de Yahoo, no disponía de unos cuantos surfers pagados que se encargaban de introducir webs en el directorio como profesión, sino de un puñado de voluntarios dispuestos a hacerse cargo de aquellos sectores del directorio que coincidían con sus intereses personales; una gran idea que trasladaba el espíritu ‘open source’ del software a los contenidos (algo que más tarde continuarían los wikis). De hecho, el primer nombre de dmoz fue brevementeGnuHoo, hasta que cambió a NewHoo (el avispado lector se dará cuenta de los paralelismos entre los dos nombres y Yahoo).

Es importante notar que el vecindaje con el movimiento ‘open source’ influencia la filosofía de dmoz desde sus inicios, y que define unos límites que no podrá cruzar (y que muchos opinan que han estrangulado las posibilidades del directorio). Y es que una cosa es ser un editor voluntario que dedica cada semana un par de horas a aceptar y buscar recursos para su categoría y así colaborar en una especie de ONG, y otra muy distinta donar tu tiempo a fondo perdido a favor de un proyecto comercial del que se beneficiarán un puñado de desconocidos.

NewHoo reunió rápidamente varios miles de editores voluntarios, y sus ventajas se hicieron rápidamente evidentes. Aquellas categorías que contaban con un editor apasionado por su tema y dispuesto a invertir tiempo en su mantenimiento eran mejores que sus equivalentes en Yahoo. Pero al lado de esto, resultaba evidente la falta de consistencia, con categorías vacías o descuidadas.

A finales de 1998, NewHoo fue comprado por Netscape (que a su vez fue comprado por AOL), teóricamente para potenciar su portal, y pasó a llamarse Netscape Open Directory. A pesar de la compra, el directorio conservó su carácter no comercial (de hecho Netscape lo asoció a Mozilla, el nombre bajo el cual distribuía el código de su navegador a desarrolladores externos (de aquí su dominio: dmoz, «directory Mozilla»). Los fundadores de NewHoo se incorporaron a trabajar para Netscape como ingenieros por la puerta grande.

La asociación con Netscape aportó, además, la estructura ténica necesaria para distribuir los datos del directorio a todos aquellos que quisieran utilizarlos. También debía aumentar el número de usuarios, ya que aunque el crecimiento en editores y listados había sido notable, no había sucedido lo mismo con los usuarios.

Sin embargo, ya conocemos el camino que tomaría por aquel entonces Netscape, y su portal nunca acabó de establecerse entre los grandes. De hecho, dmoz se hizo más conocido gracias al uso que de sus datos hicieron Lycos y HotBot.

Dmoz, te presento a Google

Pero la asociación más importante para dmoz aún estaba por llegar. A partir del 2000, un Google en imparable ascenso también incorporó sus datos. Pero además de permitir navegar por el directorio dmoz, rebautizándolo Google Directory, incorporó a sus resultados principales las categorías del directorio cuando las webs listadas estaban presentes también en dmoz.

Ese hecho, junto a la afirmación de Google según la cual estar presente en dmoz garantizaba la inclusión en el índice principal de Google, asentó en la mente de todos los webmasters la importancia de dmoz. Una importancia que a menudo ha sido exagerada: a veces, existe una mentalidad de «o estoy en dmoz, o no hay nada que hacer». Y no se trata de eso.

La asociación de dmoz con Google ha marcado su período de mayor popularidad. Sin embargo, durante unos cambios en la estructura de presentación de resultados de Google realizados en el 2004, Google prescindió de las características que lo habían asociado de forma más firme con dmoz: las categorías desaparecieron. De hecho, en la versión en inglés de Google, ni siquiera hay ya un enlace al directory.google.com desde sus páginas principales o de búsqueda. Estos cambios se hicieron, según Google, a causa del bajo número de personas que seguían dichos enlaces.

Si unimos al menor apoyo por parte de Google al hehco de que AOL nunca ha destinado más de dos trabajadores a gestionar los aspectos técnicos de dmoz (los aspectos ‘políticos’ quedan casi siempre en manos de los ‘supereditores’ voluntarios) y hace poco por promocionarlo, se abren dudas sobre el papel de dmoz en el futuro.

Sin embargo, hoy poy hoy, la importancia dmoz sigue siendo indiscutible. Con más de 4 millones de webs en su índice, casi 600.000 categorías, y 65.000 editores (aunque probablemente sólo una tercera parte de éstos siga activa), sus resultados sindicados por centenares de webs de mayor o menor importancia, dmoz es el mayor directorio de internet.

Es, por ejemplo, el único directorio a partir de cuya estrucuta de han desarrollado nuevas propuestas de algoritmos para los buscadores generalistas, como Topic-Sensitive PageRank. Probablemente, uno de los servicios en pruebas de google, Personalized Web Search se basa en este principio, y por tanto, en los datos de dmoz.

La polémica bien, gracias

Los puntos alrededor de los cuales se articulan las polémicas acerca de dmoz tienen a menudo dos características en común. El primero es que siempre aparecen una y otra vez. El segundo es que todos nacen de la tensión entre los objetivos originales de dmoz y los objetivos que pudo haber asumido gracias a la posición en la que se encontró.

Y es que a causa de su asociación con Google, y a causa de la creciente monetización de todos los aspectos relacionados con Google y los buscadores, dmoz se convirtió, probablemente sin pretenderlo, en el guardián de la puerta que daría acceso al tráfico de internet a las páginas comerciales. Es decir, un proyecto iniciado lejos del interés económico se erigía en el peaje (real o imaginario) que debían cruzar las webs comerciales.

Esto, por supuesto, no casaba para nada con las aspiraciones iniciales de dmoz, según las cuales se debía escoger las mejores webs para el directorio, no incluirlas todas, y además se primaban los sitios informativos, no comerciales.

Este hecho es la fuente de la mayor parte de conflictos entre dmoz y los webmasters, que se toman bastante mal el hecho que que sus sitios no sean admitidos (ver las quejas en el foro de ayuda de dmoz: www.resource-zone.com).

El efecto «¿Qué hay de lo mío?»

Peores consecuencias aún tiene el hecho de que haya webmasters que, simplemente, no contemplen la posibilidad de no ser listados en dmoz, y que por ello intentan ser asignados como editores a las cateorías de su interés. Este es un punto de permanente conflicto. Hay editores que se apuntan a dmoz simplemente para añadir sus sitios, o para borrar los de sus competidores; pero también hay acusaciones infundadas en este sentido. Evidentemente, que un número significativo de candidatos a editores lo sean para incluir sus sitios (mi sospecha personal es que superan ampliamente a los candidatos realmente espontáneos) comporta que se erijan barreras para mantenerlos fuera del directorio, y que incluso los que han pasado a ser editores activos se muevan en cierto ambiente de sospecha. Cosas que evidentemente, no ayudan a que un proyecto como dmoz, en el que los editores sólo obtienen el reconocimiento de su trabajo, se desarrolle bajo las condiciones idóneas.

Las otras grandes fuentes de problemas de dmoz son su carácter colaborativo y el abandono que ha sufrido por parte de Netscape/AOL. En cuanto a lo primero, incluso los editores con mayores responsabilidades son voluntarios, lógicamente con una disponibilidad limitada. Una buena idea para un proyecto mediano, pero no para un mosntruo con 4 millonres de webs listadas. En esas condiciones, es imposible mantener unos estándares consistentes. Hay categorías en las que el tiempo de espera hasta que una web es revisada es de años, o en las que las webs son rechazadas por motivos aparentemente arbitrarios, hay categorías con entradas duplicadas, con enlaces inactivos, con descripciones excesivamente complacientes con las webs listadas (y es que las barreras anti-webmasters de dmoz no son perfectas)… Estas situaciones apuntan a que, tal como mucha gente opina, dmoz debería tener una opción de alta de pago (por lo menos para las categorías comerciales) que ayudara a mantener un staff especializado. Pero como he dicho antes, la naturaleza de los inicios de dmoz hacen esta vía muy difícil.

Y en cuento a lo segundo, es difícil encontrar alguna web de importancia similar cuyos servidores pasen tanto tiempo caídos o que tarden tanto en responder, o cuyos scripts para sugerir sitios estén tan a menudo no disponibles.

Dejo apuntados otros temas polémicos, como los ex-editores que se convierten en los principales detractores de Dmoz, o el período durante el cual se proporcionó a algunos medios como Rolling Stone la posibilidad de añadir listados directamente, sin pasar a través del control de los editores.

¿Sirve de algo dmoz?

Voy a intentar responder a esta pregunta desde dos perspectivas distintas:

¿Sirve de algo dmoz a los websmasters?

Respuesta corta: sí.

Respuesta larga:

Probablemente, con la menor presencia de dmoz en Google, haya perdido parte de su importancia, y de hecho, ni antes ni ahora ha aportado demasiado tráfico directo. Pero sigue siendo un buen enlace que conseguir, sumado a los enlaces de todas las webs que reproducen el contenido del directorio. Y siempre existe la posibilidad de que algún buscador adopte un algoritmo que se base en la categorización de dmoz, como «Topic Sensitive PageRank».

Pero al fin y al cabo, es sólo un enlace más. Y dependiendo de la categoría de tu web, te será muy, muy difícil que la incluyan. Dmoz tiene un fuerte prejuicio anticomercial. Envía tu web, asegúrate de hacerlo según sus indicaciones, pero no pierdas más tiempo en ello, ni intentes buscar un subterfugio para colarte.

¿Sirve de algo dmoz a los usuarios?

Como he dicho, Google justificó la desparición de las categorías en los resultados del directorio por el bajo uso que se hacía de los mismo. De hecho, no es algo nuevo que los usuarios prefieran los buscadores a los directorios como fuente principal para localizar información en Internet. Y es lógico: un buscador te permite encontrar cualquier texto que se produzca en cualquier parte de una web, si ha sido convenientemente indexada; un directorio, en cambio ofrece un conjunto de informaciones muy limitado: la categoría, la descripción, y el título.

Sin embargo, hay ocasiones en las que el mecanismo de recuperación de información de un directorio es más adecuado. Cuando no buscamos una información concreta, sino webs que traten globalmente un tema, un directorio como Dmoz puede ser una mejor alternativa. Pero la realidad parece ser que que sólo lo usamos si antes nuestro buscador habitual no ha sido capaz de darnos la respuesta que buscábamos. (De hecho, probablemente, en la actualidad la mayor parte de usuarios de directorios no acudan a ellos directamente, sino que los encuentren a través de los buscadores.)

Y a causa de este papel como segunda fuente tras el buscador, personalmente lamento que Google haya decidido prescindir de los enlaces directos a las categorías de Dmoz, un recurso que yo usaba a menudo para encontrar webs sobre el mismo tema que las que había recuperado a través del buscador, y que por cierto solía ser mucho más acertado que su opción de «Páginas similares».

En cuanto a Dmoz versus otros directorios, incluso con todos sus problemas, hay que decir que la diferencia es cada día mayor. Ningún otro directorio dispone de la cantidad de recursos humanos para mantener al día, mal que bien, un directorio generalista. Incluso Yahoo está quedando cada vez más descolgado, dado que sólo se gestionan eficientemente las altas de pago, y la mayor parte de webs informativas que no tienen intereses comerciales, y por tanto no disponen de presupuesto de promoción quedan fuera de él.

Tu propio Dmoz

Una de las características de Dmoz frente a otros directorios es la posibilidad de sindicar sus contenidos, algo que no sólo pueden hacer los grandes portales, sino cualquiera que posea los medios para tratar los archivos en RDF (Resource Description Framework, un lenguaje de metadatos que se puede procesar como un archivo XML).(Los únicos imprescindibles son el de categorías y el de webs).