El parser de barriblog ya sabe hacer lo que brute Force. Lo estoy haciendo en flex y bison(yacc y lex) porque necesito analizar no solo los enlaces, sino también el contexto en que se encuentran. Distingo entre:

Enlaces recomendados
Citas (enlaces dentro de post
Comentarios (enlaces en los comentarios)

Estoy intentando que BarriBlog no solo lea la página del blog sino todo su archivo y sea capaz de poder definir el perfil del blog con algunos parámetros como: la frecuencia de publicación, la conversación, el grado de multimedia, etc..

en el post ¡Uff, qué susto! explicaba con más detalle las diferencias entre walk2web y BarriBlog.

En cuanto lo consiga te lo haré saber.

De nuevo muchas gracias por los ánimos.

No conozco todo el proyecto, por lo que quizás lo que digo no te sirve del todo:

Yo estoy también en un proyecto de “visualización de enlaces”. La forma que me ha funcionado mejor ha sido “brute force”: un script (PHP en mi caso) se descarga la página y mediante Regular Expressions extrae todos los links. Aunque parezca lo contrario, el tiempo de proceso por página es mínimo.
Una vez tienes el listado de links, es más fácil ver al dominio al que apuntan, si es relativo al mismo blog o apunta hacia fuera, etc.

Con el spider que me hice acabé con una base de datos de más de 83.000 páginas… ahora queda representarlos! :S