• ¿Cuál es la cantidad de tweets?
• ¿Qué se puede obtener con los APIs de Twitter?
• ¿Cuáles son las limitaciones del API de Twitter?
• ¿Qué persistencia tienen los tweets?

Lo que he averiguado lo he  representarlo en una infografía para los muy ocupados y en modo textual para los que su curiosidad sea aún mayor.

¿Cuál es la cantidad de tweets?

El número de usuarios de Twitter  y por tanto el de tweets generados tiene un crecimiento espectacular.  El despegue comenzó en el 2009 y en un año se ha multiplicado por 25.  Con este tráfico de entrada cualquier evento global es una prueba de fuego para Twitter, como ha sido el caso de la Wold Cup que nos ha traído de nuevo a la ballena azul.

Durante la segunda semana de la World Cup se ha alcanzado el record de  3.283 TPS (Tweets Per Second) y la media actual es de 750 TPS.  Esto hace casi inalcanzable obtener tal cantidad  de información (y almacenarla) por lo que habrá que pensar en  soluciones creativas para poder obtener los datos que se deseen.

¿Qué se puede obtener con los APIs de Twitter?

Twitter ofrece tres APIs:   Streaming API,  REST API y  Search API aplicables a necesidades diferentes.

El Streaming API proporciona un subset de tweets en casi tiempo real. Se establece una conexión permanente por usuario con los servidores de Twitter y mediante una petición http  se recibe un flujo continúo de tweets en formato json.  Se puede obtener una muestra aleatoria (statuses/sample), un filtrado (statuses/filter) por palabras claves o por usuarios. Sin embargo, los métodos más interesantes cómo obtener todo el caudal de tweets (statuses/firehose) o sólo los tweets que tienen enlaces (statuses/links) o los tweets con retweets (statuses/retweet) “Is not a generally available resource” :-(

El Search API suministra los tweets con una profundidad en el tiempo de 7 días que se ajustan a la query solicitada. Es posible filtrar por, cliente utilizado, lenguaje y localización. No requiere autenticación y los tweets se obtienen en formato json o  atom.

El REST API ofrece a los desarrolladores el acceso al core de los datos de Twitter. Todas las operaciones que se pueden hacer vía web son posibles realizarlas desde el API.  Dependiendo de la operación requiere o no autenticación, con el mismo criterio que en el acceso web. Sopota los formatos: xml, json, rss, atom.

El Search API ofrece una información más limitada del tweet,  en concreto sobre los datos del autor en el que solo indica el Id,  el screen_name y la url de su avatar. Los otros dos APIs si ofrecen el perfil completo del autor en el momento de la escritura del tweet.

¿Cuáles son las limitaciones de  los APIs de Twitter?

En el Streaming API el flujo es continuo y la velocidad de recepción de tweets tendrá fluctuaciones que dependerán del ancho de banda de los dos extremos de la conexión y la sobrecarga de los servidores de Twitter. Actualmente estoy haciendo medidas en dos servidores y publicaré los resultados tan pronto como estén disponibles.

En el Search API y en el REST API existe una limitación de 150 peticiones a la hora por usuario o por IP si la llamada no está autenticada.
Es importante saber cómo realizar la  paginación de las  peticiones de una manera óptima para sacarle el  máximo partido.

(*) hemos obtenido los seguidores de Barack Obama que sobrepasa los 4,5 millones de followers

¿Qué persistencia tienen los tweets?

Aunque todos los tweets residan en las BB.DD. de Twitter hay una limitación temporal para obtenerlos.

-



paco229 en su momento @congosto dijo que iba a publicar los scripts que usó para hacerlo #inp
8:01 AM May 19th via TweetChat

Le he sacado un poco de brillo al script y lo he documentado para que lo pueda usar quién esté interesado en sacar información de Twitter.

El script asume que el formato de entrada es el modo texto de la  herramienta tweetbackup. Está escrito en python y permite extraer la siguiente información de un conjunto de tweets:

• los autores y cuantos tweets han escrito
• las palabras y el número de veces que se han utilizado (es posible filtrar las palabras irrelevantes)
• los hastagh y el número de repeticiones
• el número de tweets por cada día
• el número de tweets por hora
• las urls y el número de repeticiones, el ranking de los sitios web mencionados y de los servicios acortadores de urls.

Descargar tweets_info.py

He aprovechado para cambiar el diseño de barriblog-wiki para publicar tambien allí las herramientas que vaya realizando. Espero que sean de utilidad

Correlación entre el nº de clicks y los RTs entre los tweets que se han retransmitido cinco o más veces.

Para acceder a la visualización interactiva, pulsar en la imagen

Una de las preguntas que me hacía en el análisis del hashtag #manifiesto era si existía alguna correlación entre la retransmisión de una url y el número de clicks que recibía. He podido comprobarlo analizando los clicks de la urls acordadas por el servicio bit.ly usando el API de bit.ly

En los datos recogidos hay valores muy extremos, siendo 0,007 el índice de correlación lineal de la muestra total. Aparecen urls con miles de clicks que no se han retransmitido, mientras que otras muy retransmitidas no han llegado a cien clicks. Sin embargo, si se calcula la  correlación segregando la muestra en función del número de RTs el índice aumenta hasta el 0,41 para las urls que han tenido 5 o más RTs (caso que ilustra la cabecera del post). La siguiente imagen muestra el índice de correlación entre los clicks y los RTs en función de la muestra segregada por nº de RTs.

No se puede concluir  nada concreto de estos datos y es preciso medir otros valores como el número de seguidores para intentar aproximarse  a una medida de la influencia del emisor del tweet. Para calcularla aún debo esperar un poco.

Antecedentes

Cuando analicé las urls del los tweets del hashtag #manifiesto, descubrí  que las urls acortadas son una barrera para estudiar los enlaces que aparecen en los tweets. De una muestra de 20.236 tweets que contenían links,  el 82% estaban acortados. El coste en tiempo que supone expandir la url y la tasa de error dificultan obtener el enlace real. Para alargar una url se precisa un acceso http por lo que se dispara el tiempo de tratamiento, pasando a hablar de unidades de segundo por enlace.

Comentando con mi grupo de investigación esta limitación estuvimos buscando alternativas para solventar el problema, como paralelizar los accesos http o intentar interactuar con los servicios acortadores. Siendo bit.ly con un 55,76%. el servicio más extendido parecía el candidato ideal para estudiar qué posibilidades ofrecía. @nordez, rápidamente vio el API de bit.ly y me pasó el enlace.

Aunque mi intención era intentar mejorar el tiempo de expansión de los enlaces utilizando el API por su posibilidad de enviar peticiones de un grupo de urls, me llamó la atención una opción que permite obtener el número de clicks de un link dado y me distrajo del objetivo. La información que proporciona el API de los clicks está muy simplificada, tan solo se obtienen los clicks por usuario y los globales, mucho menos de los que suministra la interfaz web cuando a la url corta de bit.ly se le añade un + al final, pero supongo que se estarán reservando para opciones premium.

Metodología

He probado el API de bit.ly con la librería Python-bitly de  yoav.aviram para analizar los clicks de las urls acortadas con bit.ly. Procesar 4.331 urls ha llevado 78m 50.546s. aproximadamente 1,09 segundos por url y se han producido 37 errores (0,85%).  De los datos obtenidos se han eliminado las urls que se han comprimido anónimamente porque no aparece su número de clicks, quedando en 3.636 urls. Todos lo datos obtenidos están disponibles en este dataset.

Enlaces relacionados:

• Blogs vs. Prensa en el hashtag #manifiesto
• Analizando el hashtag #manifiesto
• Resultados del estudio del hashtag #manifiesto (versión wiki)

Los errores sintácticos han sido uno de los problemas que me he encontrado al analizar el código HTML de los blogs con el programa  Lestat, como ya  escribí  hace tiempo en el post titulado  El diablo cojuelo.  Hace unas semanas  Norberto Fernández,  profesor de mi Departamento  me sugirió  que convirtiese el HTML de los blogs a XHTML y me indicó dos herramientas para hacerlo: tidy y html2xhtml.

Estas herramientas son capaces de convertir HTML en XHTML, ordenando, limpiando y corrigiendo los errores de markup.  Las ventajas de trabajar con XHTML son múltiples:  es un lenguaje de marcas bien estructurado, permite de recorrer el documento  con XPATH o con XSLT.

La herramienta tidy, disponible en lenguaje c y java, fue desarrollada por Dave Raggett y como dice su autor:

Is an open source utility for tidying up HTML. Tidy is composed from an HTML parser and an HTML pretty printer. The parser goes to considerable lengths to correct common markup errors. It also provides advice on how to make your pages more accessible to people with disabilities, and can be used to convert HTML content into XML as XHTML. Tidy is W3C open source and available free. It has been successfully compiled on a large number of platforms, and is being integrated into many HTML authoring tools. Recently the maintenance of Tidy has been taken over by a group of dedicated volunteers on SourceForge

La herramienta   html2xhtml se ofrece como servicio web y su código fuente está  disponible en lenguaje c que funciona tanto en plataformas GNU/Linux como Windows, aunque en su versión compilada sólo se ofrece para Windows, siendo necesario en otras plataformas compilarlo a partir de su código fuente.  Ha sido desarrollada por Jesús Arias Fisteus, profesor de la Universidad Carlos III y como dice su autor:

Is an open-source converter from HTML to XHTML. it converts HTML files into XHTML. It can fix many common errors in HTML files (e.g. missing end tags, elements with incorrect content model, non-standard elements or attributes, etc.) The output document type can be selected among several XHTML DTDs (1.0, 1.1, Basic, etc.).

He realizado una prueba  de estas dos herramientas sobre 100 blogs de la tesis de Tíscar Lara

Después de esta prueba  se me abren nuevos caminos para continuar el desarrollo de lestat. Pero como decía Scarlett O’Hara, “eso lo pensaré mañana”.

——–

He despertado a  Lestat para ampliar y mejorar sus funciones. Es una dura tarea retomar un programa que se ha dejado reposar demasiado tiempo. Con paciencia y perseverancia estoy intentando  volver a entenderlo como el día que lo  dejé aunque esto tiene su precio.

Una de las facturas que me ha pasado Lestat por este abandono ha sido un bug que me ha costado un poco encontrarlo. Estoy falta de reflejos pero en mi favor tengo que decir que el bug tenía  un sentido del humor muy sutil. Aquí lo cuento para que juzgue el lector:

Una de las funciones que le he añadido a Lestat es un fichero de configuración para darle más flexibilidad en la ejecución. Para ello he definido una gramática que permita describir la configuración y la he analizado con lex/bison.  Además de la  definición del léxico de la gramática puse una expresión regular para descartar caracteres en blanco, tabulaciones y saltos de línea de esta manera  [\ \t\n]* y un default para gestionar errores léxicos  que ejecutaba lo siguiente:

fprintf(stderr,  "Error lexico en linea %d. Mira a ver si \'%s\' es el culpable.\n",  yylineno, yytext);
fprintf(stderr,"Lestat le desea mejor suerte la proxima vez \n");

Al ejecutar el analizador del fichero de configuración obtenía un resultado incomprensible:

' es el culpable.inea 1. Mira a ver si '
Lestat le desea mejor suerte la próxima vez

Primero sospeché que la función fprintf tenía un error en los parámetros y que el stack estaba corrupto. Lo miré con tanta fijeza como incredulidad.  Tras muchas trazas y muchas vueltas encontré la explicación:

El fichero de configuración lo había escrito en Windows por lo que el  salto de línea era <CR><LF> (\r\n) en vez de carácter  de salto  de línea <LF> (\n) que utiliza unix. El análisis léxico detectaba el carácter  <CR>  como error léxico y se ejecutaba la sentencia:

fprintf(stderr,  "Error lexico en linea %d. Mira a ver si \'%s\' es el culpable.\n",  yylineno, yytext);

yytext contenía un <CR> que hacía que cuando se había escrito

Error lexico en linea 1. Mira a ver si '

Se volviera al inicio de la línea para escribir lo restante:

es el culpable.inea 1. Mira a ver si’

La solución al problema era tan sencilla como poner la expresión regular [\ \t\r\n]* para filtrar blancos, tabulaciones y salto de línea.

Estas son las cosas que pasan en la programación y que nos hacen perder mucho tiempo

El pasado miércoles asistí a una conferencia de Richard Stallman en el Medialab Prado. En un estupendo español, sin ppt que le amparase nos mostró sus ideas  en un discurso estructurado y coherente.

Habló de las cuatro libertades, de  cómo surgió GNU,  el impacto de linux en GNU, el conflicto de ideas entre en proyecto GNU y Linus Torvalds,  la importancia de difundir en termino GNU/linux y la conveniencia de que en la Administración Pública y en  la educación solo se utilice software libre.

Como una pequeña contribución me hago eco de la  difusión del término GNU-linux desde este blog. Al hablar de distribuciones de Software libre se menciona mayoritariamente el nombre de linux sin ninguna referencia a GNU. Linux es el núcleo, una parte muy importante, pero no es el todo. Las distribuciones incluyen linux con los componentes GNU. Al no mencionarlo no se reconoce la autoría, el esfuerzo ni los ideales de este proyecto. De ahí la importancia de llamarlo GNU/linux.

Se puede constatar el uso del término buscando en Google por “linux” o por  “GNU/linux“. En el primer caso  proporciona 456.000.000 resultados mientras que en el segundo ofrece 21.300.000  resultados, cantidad sensiblemente inferior.

Para ver el uso reciente del término “GNU/linux” frente a “linux“  nada mejor que buscar en las conversaciones de Twitter. Las visualizaciones que aparecen a continuación están realizadas con la herramienta  TwitterStreamGraphs que visualiza en una línea temporal los últimos doscientos posts del topic elegido. Si se pulsa en las imágenes se verán  en su tamaño real.

Topic  GNU/linux, velocidad 100 tweets/día. Unos de los topics asociados que sobresale es linux

Topic GNU: se parece como dos gotas de agua al topic  GNU/linux

Topic linux: velocidad 100 tweets/hora. Tiene asociado testimonialmente el topic GNU

Finalmente, desde aquí mi agradecimiento a Richard Stallman que entre sus muchas contribuciones al software libre se encuentra el hacer que Bison, programa que utilizo para BarriBlog, sea compatible con yacc.

Para poder mostrar que la visualización no es algo complejo se utilizará el mismo método de explicación que en las herramientas GraphViz y Pajek. mediante un procedimiento en tres pasos:

Preparar datos de origen: Los datos del meme recogidos en una hoja de cálculo se salvan en formato texto separados por tabulaciones.

Transformar datos a formato .xml: Se aplica un filtro awk al fichero de texto separado por tabulaciones y se genera un fichero en formato xml.

Generar el gráfico: Se procesa el fichero .xml con el programa TouchGraph Navigator

El resultado obtenido con TouchGraph se puede observar en estas tres imágenes estáticas. Corresponde a la agrupación de los blogs que han participado en el meme de Enjut@ Mojamut@ según: género, fecha de la participación y grado de influencia en la propagación. No ha sido posible publicar los resultados de una forma interactiva por razones que se explican más adelante.

Al pulsar en las imágenes aparecerán en su tamaño real.

	Agrupación por género: En el halo rosa se encuentran los blogs femeninos y en azul los masculinos Filtro awk fichero xml generado Comando para generar el fichero xml
	Agrupación en torno a la fecha de propagación: Los blogs aparecen agrupados por su coincidencia temporal en la propagación del meme. Filtro awk fichero xml generado Comando para generar el fichero xml
	Agrupación en relación en la influencia en la propagación del meme: Se han clasificado los blogs en cinco TIERs según el número total de memes de los que son origen, directa o indirectamente: TIER-5 50 o más de 50, TIER-4 entre 49 y 25, TIER-3 entre 24 y 10, TIER-2 entre 9 y 5, TIER-1 entre 4 y 1  y TIER 0 los que no ha propagado el meme. Filtro awk fichero xml generado Comando para generar el fichero xml

Entorno de ejecución:

TouchGraph Navigator aporta las siguientes mejoras sobre la versión liberada:

• Permite capturar los datos desde una hoja de cálculo Excel además de la opción del fichero XML. Esto facilita la captura de datos desde herramientas ofimáticas y no precisa una transformación de los datos a un formato XML.
• Amplía las posibilidades de visualización y mejora la estética.

Cuando empecé a utilizar la herramienta me pareció sencilla hasta que intenté visualizar “El meme de enjut@ Mojamut@”. Me llevó una semana descubrir que el tamaño si importa. Para que me funcionara tuve que acortar el número de nodos a 135 (elegí los blogs con una fecha más temprana de publicación del meme). Además, la interfaz Excel producía resultados erróneos aunque afortunadamente la entrada de datos por xml mostró mejor comportamiento.

El segundo tropiezo fue cuando intenté publicar en la web los resultados. Me devolvía el error de que no tenía licencia y me invitaba a pasar por caja. Por este motivo los resultados mostrados de la evaluación de la herramienta son estáticos en vez de dinámicos, como a mi me habría gustado. Por supuesto en la página de descarga de la versión de evaluación no se indicaba las limitaciones de la herramienta en cuanto al tamaño del grafo ni las condiciones para la publicación de los resultados en la Web. Solo me queda pedir una licencia como betatester a los de TouchGraph Navigator para poner a prueba su sensibilidad con los tesistas.

Aunque en la versión liberada la documentación es escasa, no me costó mucho hacerla funcionar. Sin embargo, TouchGraph Navigator, la versión de pago, ha resultado ser muy cansina. Durante dos semanas he intentado hacer que visualizase la propagación de El meme de Enjut@ Mojamut@ con resultados desconcertantes. Al final he llegado a la conclusión de que está limitado el numero de nodos de la red, no sé si en la versión de evaluación que me descargado o si el problema también existe en la versión de pago. Al menos he acotado el problema y he podido ver como funciona.

Por razones de extensión en este post se explicará como visualizar con la versión liberada de TouchGraph y dejaré para un segunda parte cómo usar TouchGraph Navigator y no morir en el intento.

Pulsando en la siguiente figura se accederá a la visualización de la propagación del meme de Enjut@ Mojamut@. Pido disculpas, pero solo funciona en Firefox.

Ayuda a la navegación:

Situación inicial:

1. Aparecen todos los nombres de los blogs agrupados. Situar el ratón encina de los nombres hasta que aparezca la palabra inicio.
2. Pulsar con el botón derecho del ratón y en el menú asociado seleccionar “Expand node”
3. Se desplegará la visualización.

Navegación:

• Barra superior: Controla el zoom. Hacia la derecha aumenta y hacia la izquierda disminuye
• Barra inferior: Controla el scroll
• Cursor sobre el nodo: Aparece información sobre el blog
• Botón derecho del ratón: Permite, expandir, comprimir o seleccionar el nodo
• Botón izquierdo del ratón: Enlaza al blog seleccionado en ese momento.

Información de los nodos:

• Color: Los nodos morados son de blogueras y los rojos son de Blogueros
• Formas: El rectángulo con esquinas redondeadas representa a los blogs que han propagado el meme y el rectángulo  a los blogs que no lo han propagado.
• Tamaño de letra: Las letras de tamaño grande corresponden a los blogs que han propagado indirectamente más de 10 memes, las letras más pequeñas a los que no han propagado ningún meme y las letras de tamaño mediano al resto.
• Número asociado: indica que el nodo está comprimido y que se puede expandir en n conexiones

¿Cómo lo he hecho?

Como ya es costumbre, para poder mostrar que la visualización no es algo complejo se utilizará el mismo método de explicación que en las herramientas GraphViz y Pajek. mediante un procedimiento en tres pasos:

Preparar datos de origen: Los datos del meme recogidos en una hoja de cálculo se salvan en formato texto separados por tabulaciones.

Transformar datos a formato .xml: Se aplica un filtro awk al fichero de texto separado por tabulaciones y se genera un fichero en formato xml.

Generar el gráfico: Se procesa el fichero .xml con el programa TouchGraph

• Filtro awk: memes_precedencias_touchgraph.awk
• fichero xml generado: precedencias.xml
• Comando para generar el fichero .xml

Entorno de ejecución local:

• Es necesario bajarse el  awk para Windows, tener instalada la maquina java y descargarse Touchgraph libeado.

Entorno de ejecución en servidor con java:

• Subir a un directorio: BrowserLauncher.jar, nanoxml-2.1.1.jar, TGGraphLayout.jar, TGLinkBrowser.jar, el fichero html para lanzar la visualización y el fichero xml.

Como comentaba en el post anterior, Pajek es más que un visualizador de grafos, es un programa de análisis de redes que nos permite descubrir características de los nodos de la red.

Una de las funcionalidades que ofrece Pajek es el cálculo de la matriz geodésica. Esta matriz contiene todos los posibles caminos de distancia geodésica entre los nodos de la red. La distancia geodésica es “el número mínimo de pasos de un nodo a otro“.

La figura que encabeza este post (pulsando en la imagen se puede ver a tamaño real), visualiza la matriz geodésica que nos muestra la conectividad total entre todos los nodos y nos permite apreciar visualmente los nodos que más han favorecido la propagación de El meme de Enjut@ Mojamut@: Seccion Femenina, Colgado de las telecomunicaciones, Consultoria artesana en red, Carlos Garcia Argos , El albañil de Software, BarriBlog, El bloc de Carmen Pla, Opcion Web, Gamoia,
Pisito en Madrid, Diario de una profesional con niños, Tiscar.com, Freak s city, Hecho en Marbella y Eduardo Collado.

Alguno de los que han participado en este meme los estoy siguiendo en Twitter, como @tiscar, @fernand0,@carmepla, @petezin,@chiqui, @amfumero, @davidbs, @julen, @pisitoenmadrid,@ecollado,@ebrito, @emper, @labambola.

Es pequeñito el barrio y coincidimos en muchos sitios.

Este post documenta el uso de la herramienta Pajek para visualizar la propagación del meme de Enjut@ Mojamut@, por tanto continua a la saga: Exprimiendo el meme de Enjut@ Mojamut@, Juntos pero no revueltos y Visualizando con GraphViz el meme de Enjut@ Mojamut@.

El proyecto Pajek, traducción del slovenio ‘Araña’, fue creado en 1996 por Vladimir Batagelj y Andrej Mrvar de la Universidad de Ljubljana, Slovenia. El Software de Pajek funciona bajo la plataforma de Windows y es de libre distribución para uso no comerciales. Es una herramienta muy completa para los que estudian redes complejas, entre ellas las sociales. En este manual se describen todas sus posibilidades. Entre sus funciones está la de visualizar grafos, cuyas posibilidades se explicarán a lo largo de este post.

Pajek trabaja con un formato de entrada .net. No tiene definida la gramática formal, pero se se ajusta a esta notación BNF.

Para poder mostrar que la visualización no es algo complejo se utilizará el mismo método de explicación que en la herramienta GraphViz. mediante un procedimiento en tres pasos:

Preparar datos de origen: Los datos del meme recogidos en una hoja de cálculo se salvan en formato texto separados por tabulaciones.

Transformar datos a formato .net: Se aplica un filtro awk al fichero de texto separado por tabulaciones y se genera un fichero en formato net.

Generar el gráfico: Se procesa el fichero .net con el programa Pajek

Al pulsar en las imágenes aparecerán en su tamaño real.

Se han realizado tres visualizaciones en 2D, cada una con un layout distinto. El filtro awk aplicado y el fichero .net generado es el mismo para las los tres layouts:

• Filtro awk: memes_precedencias_pajek.awk
• fichero net generado: precedencias.net
• Comando para generar el fichero .net

Entorno de ejecución es Windows

Pajek permite generar grafos en dos o tres dimensiones con distintos layouts y exportar a distintos formatos.

El pasado mes de marzo en un post titulado “Graphviz” se describió esta herramienta ilustrándola con varios ejemplos de visualización realizados por Gustavo Romero, estudiante de Telecomunicaciones en la Universidad Carlos III. Basándome en su experiencia (tuvo la amabilidad de pasarme sus fuentes) la he aplicado al meme de Enjut@ Mojamu@ haciendo algunos cambios en el tipo de herramienta de filtrado de datos. A continuación se describe el procedimiento en tres pasos:

Preparar datos de origen: Los datos del meme recogidos en una hoja de cálculo se salvan en formato texto separados por tabulaciones.

Transformar datos a formato dot: Se aplica un filtro awk al fichero de texto separado por tabulaciones y se genera un fichero en formato dot.

Generar el gráfico: Se procesa el fichero dot con el programa Graphviz.

Se han realizado tres visualizaciones que se presentan a continuación indicando el filtro awk aplicado, el fichero dot generado y el tipo de visualización elegida. En el post de Graphviz se explican los tipos de visualización de esta herramienta.

Al pulsar en las imágenes aparecerán en su tamaño real.

	Grafo libre: Esta visualización corresponde al dibujo de la propagación del meme sin ninguna restricción. Filtro awk: memes_precedencias.awk fichero dot generado: precedencias.dot Formato de salida: fdp (implementa el heurístico Fruchterman-Reingold) Comando para generar el fichero dot
	Grafo por nivel de propagación: esta visualización corresponde al dibujo de la propagación del meme en la que se ha forzado a que los nodos se sitúen en su nivel de propagación. Filtro awk: memes_precedencias_nivel.awk fichero dot generado: precedencias_nivel.dot Formato de salida: dot Comando para generar el fichero dot
	Grafo por tiempo de propagación: esta visualización corresponde al dibujo de la propagación del meme en la que se ha forzado a que los nodos se sitúen en su día publicación. Filtro awk: memes_precedencias_tiempo.awk fichero dot generado: precedencias_tiempo.dot Formato de salida: dot Comando para generar el fichero dot

Entornos de ejecución

Barriblog necesita analizar el código HTML de TODAS las páginas de los blogs para encontrar sus relaciones. Es la única manera de poder establecer los vínculos de vecindad salvo que alguien más astuto este guardando todos los rss de los blogs desde el inicio de la blogosfera. Estoy segura que esa información está en algún lugar pero no creo que me dieran un API para acceder a ella ni para una tesis doctoral. El único camino que queda es arremangarse y sacar la información desde fuera.

Llevo un mes dejándome las pestañas en esquivar todos los errores del código HTML de los blogs que estoy analizando. No es fácil cumplir la W3C, prácticamente nadie la cumple, ni siquiera el código que generan las plataformas de blogs se ajustan al estándar. A esta dificultad hay que añadir la mano de los bloggers incrustando HTML a su libre albedrío, que he podido comprobar cuan diverso es: no cabría ni en la long tail.

Mi buen amigo Jesús Sánchez conoce mi capacidad de esquivar los obstáculos en la programación. En el taller de visualización quedó un poco escandalizado de los trucos de una experimentada softwarera. Toda esa capacidad la he desplegado para BarriBlog pero en este momento, tras gestionar siete flags de contexto para sortear los fallos sintácticos, he exclamado antes de incluir el octavo: ¡BASTA YA! En su lugar acabo de implementar una rutina de manejo de errores sintácticos: El código HTML que no cubran los siete flags lo desecho y me sincronizo con el siguiente TAG. Ya me duele tirar información pero todo tiene su límite y hoy lo he alcanzado

Me ha venido a la cabeza el delicioso libro “El diablo Cojuelo” que leí en mi juventud mientras entraba en las tripas de los blogs para que Lestat, el programa raíz de BarriBlog, les succionara la información para estructurarla. Esto me ha permitido ver el interior de los blogs al margen de su fachada o fama. Algo parecido lo que vio Don Cleofás cuando el Diablo Cojuelo, como pago de su a liberación, le mostró los hogares de Madrid por dentro y qué miserias esconden:

Y levantando a los techos de los edificios, por arte diabólica, lo hojaldrado, se descubrió la carne del pastelón de Madrid como entonces estaba, patentemente, que por el mucho calor estivo estaba con menos celosías, y tanta variedad de sabandijas racionales en esta arca del mundo, que la del diluvio, comparada con ella, fue de capas y gorras.

He analizado los 100 blogs de la tesis de Tiscar y de algunos de mis blogs favoritos. Sorprendería lo que he visto y dónde lo he visto, pero como mujer discreta que soy me reservo el secreto como si fuera de confesión y no daré nombres, pero es difícil que olvide a los blogs que me han hecho perder tanto tiempo.

También he descubierto algunas cosas del código HTML que genera Blogger, pero eso como Schehrazada lo dejaré para otro día

Aún me quedan unas cuantas fases de lestat pero por fin he cerrado el capítulo del adaptarme al medio de sintaxis difusas. Ahora, iré al grano.

Desde aquí le doy las gracias a las personas que están colaborando en el proyecto: Jesús Sánchez, Tiscar Lara, y Pilar Gonzalo, al equipo de Bestiario que nos han orientado visualmente y al director del taller Jose Luis de Vicente y a todo el equipo de MediaLab por hacer esto posible.

Después de volver a la línea de comandos he oscilado por todos los posibles estados de ánimo positivos y negativos: entusiasmo, frustración, desesperación, esperanza, cansancio, tedio…

Volver a teclear una aplicación desde cero, es algo que tenía olvidado en alguna parte de mi cerebro. Empecé con el entusiasmo propio de arrancar algo nuevo, me frustré hasta llegar a la desesperación. Empecé con el problema de. NO ME COMPILA pasé al NO SE EJECUTA y de allí a algo peor NO SE EJECUTA COMO YO PIENSO. Vi la luz y con ello llegó la esperanza pero el trabajo se torno en repetitivo y tedioso y me costaba ponerme a teclear.

Mi hada madrina me toco con una varita mágica y encontré en un post de Tíscar esa ilusión que tanta falta me hacía:

Convocatoria para la presentación de comunicaciones y proyectos

Se abre la convocatoria para la selección de trabajos teóricos que se presentarán en el simposio internacional Visualizar, así como para la selección de las propuestas que se llevarán a cabo durante el taller de producción dirigido por Benjamin Fry, Bestiario y Adrian Holovaty…..

Me tendré que poner las pilas no sea que en un reloj den las 12:00 y se rompa el hechizo

Después de algunas tentativas, esta semana me he instalado el entorno de desarrollo en mi portátil. Estoy utilizando cygwin que me da el mismo servicio que tener que instalado linux para desarrollar los programas de BarriBlog ¡He vuelto a la línea de comandos!

cygwin es una librería que emula linux sobre windows y en un entorno like-linux. Lo que se desarrolla sobre cygwin se puede ejecutar en un entorno linux compilando los fuentes. Los administradores de cygwin también se encargan de estructurar el SW de GNU en paquetes para que se realicen las instalaciones del entorno de desarrollo a medida. Me he instalado flex (versión del lex del UNIX), bison (adaptado por el mismísimo Richard Stallman para hacerlo compatible con yacc de UNIX), el compilador de c, el make y el editor vin (versión mejorada del editor vi), más un conjunto básico de comandos.

He rescatado del fondo de armario unas macros para el editor “vi” que ponen cabeceras a los programas para documentarlos como Dios manda. El diseño original de estas cabeceras data del 1980, del primer proyecto en el que trabajé ¡Y aún están vigentes! La metodología SW que aprendí en mi primer trabajo ha ido conmigo por todos los proyectos mejorándose y automatizándose. Este proyecto no iba a ser menos.

Me he sorprendido después de tantos años pervertida por el entorno gráfico de Windows que la línea de comandos me sea tan cómoda. De forma automática voy recordando todo, incluso el editor “vi” que me costó muchísimo aprender porque no es nada evidente y le tomé cierta tirria. Vean esta canción dedicada a editor vi.

Podría emular a  Fray Luis de León diciendo algo como: “Como tecleábamos ayer..” Pero me pude dar cuenta que el tiempo pasa cuando le conté con toda mi ilusión a un compañero que ya tenía el entorno de desarrollo de BarriBlog y me contestó:
- ¡Estas loca! ¿Lo vas a programar tu? ¡Venga, mujer! ¡Eso se subcontrata!
Porca miseria de los tiempos que corren