En el mes de marzo va a hacer un año que hice de Python  mi lenguaje de programación predeterminado y creo que tomé una buena decisión. Me encanta programar en este lenguaje, me cunde mucho el  trabajo y puedo resolver cualquier duda en su documentación o en las experiencias de sus entusiastas seguidores.

Todo empezó cuando Norberto, Fernández compañero de mi grupo de investigación, publicó este tweet

Google's Python Class: a free class for people with a bit of programming experience who want to learn Python http://tinyurl.com/yejg432

March 23, 2010 23:29 via webReplyRetweetFavorite

@nordez

nordez

Inicié el curso por la mañana y por la tarde ya había hecho los ejercicios. Al día siguiente empecé a programar las herramientas que usé en el experimento de Manifiesto. Nunca  había tenido una curva de aprendizaje tan rápida con un lenguaje de programación.

El curso de Google es muy básico pero te da ese mínimo que te permite empezar a programar. Las dudas que no me resolvía este curso las solventaba rápidamente consultando la documentación. Cuando ésta  no era suficiente bastaba buscar en Google “how to…. in python” y ¡voilà!, encontraba la respuesta.

Una de las páginas Web que me han ayudado en conocer más a fondo este lenguaje de programación es mundo geek, un blog escrito por Raul González Duque, ex-alumno de la Universidad Carlos III y autor también de un tutorial de Python.  En un post (Java vs. Python) de su blog encontré con esta cita, con la que estoy totalmente de acuerdo:

Tengo la impresión de que Java fue diseñado para hacer que fuera difícil escribir mal código, mientras que Python está diseñado para hacer que sea sencillo escribir buen código.

– Magnus Lycka

Otra de las características de Python es el humor, no en vano su nombre proviene de los míticos  Monty Python’s.

By the way, the language is named after the BBC show “Monty Python’s Flying Circus” and has nothing to do with reptiles. Making references to Monty Python skits in documentation is not only allowed, it is encouraged!

No voy a repetir por qué es tan bueno Python, en su página ya lo explican estupendamente. Pero si además se quiere hacer la prueba del nueve: solo hay que buscar información sobre él y  se aterrice donde se aterrice, siempre se encontrará el latido del entusiasmo.

Resumiendo: Python hace de la programación un placer. I ♥ Python y muchos más también

Actualización 20-10-20110:  La grabación de la primera jornada del Taller  disponible aquí

Ayer por la tarde nos reunimos en CAMON Madrid unos cuantos entusiastas de la visualización. Como era de esperar ha sido grupo heterogéneo que hemos llegado a la visualización desde distintas profesiones pero con similares necesidades: transmitir información, conocimiento o ideas mediante un impacto visual. El taller fue emitido en streaming por  Camon y La Información el primer medio español con una sección de visualización.

En mi caso la visualización me ayuda a analizar los datos que investigo, a validar los algoritmos y a presentar los resultados de una forma más divulgativa. Lo que he aprendido ha sido gracias a Internet y a bastantes horas de autoaprendizaje.

Este primer día de taller he presentado una visión global del estado del arte de la visualización, el data set que se va a utilizar en los talleres y he realizado algunas visualizaciones con el servicio ManyEyes.

Aquí está la presentación:

Aquí las primeras visualizaciones:

¿Quién fue más mencionado Navarro o Gasol? interactuen y vean..
¿Cuantas palabras españolas hay entre las más pronunciadas?

Agudeza visual: ¿qué dos paises se parecen más en sus menciones?
¿Cuantos twitean desde su iPhone?

¿En que lugar esta España en cuanto menciones en el Turkey2010?

Llevo unos meses sin actualizar el blog debido a mi dedicación con pico y pala a la extracción y análisis de datos en Twitter, labor nada trivial ni exenta de riesgos como se podrá constatar tras leer los obstáculos más importantes que me he encontrado en el ejercicio del data mining Twitter:

1. No hay conexión que tres días dure: El uso del streaming API requiere una conexión permanente. Pero esta conexión se puede romper (y se rompe) por unos de los dos extremos: el de Twitter y el del propio servidor. Dado que la captura de datos para un experimento puede durar meses, es evidente que hay un problema importante que resolver.
2. Agua que no has de beber, déjala correr: desde que el flujo de tweets es del orden de 700 TPS (Tweets Per Second) no hay conexión que los soporte ni servidor que lo almacene, aparte de que Twitter no permite la modalidad de statuses/firehose a cualquiera. Por tanto, hay que elegir lo que se quiere recibir y consecuentemente renunciar al resto.
3. ¿Qué fue antes la gallina o el huevo? Cuando se quiere monitorizar un evento anunciado no se sabe de antemano cuales serán los hashtag dominantes  ya que son los usuarios de Twitter los que mandan y marcan las tendencias. Cuando se quiere monitorizar un hashtag que es trendring es ya too late: con el Streaming API se habrán perdido todos los tweets que lo auparon a la cima y con el search API solo se obtendrá los 1.500 últimos tweets. Véase el caso de la huelga general del 29-O ¿Quién iba a saber de antemano cual serían los hashtags más usados?
4. Nunca están todos los tweets que son ni son todos los que están: Cuando se escogen los hashtags para monitorizar la información deseada es como jugar a las siete y media: que te pasas o que no llegas: Si se eligen hashtags que no son muy específicos se corre el riesgo de que haya tweets que no sean relevantes (problemas de ambiguación) y si se opta por otros más específicos se quedarán muchos tweets en el tintero, eso sin contar a la cantidad de tweets que no se etiquetan mediante hashtags.
5. El tamaño sí importa. Una captura de continua de tweets durante meses significa un volumen de información muy considerable, tanto para almacenar como para procesar. A 50 TPS, guardando la información en modo texto plano (200bytes) son 10K por segundo, 600K por minuto, 36 Megas por hora, 864 megas, casi un giga, al día.

El data mining en Twitter requiere paciencia, perseverancia e ingenio. Es necesario saber de antemano que se trabaja en un entorno difuso y que hay que adaptarse al medio para capturar la información de la manera más eficiente. Estos son unos consejos para obtener tweets y no morir en el intento:

1. Para mantener la conexión siempre viva es necesario realizar una aplicación de captura de tweets robusta y resolver el problema de la disponibilidad de servidores
   La aplicación de captura de tweets cuando pierda la conexión con Twitter debe intentar restablecerla de nuevo hasta que lo consiga y dejar toda la historia de las conexiones en un fichero de log.
   Es preciso crear un daemon para arrancar esta aplicación automáticamente en el inicio del sistema y para pararla de una manera ordenada antes del apagado del servidor. Si la captura de tweets no se realiza en paralelo con un servidor de backup es conveniente que el daemon avise mediante un email de alerta antes de ser apagado para activar la captura en un servidor provisional.
2. Para elegir los hashtags hay que anticiparse “adivinando” los hashtags triunfadores, monitorizar por exceso e ir ajustando los hashtags conforme vayan definiéndose. Esto requiere estar pendiente de lo que ocurre en Twitter hasta que se tengan identificados los hashtags relevantes  y que la aplicación de captura de tweets permita ser reconfigurada sobre la marcha.
3. Para seleccionar la información relevante hay que posprocesar la información obtenida actuando en tres frentes: crear filtros para eliminar posible spam, suprimir información no relevante, y refinar la selección que ofrece Twitter:
   • Filtrar spam es fácil porque los spamers son muy cansinos: Twittean siempre lo mismo y los hacen con algún bot de forma compulsiva. Cuando se selecciona el top de los autores quedan al descubierto. Solo es necesario crear un filtro de tweets con los nombres de usuarios spamers más destacados.
   • Filtrar información no relevante lo más práctico es buscar el top de los hashtags y ver cuales de ellos no son relevantes con los datos que estamos analizando y se les añade al filtro de tweets.
   • Refinar selección de Twitter: Twitter intenta dar información por exceso, por ejemplo si monitorizamos el hashtags #esp, enviará los tweets que contengan esp o #esp, tanto en mayúsculas como en minúsculas. En algunos casos esto no es conveniente y se debe hacer un filtrado más estricto de los hashtags.
4. Para aliviar el uso masivo de disco se pueden almacenar los tweets  en módulos de un tamaño manejable y comprimirlos. Algunos lenguajes como Python son capaces de abrir ficheros comprimidos e incluso leerlos a la misma velocidad que a la de los descomprimidos.

Espero que estos consejos sean de utilidad y si alguien está trabajando con datos de Twitter y quiere compartir experiencias, me encantaría que contactase conmigo.

Actualmente Twitter es una de las mayores fuentes de información en tiempo real de Internet alimentada por millones de usuarios. Durante el último mes he intentado buscar respuestas estas preguntas:

• ¿Cuál es la cantidad de tweets?
• ¿Qué se puede obtener con los APIs de Twitter?
• ¿Cuáles son las limitaciones del API de Twitter?
• ¿Qué persistencia tienen los tweets?

Lo que he averiguado lo he  representarlo en una infografía para los muy ocupados y en modo textual para los que su curiosidad sea aún mayor.

¿Cuál es la cantidad de tweets?

El número de usuarios de Twitter  y por tanto el de tweets generados tiene un crecimiento espectacular.  El despegue comenzó en el 2009 y en un año se ha multiplicado por 25.  Con este tráfico de entrada cualquier evento global es una prueba de fuego para Twitter, como ha sido el caso de la Wold Cup que nos ha traído de nuevo a la ballena azul.

Durante la segunda semana de la World Cup se ha alcanzado el record de  3.283 TPS (Tweets Per Second) y la media actual es de 750 TPS.  Esto hace casi inalcanzable obtener tal cantidad  de información (y almacenarla) por lo que habrá que pensar en  soluciones creativas para poder obtener los datos que se deseen.

¿Qué se puede obtener con los APIs de Twitter?

Twitter ofrece tres APIs:   Streaming API,  REST API y  Search API aplicables a necesidades diferentes.

El Streaming API proporciona un subset de tweets en casi tiempo real. Se establece una conexión permanente por usuario con los servidores de Twitter y mediante una petición http  se recibe un flujo continúo de tweets en formato json.  Se puede obtener una muestra aleatoria (statuses/sample), un filtrado (statuses/filter) por palabras claves o por usuarios. Sin embargo, los métodos más interesantes cómo obtener todo el caudal de tweets (statuses/firehose) o sólo los tweets que tienen enlaces (statuses/links) o los tweets con retweets (statuses/retweet) “Is not a generally available resource” :-(

El Search API suministra los tweets con una profundidad en el tiempo de 7 días que se ajustan a la query solicitada. Es posible filtrar por, cliente utilizado, lenguaje y localización. No requiere autenticación y los tweets se obtienen en formato json o  atom.

El REST API ofrece a los desarrolladores el acceso al core de los datos de Twitter. Todas las operaciones que se pueden hacer vía web son posibles realizarlas desde el API.  Dependiendo de la operación requiere o no autenticación, con el mismo criterio que en el acceso web. Sopota los formatos: xml, json, rss, atom.

El Search API ofrece una información más limitada del tweet,  en concreto sobre los datos del autor en el que solo indica el Id,  el screen_name y la url de su avatar. Los otros dos APIs si ofrecen el perfil completo del autor en el momento de la escritura del tweet.

¿Cuáles son las limitaciones de  los APIs de Twitter?

En el Streaming API el flujo es continuo y la velocidad de recepción de tweets tendrá fluctuaciones que dependerán del ancho de banda de los dos extremos de la conexión y la sobrecarga de los servidores de Twitter. Actualmente estoy haciendo medidas en dos servidores y publicaré los resultados tan pronto como estén disponibles.

En el Search API y en el REST API existe una limitación de 150 peticiones a la hora por usuario o por IP si la llamada no está autenticada.
Es importante saber cómo realizar la  paginación de las  peticiones de una manera óptima para sacarle el  máximo partido.

(*) hemos obtenido los seguidores de Barack Obama que sobrepasa los 4,5 millones de followers

¿Qué persistencia tienen los tweets?

Aunque todos los tweets residan en las BB.DD. de Twitter hay una limitación temporal para obtenerlos.

-



Tenía pendiente hacer pública la herramienta que utilicé  en el experimento del hashtag #manifiesto y en el resumen visual de la conferencia WWW2010. Me lo ha recordado @paco229 en este tweet:

paco229 en su momento @congosto dijo que iba a publicar los scripts que usó para hacerlo #inp
8:01 AM May 19th via TweetChat

Le he sacado un poco de brillo al script y lo he documentado para que lo pueda usar quién esté interesado en sacar información de Twitter.

El script asume que el formato de entrada es el modo texto de la  herramienta tweetbackup. Está escrito en python y permite extraer la siguiente información de un conjunto de tweets:

• los autores y cuantos tweets han escrito
• las palabras y el número de veces que se han utilizado (es posible filtrar las palabras irrelevantes)
• los hastagh y el número de repeticiones
• el número de tweets por cada día
• el número de tweets por hora
• las urls y el número de repeticiones, el ranking de los sitios web mencionados y de los servicios acortadores de urls.

Descargar tweets_info.py

He aprovechado para cambiar el diseño de barriblog-wiki para publicar tambien allí las herramientas que vaya realizando. Espero que sean de utilidad

Correlación entre el nº de clicks y los RTs entre los tweets que se han retransmitido cinco o más veces.

Para acceder a la visualización interactiva, pulsar en la imagen

Una de las preguntas que me hacía en el análisis del hashtag #manifiesto era si existía alguna correlación entre la retransmisión de una url y el número de clicks que recibía. He podido comprobarlo analizando los clicks de la urls acordadas por el servicio bit.ly usando el API de bit.ly

En los datos recogidos hay valores muy extremos, siendo 0,007 el índice de correlación lineal de la muestra total. Aparecen urls con miles de clicks que no se han retransmitido, mientras que otras muy retransmitidas no han llegado a cien clicks. Sin embargo, si se calcula la  correlación segregando la muestra en función del número de RTs el índice aumenta hasta el 0,41 para las urls que han tenido 5 o más RTs (caso que ilustra la cabecera del post). La siguiente imagen muestra el índice de correlación entre los clicks y los RTs en función de la muestra segregada por nº de RTs.

No se puede concluir  nada concreto de estos datos y es preciso medir otros valores como el número de seguidores para intentar aproximarse  a una medida de la influencia del emisor del tweet. Para calcularla aún debo esperar un poco.

Antecedentes

Cuando analicé las urls del los tweets del hashtag #manifiesto, descubrí  que las urls acortadas son una barrera para estudiar los enlaces que aparecen en los tweets. De una muestra de 20.236 tweets que contenían links,  el 82% estaban acortados. El coste en tiempo que supone expandir la url y la tasa de error dificultan obtener el enlace real. Para alargar una url se precisa un acceso http por lo que se dispara el tiempo de tratamiento, pasando a hablar de unidades de segundo por enlace.

Comentando con mi grupo de investigación esta limitación estuvimos buscando alternativas para solventar el problema, como paralelizar los accesos http o intentar interactuar con los servicios acortadores. Siendo bit.ly con un 55,76%. el servicio más extendido parecía el candidato ideal para estudiar qué posibilidades ofrecía. @nordez, rápidamente vio el API de bit.ly y me pasó el enlace.

Aunque mi intención era intentar mejorar el tiempo de expansión de los enlaces utilizando el API por su posibilidad de enviar peticiones de un grupo de urls, me llamó la atención una opción que permite obtener el número de clicks de un link dado y me distrajo del objetivo. La información que proporciona el API de los clicks está muy simplificada, tan solo se obtienen los clicks por usuario y los globales, mucho menos de los que suministra la interfaz web cuando a la url corta de bit.ly se le añade un + al final, pero supongo que se estarán reservando para opciones premium.

Metodología

He probado el API de bit.ly con la librería Python-bitly de  yoav.aviram para analizar los clicks de las urls acortadas con bit.ly. Procesar 4.331 urls ha llevado 78m 50.546s. aproximadamente 1,09 segundos por url y se han producido 37 errores (0,85%).  De los datos obtenidos se han eliminado las urls que se han comprimido anónimamente porque no aparece su número de clicks, quedando en 3.636 urls. Todos lo datos obtenidos están disponibles en este dataset.

Enlaces relacionados:

• Blogs vs. Prensa en el hashtag #manifiesto
• Analizando el hashtag #manifiesto
• Resultados del estudio del hashtag #manifiesto (versión wiki)

Los errores sintácticos han sido uno de los problemas que me he encontrado al analizar el código HTML de los blogs con el programa  Lestat, como ya  escribí  hace tiempo en el post titulado  El diablo cojuelo.  Hace unas semanas  Norberto Fernández,  profesor de mi Departamento  me sugirió  que convirtiese el HTML de los blogs a XHTML y me indicó dos herramientas para hacerlo: tidy y html2xhtml.

Estas herramientas son capaces de convertir HTML en XHTML, ordenando, limpiando y corrigiendo los errores de markup.  Las ventajas de trabajar con XHTML son múltiples:  es un lenguaje de marcas bien estructurado, permite de recorrer el documento  con XPATH o con XSLT.

La herramienta tidy, disponible en lenguaje c y java, fue desarrollada por Dave Raggett y como dice su autor:

Is an open source utility for tidying up HTML. Tidy is composed from an HTML parser and an HTML pretty printer. The parser goes to considerable lengths to correct common markup errors. It also provides advice on how to make your pages more accessible to people with disabilities, and can be used to convert HTML content into XML as XHTML. Tidy is W3C open source and available free. It has been successfully compiled on a large number of platforms, and is being integrated into many HTML authoring tools. Recently the maintenance of Tidy has been taken over by a group of dedicated volunteers on SourceForge

La herramienta   html2xhtml se ofrece como servicio web y su código fuente está  disponible en lenguaje c que funciona tanto en plataformas GNU/Linux como Windows, aunque en su versión compilada sólo se ofrece para Windows, siendo necesario en otras plataformas compilarlo a partir de su código fuente.  Ha sido desarrollada por Jesús Arias Fisteus, profesor de la Universidad Carlos III y como dice su autor:

Is an open-source converter from HTML to XHTML. it converts HTML files into XHTML. It can fix many common errors in HTML files (e.g. missing end tags, elements with incorrect content model, non-standard elements or attributes, etc.) The output document type can be selected among several XHTML DTDs (1.0, 1.1, Basic, etc.).

He realizado una prueba  de estas dos herramientas sobre 100 blogs de la tesis de Tíscar Lara

Después de esta prueba  se me abren nuevos caminos para continuar el desarrollo de lestat. Pero como decía Scarlett O’Hara, “eso lo pensaré mañana”.

——–

He despertado a  Lestat para ampliar y mejorar sus funciones. Es una dura tarea retomar un programa que se ha dejado reposar demasiado tiempo. Con paciencia y perseverancia estoy intentando  volver a entenderlo como el día que lo  dejé aunque esto tiene su precio.

Una de las facturas que me ha pasado Lestat por este abandono ha sido un bug que me ha costado un poco encontrarlo. Estoy falta de reflejos pero en mi favor tengo que decir que el bug tenía  un sentido del humor muy sutil. Aquí lo cuento para que juzgue el lector:

Una de las funciones que le he añadido a Lestat es un fichero de configuración para darle más flexibilidad en la ejecución. Para ello he definido una gramática que permita describir la configuración y la he analizado con lex/bison.  Además de la  definición del léxico de la gramática puse una expresión regular para descartar caracteres en blanco, tabulaciones y saltos de línea de esta manera  [\ \t\n]* y un default para gestionar errores léxicos  que ejecutaba lo siguiente:

fprintf(stderr,  "Error lexico en linea %d. Mira a ver si \'%s\' es el culpable.\n",  yylineno, yytext);
fprintf(stderr,"Lestat le desea mejor suerte la proxima vez \n");

Al ejecutar el analizador del fichero de configuración obtenía un resultado incomprensible:

' es el culpable.inea 1. Mira a ver si '
Lestat le desea mejor suerte la próxima vez

Primero sospeché que la función fprintf tenía un error en los parámetros y que el stack estaba corrupto. Lo miré con tanta fijeza como incredulidad.  Tras muchas trazas y muchas vueltas encontré la explicación:

El fichero de configuración lo había escrito en Windows por lo que el  salto de línea era <CR><LF> (\r\n) en vez de carácter  de salto  de línea <LF> (\n) que utiliza unix. El análisis léxico detectaba el carácter  <CR>  como error léxico y se ejecutaba la sentencia:

fprintf(stderr,  "Error lexico en linea %d. Mira a ver si \'%s\' es el culpable.\n",  yylineno, yytext);

yytext contenía un <CR> que hacía que cuando se había escrito

Error lexico en linea 1. Mira a ver si '

Se volviera al inicio de la línea para escribir lo restante:

es el culpable.inea 1. Mira a ver si’

La solución al problema era tan sencilla como poner la expresión regular [\ \t\r\n]* para filtrar blancos, tabulaciones y salto de línea.

Estas son las cosas que pasan en la programación y que nos hacen perder mucho tiempo

El pasado miércoles asistí a una conferencia de Richard Stallman en el Medialab Prado. En un estupendo español, sin ppt que le amparase nos mostró sus ideas  en un discurso estructurado y coherente.

Habló de las cuatro libertades, de  cómo surgió GNU,  el impacto de linux en GNU, el conflicto de ideas entre en proyecto GNU y Linus Torvalds,  la importancia de difundir en termino GNU/linux y la conveniencia de que en la Administración Pública y en  la educación solo se utilice software libre.

Como una pequeña contribución me hago eco de la  difusión del término GNU-linux desde este blog. Al hablar de distribuciones de Software libre se menciona mayoritariamente el nombre de linux sin ninguna referencia a GNU. Linux es el núcleo, una parte muy importante, pero no es el todo. Las distribuciones incluyen linux con los componentes GNU. Al no mencionarlo no se reconoce la autoría, el esfuerzo ni los ideales de este proyecto. De ahí la importancia de llamarlo GNU/linux.

Se puede constatar el uso del término buscando en Google por “linux” o por  “GNU/linux“. En el primer caso  proporciona 456.000.000 resultados mientras que en el segundo ofrece 21.300.000  resultados, cantidad sensiblemente inferior.

Para ver el uso reciente del término “GNU/linux” frente a “linux“  nada mejor que buscar en las conversaciones de Twitter. Las visualizaciones que aparecen a continuación están realizadas con la herramienta  TwitterStreamGraphs que visualiza en una línea temporal los últimos doscientos posts del topic elegido. Si se pulsa en las imágenes se verán  en su tamaño real.

Topic  GNU/linux, velocidad 100 tweets/día. Unos de los topics asociados que sobresale es linux

Topic GNU: se parece como dos gotas de agua al topic  GNU/linux

Topic linux: velocidad 100 tweets/hora. Tiene asociado testimonialmente el topic GNU

Finalmente, desde aquí mi agradecimiento a Richard Stallman que entre sus muchas contribuciones al software libre se encuentra el hacer que Bison, programa que utilizo para BarriBlog, sea compatible con yacc.

Como comentaba en el post anterior llevo varias semanas lidiando con TouchGraph Navigator, la versión de pago de Google. Me ha recordado a los programas de Microsoft que son de pago, pero funcionan mal. Esta herramienta se ajusta al estilo minimalista de Google, por ese motivo los mensajes de error son tan transparentes que no se ven. Esta estética no favorece nada a la depuración y hace perder mucho tiempo.

Para poder mostrar que la visualización no es algo complejo se utilizará el mismo método de explicación que en las herramientas GraphViz y Pajek. mediante un procedimiento en tres pasos:

Preparar datos de origen: Los datos del meme recogidos en una hoja de cálculo se salvan en formato texto separados por tabulaciones.

Transformar datos a formato .xml: Se aplica un filtro awk al fichero de texto separado por tabulaciones y se genera un fichero en formato xml.

Generar el gráfico: Se procesa el fichero .xml con el programa TouchGraph Navigator

El resultado obtenido con TouchGraph se puede observar en estas tres imágenes estáticas. Corresponde a la agrupación de los blogs que han participado en el meme de Enjut@ Mojamut@ según: género, fecha de la participación y grado de influencia en la propagación. No ha sido posible publicar los resultados de una forma interactiva por razones que se explican más adelante.

Al pulsar en las imágenes aparecerán en su tamaño real.

	Agrupación por género: En el halo rosa se encuentran los blogs femeninos y en azul los masculinos Filtro awk fichero xml generado Comando para generar el fichero xml
	Agrupación en torno a la fecha de propagación: Los blogs aparecen agrupados por su coincidencia temporal en la propagación del meme. Filtro awk fichero xml generado Comando para generar el fichero xml
	Agrupación en relación en la influencia en la propagación del meme: Se han clasificado los blogs en cinco TIERs según el número total de memes de los que son origen, directa o indirectamente: TIER-5 50 o más de 50, TIER-4 entre 49 y 25, TIER-3 entre 24 y 10, TIER-2 entre 9 y 5, TIER-1 entre 4 y 1  y TIER 0 los que no ha propagado el meme. Filtro awk fichero xml generado Comando para generar el fichero xml

Entorno de ejecución:

TouchGraph Navigator aporta las siguientes mejoras sobre la versión liberada:

• Permite capturar los datos desde una hoja de cálculo Excel además de la opción del fichero XML. Esto facilita la captura de datos desde herramientas ofimáticas y no precisa una transformación de los datos a un formato XML.
• Amplía las posibilidades de visualización y mejora la estética.

Cuando empecé a utilizar la herramienta me pareció sencilla hasta que intenté visualizar “El meme de enjut@ Mojamut@”. Me llevó una semana descubrir que el tamaño si importa. Para que me funcionara tuve que acortar el número de nodos a 135 (elegí los blogs con una fecha más temprana de publicación del meme). Además, la interfaz Excel producía resultados erróneos aunque afortunadamente la entrada de datos por xml mostró mejor comportamiento.

El segundo tropiezo fue cuando intenté publicar en la web los resultados. Me devolvía el error de que no tenía licencia y me invitaba a pasar por caja. Por este motivo los resultados mostrados de la evaluación de la herramienta son estáticos en vez de dinámicos, como a mi me habría gustado. Por supuesto en la página de descarga de la versión de evaluación no se indicaba las limitaciones de la herramienta en cuanto al tamaño del grafo ni las condiciones para la publicación de los resultados en la Web. Solo me queda pedir una licencia como betatester a los de TouchGraph Navigator para poner a prueba su sensibilidad con los tesistas.

Este post se lo dedico a Loretahur, a la que admiro en sus múltiples facetas y que en un plis-plas me ha solucionado el problema de alojamiento de la visualización en TouchGraph. Muchas gracias Lorena.

TouchGraph es un programa escrito en java que permite visualizar y navegar interactivamente por redes de información interrelacionada. Existen dos modalidades, una versión liberada en sourceforge y una versión de pago propiedad de Google. He querido probar ambas versiones antes de publicar este post.

Aunque en la versión liberada la documentación es escasa, no me costó mucho hacerla funcionar. Sin embargo, TouchGraph Navigator, la versión de pago, ha resultado ser muy cansina. Durante dos semanas he intentado hacer que visualizase la propagación de El meme de Enjut@ Mojamut@ con resultados desconcertantes. Al final he llegado a la conclusión de que está limitado el numero de nodos de la red, no sé si en la versión de evaluación que me descargado o si el problema también existe en la versión de pago. Al menos he acotado el problema y he podido ver como funciona.

Por razones de extensión en este post se explicará como visualizar con la versión liberada de TouchGraph y dejaré para un segunda parte cómo usar TouchGraph Navigator y no morir en el intento.

Pulsando en la siguiente figura se accederá a la visualización de la propagación del meme de Enjut@ Mojamut@. Pido disculpas, pero solo funciona en Firefox.

Ayuda a la navegación:

Situación inicial:

1. Aparecen todos los nombres de los blogs agrupados. Situar el ratón encina de los nombres hasta que aparezca la palabra inicio.
2. Pulsar con el botón derecho del ratón y en el menú asociado seleccionar “Expand node”
3. Se desplegará la visualización.

Navegación:

• Barra superior: Controla el zoom. Hacia la derecha aumenta y hacia la izquierda disminuye
• Barra inferior: Controla el scroll
• Cursor sobre el nodo: Aparece información sobre el blog
• Botón derecho del ratón: Permite, expandir, comprimir o seleccionar el nodo
• Botón izquierdo del ratón: Enlaza al blog seleccionado en ese momento.

Información de los nodos:

• Color: Los nodos morados son de blogueras y los rojos son de Blogueros
• Formas: El rectángulo con esquinas redondeadas representa a los blogs que han propagado el meme y el rectángulo  a los blogs que no lo han propagado.
• Tamaño de letra: Las letras de tamaño grande corresponden a los blogs que han propagado indirectamente más de 10 memes, las letras más pequeñas a los que no han propagado ningún meme y las letras de tamaño mediano al resto.
• Número asociado: indica que el nodo está comprimido y que se puede expandir en n conexiones

¿Cómo lo he hecho?

Como ya es costumbre, para poder mostrar que la visualización no es algo complejo se utilizará el mismo método de explicación que en las herramientas GraphViz y Pajek. mediante un procedimiento en tres pasos:

Preparar datos de origen: Los datos del meme recogidos en una hoja de cálculo se salvan en formato texto separados por tabulaciones.

Transformar datos a formato .xml: Se aplica un filtro awk al fichero de texto separado por tabulaciones y se genera un fichero en formato xml.

Generar el gráfico: Se procesa el fichero .xml con el programa TouchGraph

• Filtro awk: memes_precedencias_touchgraph.awk
• fichero xml generado: precedencias.xml
• Comando para generar el fichero .xml

Entorno de ejecución local:

• Es necesario bajarse el  awk para Windows, tener instalada la maquina java y descargarse Touchgraph libeado.

Entorno de ejecución en servidor con java:

• Subir a un directorio: BrowserLauncher.jar, nanoxml-2.1.1.jar, TGGraphLayout.jar, TGLinkBrowser.jar, el fichero html para lanzar la visualización y el fichero xml.

Como comentaba en el post anterior, Pajek es más que un visualizador de grafos, es un programa de análisis de redes que nos permite descubrir características de los nodos de la red.

Una de las funcionalidades que ofrece Pajek es el cálculo de la matriz geodésica. Esta matriz contiene todos los posibles caminos de distancia geodésica entre los nodos de la red. La distancia geodésica es “el número mínimo de pasos de un nodo a otro“.

La figura que encabeza este post (pulsando en la imagen se puede ver a tamaño real), visualiza la matriz geodésica que nos muestra la conectividad total entre todos los nodos y nos permite apreciar visualmente los nodos que más han favorecido la propagación de El meme de Enjut@ Mojamut@: Seccion Femenina, Colgado de las telecomunicaciones, Consultoria artesana en red, Carlos Garcia Argos , El albañil de Software, BarriBlog, El bloc de Carmen Pla, Opcion Web, Gamoia,
Pisito en Madrid, Diario de una profesional con niños, Tiscar.com, Freak s city, Hecho en Marbella y Eduardo Collado.

Alguno de los que han participado en este meme los estoy siguiendo en Twitter, como @tiscar, @fernand0,@carmepla, @petezin,@chiqui, @amfumero, @davidbs, @julen, @pisitoenmadrid,@ecollado,@ebrito, @emper, @labambola.

Es pequeñito el barrio y coincidimos en muchos sitios.

Este post documenta el uso de la herramienta Pajek para visualizar la propagación del meme de Enjut@ Mojamut@, por tanto continua a la saga: Exprimiendo el meme de Enjut@ Mojamut@, Juntos pero no revueltos y Visualizando con GraphViz el meme de Enjut@ Mojamut@.

El proyecto Pajek, traducción del slovenio ‘Araña’, fue creado en 1996 por Vladimir Batagelj y Andrej Mrvar de la Universidad de Ljubljana, Slovenia. El Software de Pajek funciona bajo la plataforma de Windows y es de libre distribución para uso no comerciales. Es una herramienta muy completa para los que estudian redes complejas, entre ellas las sociales. En este manual se describen todas sus posibilidades. Entre sus funciones está la de visualizar grafos, cuyas posibilidades se explicarán a lo largo de este post.

Pajek trabaja con un formato de entrada .net. No tiene definida la gramática formal, pero se se ajusta a esta notación BNF.

Para poder mostrar que la visualización no es algo complejo se utilizará el mismo método de explicación que en la herramienta GraphViz. mediante un procedimiento en tres pasos:

Preparar datos de origen: Los datos del meme recogidos en una hoja de cálculo se salvan en formato texto separados por tabulaciones.

Transformar datos a formato .net: Se aplica un filtro awk al fichero de texto separado por tabulaciones y se genera un fichero en formato net.

Generar el gráfico: Se procesa el fichero .net con el programa Pajek

Al pulsar en las imágenes aparecerán en su tamaño real.

Se han realizado tres visualizaciones en 2D, cada una con un layout distinto. El filtro awk aplicado y el fichero .net generado es el mismo para las los tres layouts:

• Filtro awk: memes_precedencias_pajek.awk
• fichero net generado: precedencias.net
• Comando para generar el fichero .net

Entorno de ejecución es Windows

Pajek permite generar grafos en dos o tres dimensiones con distintos layouts y exportar a distintos formatos.

Este post es la continuación de la entrada “Juntos pero no revueltos” y aquí se publicarán algunas visualizaciones estáticas del meme de Enjut@ Mojamut@ y el proceso que he seguido para obtenerlas. El objetivo es mostrar que visualizar está al alcance de todos los que quieran ponerse a ello.

El pasado mes de marzo en un post titulado “Graphviz” se describió esta herramienta ilustrándola con varios ejemplos de visualización realizados por Gustavo Romero, estudiante de Telecomunicaciones en la Universidad Carlos III. Basándome en su experiencia (tuvo la amabilidad de pasarme sus fuentes) la he aplicado al meme de Enjut@ Mojamu@ haciendo algunos cambios en el tipo de herramienta de filtrado de datos. A continuación se describe el procedimiento en tres pasos:

Preparar datos de origen: Los datos del meme recogidos en una hoja de cálculo se salvan en formato texto separados por tabulaciones.

Transformar datos a formato dot: Se aplica un filtro awk al fichero de texto separado por tabulaciones y se genera un fichero en formato dot.

Generar el gráfico: Se procesa el fichero dot con el programa Graphviz.

Se han realizado tres visualizaciones que se presentan a continuación indicando el filtro awk aplicado, el fichero dot generado y el tipo de visualización elegida. En el post de Graphviz se explican los tipos de visualización de esta herramienta.

Al pulsar en las imágenes aparecerán en su tamaño real.

	Grafo libre: Esta visualización corresponde al dibujo de la propagación del meme sin ninguna restricción. Filtro awk: memes_precedencias.awk fichero dot generado: precedencias.dot Formato de salida: fdp (implementa el heurístico Fruchterman-Reingold) Comando para generar el fichero dot
	Grafo por nivel de propagación: esta visualización corresponde al dibujo de la propagación del meme en la que se ha forzado a que los nodos se sitúen en su nivel de propagación. Filtro awk: memes_precedencias_nivel.awk fichero dot generado: precedencias_nivel.dot Formato de salida: dot Comando para generar el fichero dot
	Grafo por tiempo de propagación: esta visualización corresponde al dibujo de la propagación del meme en la que se ha forzado a que los nodos se sitúen en su día publicación. Filtro awk: memes_precedencias_tiempo.awk fichero dot generado: precedencias_tiempo.dot Formato de salida: dot Comando para generar el fichero dot

Entornos de ejecución

Barriblog necesita analizar el código HTML de TODAS las páginas de los blogs para encontrar sus relaciones. Es la única manera de poder establecer los vínculos de vecindad salvo que alguien más astuto este guardando todos los rss de los blogs desde el inicio de la blogosfera. Estoy segura que esa información está en algún lugar pero no creo que me dieran un API para acceder a ella ni para una tesis doctoral. El único camino que queda es arremangarse y sacar la información desde fuera.

Llevo un mes dejándome las pestañas en esquivar todos los errores del código HTML de los blogs que estoy analizando. No es fácil cumplir la W3C, prácticamente nadie la cumple, ni siquiera el código que generan las plataformas de blogs se ajustan al estándar. A esta dificultad hay que añadir la mano de los bloggers incrustando HTML a su libre albedrío, que he podido comprobar cuan diverso es: no cabría ni en la long tail.

Mi buen amigo Jesús Sánchez conoce mi capacidad de esquivar los obstáculos en la programación. En el taller de visualización quedó un poco escandalizado de los trucos de una experimentada softwarera. Toda esa capacidad la he desplegado para BarriBlog pero en este momento, tras gestionar siete flags de contexto para sortear los fallos sintácticos, he exclamado antes de incluir el octavo: ¡BASTA YA! En su lugar acabo de implementar una rutina de manejo de errores sintácticos: El código HTML que no cubran los siete flags lo desecho y me sincronizo con el siguiente TAG. Ya me duele tirar información pero todo tiene su límite y hoy lo he alcanzado

Me ha venido a la cabeza el delicioso libro “El diablo Cojuelo” que leí en mi juventud mientras entraba en las tripas de los blogs para que Lestat, el programa raíz de BarriBlog, les succionara la información para estructurarla. Esto me ha permitido ver el interior de los blogs al margen de su fachada o fama. Algo parecido lo que vio Don Cleofás cuando el Diablo Cojuelo, como pago de su a liberación, le mostró los hogares de Madrid por dentro y qué miserias esconden:

Y levantando a los techos de los edificios, por arte diabólica, lo hojaldrado, se descubrió la carne del pastelón de Madrid como entonces estaba, patentemente, que por el mucho calor estivo estaba con menos celosías, y tanta variedad de sabandijas racionales en esta arca del mundo, que la del diluvio, comparada con ella, fue de capas y gorras.

He analizado los 100 blogs de la tesis de Tiscar y de algunos de mis blogs favoritos. Sorprendería lo que he visto y dónde lo he visto, pero como mujer discreta que soy me reservo el secreto como si fuera de confesión y no daré nombres, pero es difícil que olvide a los blogs que me han hecho perder tanto tiempo.

También he descubierto algunas cosas del código HTML que genera Blogger, pero eso como Schehrazada lo dejaré para otro día

Aún me quedan unas cuantas fases de lestat pero por fin he cerrado el capítulo del adaptarme al medio de sintaxis difusas. Ahora, iré al grano.