(Al pulsar en la imagen se mostrará en su tamaño real)

Datos de interés

• Usuarios: se han recogido 3093 tweets en los que se han detectado  9001,24 tweets/usuario. el 20% de los usuarios han escrito el 71,35% de los tweets. Los 10 usuarios más activos han sido: @futureweb2010 (125), @LaTerribleLiz (119), @BoraZ ( 96), @fabien_gandon ( 88), @smalljones (67),  @tommyh @olgag (57),  @apisanty (47), @karenchurch.

• Urls: se han encontrado  1.112 urls, de las cuales 549 eran distintas, con un índice de repetición de 2,03. Se han detectado 845 urls acortadas, lo que supone un 76%. El servicio cortador más extendido es bit.ly con un 65,9%.
• Tendencias: Se detecta un interés creciente en Twitter. En la conferencia WWW2009 se utilizó  como herramienta de comunicación y ahora se estudia como fenómeno emergente. Se encuentra presente en el top ten de las urls con más RTs y clicks.
• RT vs. Clicks: No se ha encontrado una correlación entre el número de retransmisiones de los tweets y el numero de clicks alcanzados, como se puede ver en la siguiente figura:

Metodología

• Se han utilizado herramientas propia para extraer la información (programadas en Python)
• Se ha utilizado el API de bit.ly con la librería Python-bitly de  yoav.aviram para obtener los clicks y las urls reales y el número de clicks
• Las visualizaciones se han realizado con many eyes

DataSet:

• www2010

Post relacionados:

• WWW2009
• WWW2009: 20 y 21 de abril
• WWW2009: 22 y 23 de abril

Correlación entre el nº de clicks y los RTs entre los tweets que se han retransmitido cinco o más veces.

Para acceder a la visualización interactiva, pulsar en la imagen

Una de las preguntas que me hacía en el análisis del hashtag #manifiesto era si existía alguna correlación entre la retransmisión de una url y el número de clicks que recibía. He podido comprobarlo analizando los clicks de la urls acordadas por el servicio bit.ly usando el API de bit.ly

En los datos recogidos hay valores muy extremos, siendo 0,007 el índice de correlación lineal de la muestra total. Aparecen urls con miles de clicks que no se han retransmitido, mientras que otras muy retransmitidas no han llegado a cien clicks. Sin embargo, si se calcula la  correlación segregando la muestra en función del número de RTs el índice aumenta hasta el 0,41 para las urls que han tenido 5 o más RTs (caso que ilustra la cabecera del post). La siguiente imagen muestra el índice de correlación entre los clicks y los RTs en función de la muestra segregada por nº de RTs.

No se puede concluir  nada concreto de estos datos y es preciso medir otros valores como el número de seguidores para intentar aproximarse  a una medida de la influencia del emisor del tweet. Para calcularla aún debo esperar un poco.

Antecedentes

Cuando analicé las urls del los tweets del hashtag #manifiesto, descubrí  que las urls acortadas son una barrera para estudiar los enlaces que aparecen en los tweets. De una muestra de 20.236 tweets que contenían links,  el 82% estaban acortados. El coste en tiempo que supone expandir la url y la tasa de error dificultan obtener el enlace real. Para alargar una url se precisa un acceso http por lo que se dispara el tiempo de tratamiento, pasando a hablar de unidades de segundo por enlace.

Comentando con mi grupo de investigación esta limitación estuvimos buscando alternativas para solventar el problema, como paralelizar los accesos http o intentar interactuar con los servicios acortadores. Siendo bit.ly con un 55,76%. el servicio más extendido parecía el candidato ideal para estudiar qué posibilidades ofrecía. @nordez, rápidamente vio el API de bit.ly y me pasó el enlace.

Aunque mi intención era intentar mejorar el tiempo de expansión de los enlaces utilizando el API por su posibilidad de enviar peticiones de un grupo de urls, me llamó la atención una opción que permite obtener el número de clicks de un link dado y me distrajo del objetivo. La información que proporciona el API de los clicks está muy simplificada, tan solo se obtienen los clicks por usuario y los globales, mucho menos de los que suministra la interfaz web cuando a la url corta de bit.ly se le añade un + al final, pero supongo que se estarán reservando para opciones premium.

Metodología

He probado el API de bit.ly con la librería Python-bitly de  yoav.aviram para analizar los clicks de las urls acortadas con bit.ly. Procesar 4.331 urls ha llevado 78m 50.546s. aproximadamente 1,09 segundos por url y se han producido 37 errores (0,85%).  De los datos obtenidos se han eliminado las urls que se han comprimido anónimamente porque no aparece su número de clicks, quedando en 3.636 urls. Todos lo datos obtenidos están disponibles en este dataset.

Enlaces relacionados:

• Blogs vs. Prensa en el hashtag #manifiesto
• Analizando el hashtag #manifiesto
• Resultados del estudio del hashtag #manifiesto (versión wiki)

Nunca se sabe la dificultad que entraña hacer algo hasta que no se pone una a ello. Pensé que sería trivial extraer las urls de los tweets del hashtag #manifiesto y me equivoqué de lado a lado. La mayor barrera han sido las urls acortadas que es necesario expandirlas para poder analizarlas. Este pequeño detalle implica acceder a la web (consumo masivo de tiempo) y bregar con los errores de las urls (los errores humanos y de red). El script para extraer esta información ha tardado en ejecutarse más de 12 horas y debido a los errores he tenido que lanzarlo cuatro veces. Pero la paciente labor del investigador siempre tiene su recompensa y a continuación presento el análisis de las 20.236 urls que he obtenido.

Mapa de sitios más referenciados en los tweets

(Para acceder a  la visualización interactiva pulsar en la imagen)

La imagen anterior ilustra el reparto de menciones a sitios web estructurados por blogs, prensa, redes sociales, TV, video, Organizaciones,wikis, etc..  Se ha utilizado una visualización treemap que ilustra muy bien la parcelación de los sitios webs al ser el tamaño de las “parcelas“  directamente proporcional al número de referencias. Como se puede observar, hay dos grandes “fincas”: las de los blogs y la de la prensa, el resto de medios se aglutina en una tercer territorio misceláneo. El terreno de los blogs es ligeramente más extenso y está bastante uniformemente distribuido, destacando Mangas Verdes, eDans y Alt140. En el territorio de la prensa dominan cuatro latifundios El Pais, Público,  ABC, 20 Minutos y El Mundo. Cabe destacar que ha circulado más información textual que multimedia.

La siguiente imagen muestra el  topten de sitios mencionados En él se encuentran presentes la prensa, las redes sociales y los  blogs.

(Para acceder a  la visualización interactiva pulsar en la imagen)

Topten de tweets mencionados

Analizando el detalle de las 6.199 urls diferentes encontradas se observa que los mensajes que más se han difundido han sido los de los blogs, dos grupos de facebook, un vídeo de youtube, un wiki de una organización y un post de una cadena de televisión. Las noticias de los grandes medios de prensa se han difundido menos.

Como curiosidad la url más mencionada http://es.twirus.com/ con 321 menciones es un servicio que twitea los hashtags más calientes y por tanto se ha excluido del ranking.

Acortadores de urls

Una característica de los tweets es el uso de acortadores de urls para optimizar el espacio de los tweets. El 82% de las urls estaban acortadas. Me he sorprendido al identificar 103 acortadores diferentes. Se observa que además de los servicios web, algunos blogs utilizan su propio sistema de reducción del tamaño de sus urls.

bit.ly destaca sobre todos los sistemas de acortar url con un 55.76% seguido de tinyurl.com con una cuota del 16.17%

(Para acceder a  la visualización interactiva pulsar en la imagen. )

Conclusiones

Metodología usada

• Se ha utilizado el lenguaje python para extraer la información
• Se extrajeron 21.905 urls con una tasa de fallo por error de acceso al descomprimir las urls acortadas del 7,6%. El proceso de extracción duró más de 12 horas
  
• Se procesaron automáticamente 20.236 urls para obtener los sitios más mencionados, las urls más referenciadas y los  distintos acortadores de url.  Se ha realizado una revisión manual de las urls acortadas porque dieron algunos falsos positivos

El data set

• Los datos obtenidos y procesados se encuentran en esta hoja de cálculo

Enlaces relacionados:

• Blogs vs. Prensa en el hashtag #manifiesto
• Analizando el hashtag #manifiesto
• Resultados del estudio del hashtag #manifiesto (versión wiki)

El 2 de diciembre de 2009 pude observar en twitter el revuelo suscitado por la Ley de Economía Sostenible que contenía un caramelo envenenado para la cultura libre. Los tweets se fueron agrupando en torno al hashtag #manifiesto y en ese momento pensé en monitorizar esta información para analizarlo pasado unos meses. No me engañó la intuición.

El pasado 1 de abril, aprovechando las vacaciones y que tenía que practicar Python me puse a extraer alguna información relevante de los 37.131 tweets que tenía en ese momento. A falta de de tener a punto la herramienta que está haciendo un alumno en su PFC, usé el servicio tweet backup. No fue posible exportar los datos en formato rss debido a un error del servicio, posiblemente por el tamaño del fichero y lo descargué en formato html.

Me quedaba bastante trabajo por hacer pero fui sacando algunas píldoras de información por Twitter y contactando con los más destacados twitadores del hashtag #manifiesto: @edyvidal, @paco229 y @casteleiro. Tengo que agradecerles sus ideas y su ayuda a la difusión de los tweets.

Hoy, la Asociación de Internautas, el Portal TIC, el ABC y 20 minutos se han hecho eco de una de las visualizaciones que publique en Many Eyes y divulgué vía twitter. Como ha quedado la información un poco dispersa la voy a ir agrupándola en el blog como paso previo a la publicación en wiki de los experimentos

Autores

Se han detectado 6.449 autores diferentes, que siguen la ley de Pareto: el 20% de los autores han escrito el 78,35% de los tweets.

Gracias a la idea que me dio @paco229 visualicé en Many Eyes la cantidad de tweets publicados por los usuarios. El data set no es completo porque los 6.449 eran muchos para visualizar y solo subí a 298 autores que habían publicado más de 20 twets. El data set completo se puede obtener aquí.

Conversación:

Se extrajeron las palabras de los tweets eliminando las que eran irrelevantes como artículos y preposiciones.  Se obtuvieron dos versiones que se visualizaron con Wordle

	Versión con RT: no se filtró el RT para que se pudiera observar la proporción entre la retransmisión de mensajes y mensajes originales. Como se puede apreciar la propagación ha sido muy intensa. Pulsar en la imagen para verla en su tamaño real
	Versión sin RT: filtrando los RT para que se pudiera ver la proporción de las palabras de la conversación más usadas. Pulsar en la imagen para verla en su tamaño real.

datset hashtag

El tiempo

La frecuencia de tweets ha ido variando y se ha incrementado en en momentos claves como: 8-1-2010 primera reunión de Red Sostenible y 19-3-2010 se aprueba llevar la Ley al congreso sin cambios

Este es su timeline

Respecto a las horas de publicación, la hora punta de es las 12:00 a.m.

dataset de los datos de tiempo



Con este post se finaliza el estudio de propagación de la campaña de TijerasNo. En este caso se visualiza la tercera cuestión del experimento: ¿Influyó Twitter en la propagación?

.

Propagación de la campaña TijerasNO en Twitter y blogs from M. Luz Congosto on Vimeo.

Se ha escogido una visualización con un layout circular realizada con la herramienta SoNIA. El código de color es:

• Azul twitter: para los bloggers que SI tienen usuario en Twitter
• Negro: para los que NO tienen usuario Twitter

El tamaño de los nodos es directamente proporcional al número de enlaces entrantes al blog, por tanto los de mayor tamaño son los hubs.

Como se observa en la visualización en las primeras horas del inicio de la campaña hay un conjunto de blogs que tiene dos características: son hubs y tienen usuario Twitter. El resto de la campaña se propagó por blogs que en su mayoría no tienen usuario Twitter.

Llama la atención el escaso número de bloggers partidarios de la ciencia que están en el twitterverse, lo que induce a pensar que  twitter no está tan extendido como parece entre los bloggers.

Conclusión

Twitter influyó al propagar la campaña  rápidamente a entre blogs que tienen  bastante influencia y que  actuaron de detonante para extender  la campaña en la blogoesfera que se comportó como una lenta mecha que dio lugar a la publicación de más de mil posts el día 7 de octubre y cuya repercusión saltó a otros medios de comunicación.

Twitter y los blogs son dos medios diferentes que se complementan y se necesitan para la propagación de campañas.

Datos de entrada a la herramienta:

• SoNIA:  fichero barrio-link-twitter.son en formato .son.

Experimento completo en BarriBlog Wiki

En este post visualiza la segunda cuestión del experimento: ¿Cómo fue la propagación? Para ello he tenido que recurrir a herramientas que permitan cierta interactividad y no he encontrado ninguna que me haya convencido al 100%, por lo que muestro dos visualizaciones en distintas herramientas. Se han utilizado SoNIA y Pajek, ambas permiten visualizaciones teniendo en cuenta la evolución en el tiempo.

Visualización con SoNIA

Layout circular con los enlaces invisibles para resaltar los nombres de los Hubs

.

Propagación de la campaña TijerasNO en los blogs. Layout circular from M. Luz Congosto on Vimeo.

.

Visualización con Pajek

Layout Fruchterman-Reingold ajustado manualmente.

.
.

Propagación blogs de TijerasNO. Layout Fruchterman-Reingold from M. Luz Congosto on Vimeo.

.

El código de color es el mismo que se utilizó en la visualización del post anterior:
• Verde los adheridos antes del día D (7 de octubre)
• Rojo los adheridos el día D,
• Azul los adheridos después del día D

El tamaño de los nodos es directamente proporcional al número de enlaces entrantes, por tanto los de mayor tamaño son los hubs.

Como se observa en ambas visualizaciones, en la propagación de los tres primeros días, del 2 al 5 de octubre, participan la mayoría de los Hubs, durante los dos días siguientes ningún Hub se hace eco. El día D, el 7 de octubre, un Hub y bastante blogs poco conectados se apuntan a la campaña, posiblemente debido a la repercusión del evento en medios externos a la blogosfera. Después de la campaña la propagación se apaga lentamente aunque el día  9 de octubre aparece un Hub tardío.

Datos de entrada a las herramientas:

• SoNIA:  fichero barrio-link.son en formato .son.
• Pajek: fichero barrio-link.net en formato .net.

La campaña de “Tijeras No”  fue una reacción contra los recortes de I+D en la que afloraron el barrio de blogs vinculados a la Ciencia. La movilización a favor de la Ciencia y la rápida propagación de la campaña despertó mi curiosidad asaltándome una serie de preguntas que han sido la motivación que me ha llevado a recoger los datos de los participantes en la campaña para analizarlos.

Con este experimento se intentará responder a las preguntas:

1. ¿Qué relación existe entre los blogs que han participado en la campaña de la campaña?
2. ¿Cómo fue la propagación?
3. ¿Influyó Twitter en la propagación?

¿Qué relación existe entre los blogs que han participado en la campaña de la campaña?

Capture your screen in seconds

En el siguiente vídeo contiene una animación de la red que forman los blogs que no amaban los recortes en la ciencia. El código de color es:

• Verde los adheridos antes del día D (7 de octubre)
• Rojo los adheridos el día D,
• Azul los adheridos después del día D

El tamaño de los nodos es directamente proporcional al número de enlaces entrantes, por tanto los de mayor tamaño son los hubs.

La red tiene 1012 nodos y un núcleo pequeño bien conectado (36%) y una extensa periferia sin conectar (64%). El número de enlaces entrantes de cada blog desde los blogs que participaron en la campaña sigue, una power law, como se puede ver en esta visualización que se ha generado en manyeyes. El 20% de los blogs tiene más del 80% de los enlaces.

En el grafo destacan como hubs los siguientes blogs:

aldea-irreductible.blogspot.com (65),  escolar.net (45),  paleofreak.blogalia.com (37), cienciakanija.com (35), fogonazos.blogspot.com (32), eumafeag.blogspot.com (28),  fisicacf.blogspot.com (27), malaciencia.info (21),  danielmarin.blogspot.com (17). biogeocarlos.blogspot.com (17),

Metodología:

• Data set: se obtuvo de los comentarios del post de la convocatoria de La aldea irreductible. Consta de 1012 urls de los blogs adheridos a la campaña con su timestamp.
  Estos datos se han transformado con la herramienta lestat para calcular los enlaces entre los blogs. Este es el dataset en formato textual separado por tabulaciones.
• Recursos gráficos: se usa la visualización de un grafo en el que los nodos son los blogs y sus enlaces los arcos. Se realizarán distintos layauts según la necesidad de análisis y se establece una simbología basada en:

• El color: se utiliza el color para clasificar los distintos nodos. Por ejemplo se aplica el color para distinguir con que celeridad se han apuntado los blogs a la campaña o qué blogs tienen usuario Twitter y cuales no.
• Tamaño: se aplican distintos tamaños a los nodos según su importancia dentro del grafo. Uno de los criterios de importancia es el número de enlaces entrantes que tiene cada blog, lo que permite identificar visualmente cuales son los hubs de esta red.

• Herramientas: se utilizan Pajek, SoNIA y Gephi.

En este caso se ha usado la herramienta java Gephi, que es muy adecuada por sus features para visualizar redes de cierto tamaño. El formato de entrada a la herramienta es gexf que incluye el tiempo como atributo para poder realizar visualizaciones dinámicas, aunque aún no han liberado esa funcionalidad.  ¡¡¡¡Estoy expectante de que lo hagan!!!!

Para los más curiosos dejo los datos de entrada para Gephi para que puedan ver con sus propios ojos cómo funciona la herramienta:

Se han generado dos visualizaciones

• Genérico: con sólo los nombres de los hubs para facilitar una visualización en pequeño tamaño. Fichero con los datos gexf y proyecto para cargar en gephi
• Detallado: con los nombres de todos los blogs para poder navegar el grafo haciendo zoom y viendo todos los detalles de los nodos. Fichero con los datos gexf y proyecto para cargar en gephi

El zoom en Gephi se controla con la rueda del ratón.

Experimento completo en BarriBlog Wiki

La siguiente imagen es el tag cloud de los títulos de los 794 795 posts que se escribieron para la campaña en la que participaron 898 899 blogs, entre ellos el mío.

Para buscar este barrio de blogs tuve que realizar algunas tareas automáticas y otras manuales. Siempre luchado contra el paso del tiempo que entierra los post en el subsuelo de las homepages y complica la búsqueda. Estos son las pasos que seguí para descubrir los blogs.

1. Fuentes  existentes de la información

1. Comentarios del post de la convocatoria: La forma de apuntarse a la iniciativa era dejar un comentario en el post de la convocatoria indicando el blog que se adhería.
2. Lista de los primeros 650 blogs:  El blog que lanzó la campaña confeccionó la primera lista con 650 Blogs.
3. Web Cienciastijeras:  Después de esta primera recopilación se siguieron apuntando más blogs y se pidieron colaboradores para seguir anotándolos, esta web recogió todos los blogs que apoyaban la campaña.

2. Fuentes usadas

• Para la lista de los posts publicados

• Lista de los primeros 650 blogs: se obtuvieron fácilmente las urls de esta lista.

• Comentarios del post de la convocatoria: se extrajeron las urls de los blogs que no estaban en la lista anterior

• Fuentes usadas para las visualizaciones

• Comentarios del post de la convocatoria: se extrajeron las 1012 urls de los blogs que dejaron su comentario junto con su fecha y hora para poder realizar timelines. En las visualizaciones están excluidos los blogs que no dejaron comentario en el post de la convocatoria aunque estuvieran en la lista de La Aldea Irreductible por no tener certeza de su timestamp.

3. Verificación de la información y filtrado de errores

• Corrección de errores de sintaxis de las urls
• Conversión de urls cortas a su nombre real.
• Normalización de la url de la página principal.
• Eliminación de urls repetidas
• Descarte de  las urls que no eran blogs: fickr, youtube, linkedin,etc..

4. Herramientas de obtención del Barrios de blogs

• Lestat: Se utilizó una versión reducida para analizar solo la página principal obteniendo de cada blog:

• Lista de los enlaces internos y externos clasificados según el contexto del blog: Cabecera, lateral, post, pié de post, archivo de históricos y pie de blog.e
• Lista de las  urls de los feeds
• Lista de las urls que podrían pertenecer al blogroll
• Lista de las urls de usuarios twitter

• Posproceso de la información generada por lestat

• Obtención de los enlaces salientes pertenecientes al conjunto de blogs estudiado
• Obtención del post escrito para la campaña.  Al no estar familiarizada con una herramienta de parseo de feeds, por razones de tiempo los post se obtuvieron analizando las urls del código html. Para los siguientes experimentos se considera imprescindible poder analizar feeds.

5. Revisión de los resultados y corrección manual de los errores

• Resolver problemas con los caracteres de más de 7 bits ( acentos, ñ, etc..)
• Completar las urls de los posts que no habían sido encontradas por:

• No estar ya en la página principal
• No haberse publicado. Algunos blogs pusieron el logo de la campaña pero no escribieron el post
• No contener en la url el título del post. Los blogs de Blogia y algunos WordPress codifican el enlace de las entradas con un código numérico.
• No estar accesibles por: ser privados, tener control de acceso para adultos o  estar temporalmente fuera de servicio.

Resultados de esta primera fase:

• Lista de blogs con el enlace al post publicado para la campaña, accesible en esta página.
• Data set obtenido en formato xls.

Siguientes pasos a seguir:

• Visualizar las relaciones de los blogs que han participado en la campaña, a ser posible de forma dinámica para ver como se ha propagado la iniciativa.
• Obtención de la correspondencia blog-twitter para visualizar las relaciones de estos blogs en twitter
• Obtención de conclusiones sobre la propagación de la campaña.