Como parte de la reciente renovación de su Interfaz de Usuario, Twitter ha hecho algunos cambios importantes en su estructura interna, y hoy Michael Busch colgó un post en el Blog de Ingeniería de Twitter con algunos detalles acerca de cómo Twitter ha rediseñado las búsquedas.
En un principio el motor de búsquedas en tiempo real de Twitter estaba basado en la tecnología de Summize, una compañía que Twitter compró en 2008. Pero desde entonces, Twitter ha vivido un crecimiento fenomenal: más de 1.000 tweets por segundo y 12.000 búsquedas por segundo, logrando algo más de 1.000 millones de búsquedas por día. El Equipo de Ingeniería de Twitter ha estado buscando algunas alternativas porque “escalar el antiguo sistema basado en MySQL se ha convertido en un reto muy grande”.
Así que Twitter se ha adaptado a una nueva arquitectura de búsquedas, utilizando el motor de código abierto de Lucene.
Sin embargo, a pesar de la fuerza de Lucene, este motor tiene algunos defectos relacionados con las búsquedas en tiempo real, por lo que Twitter ha reescrito partes de su arquitectura, pero de forma que siga siendo compatible con las API de Lucene. Estos cambios incluyen:
Desempeño mejorado del recolector de basura.
Estructuras de datos y algoritmos libres de bloqueo.
Listas de publicaciones que son atravesables en orden contrario.
Ayudas para completar búsquedas más eficientes.
Esta nueva arquitectura de búsquedas es más rápida y más escalable, y utiliza sólo el 5% de los recursos disponibles del backend, caminando en la dirección correcta para lograr el objetivo del Equipo de Ingenieros de construir búsquedas que soporten ordenes de magnitud de carga superiores.
Para más información acerca de cómo Twitter gestiona otros retos relacionados con cantidades enormes de datos se puede consultar el siguiente slideshow del ingeniero de Twitter Kevin Weil:
No hay comentarios:
Publicar un comentario