Apache Kafka
Apache Kafka es un proyecto de intermediación de mensajes de código abierto desarrollado por LinkedIn y donado a la Apache Software Foundation escrito en Java y Scala. El proyecto tiene como objetivo proporcionar una plataforma unificada, de alto rendimiento y de baja latencia para la manipulación en tiempo real de fuentes de datos. Puede verse como una cola de mensajes, bajo el patrón publicación-suscripción, masivamente escalable concebida como un registro de transacciones distribuidas,[3] lo que la vuelve atractiva para las infraestructuras de aplicaciones empresariales.
Apache Kafka | ||
---|---|---|
Información general | ||
Tipo de programa | message-oriented middleware | |
Autor | Neha Narkhede | |
Desarrollador | ||
Lanzamiento inicial | 12 de abril de 2014 | |
Licencia |
| |
Información técnica | ||
Programado en | ||
Lanzamientos | ||
Java Message Service y Advanced Message Queuing Protocol | Apache Kafka | |
Enlaces | ||
Sitio web oficial Repositorio de código Seguimiento de errores | ||
El diseño tiene gran influencia de los registros de transacción.[4]
Historia
Apache Kafka fue originalmente desarrollado por la empresa Linkedin, la cual lo publicó como software libre a principios de 2011. En octubre de 2012 superó la etapa de incubación de la fundación Apache. En noviembre de 2014, varios ingenieros que trabajaron en el proyecto Kafka de Linkedin crearon una nueva empresa llamada Confluent enfocada en Kafka.[5]
Empresas que utilizan Kafka
La siguiente es una lista de empresas conocidas que utilizan o han utilizado Kafka:
- Cisco Sistemas[6]
- Daumkakao[7]
- Walmart[8]
- Netflix[9]
- Adidas[10]
- PayPal[11]
- Spotify[12]
- Uber[13]
- Spotify[12]
- Oracle[14]
- Twitter[15]
- Trivago[16]
- LinkedIn[17]
- Shopify[18]
- Betfair[19]
- Microsoft Azure[20]
Rendimiento de Kafka
Debido a su capacidad de escalar masivamente y a su uso en estructuras a nivel de aplicaciones empresariales, el seguimiento del rendimiento de Kafka se ha convertido en un tema cada vez más importante. Actualmente existen varias plataformas de código abierto, como Burrow de Linkedin, y plataformas de pago como Datadog,[3] que permiten hacer el seguimiento del desempeño de Kafka.
Véase también
- Apache ActiveMQ
- Apache Samza
- StormMQ
- Apache Qpid
- Arquitecturas orientadas a servicios
Referencias
- «Mirror of Apache Kafka at GitHub]». github.com. Consultado el 6 de marzo de 2017.
- «Open-sourcing Kafka, LinkedIn's distributed message queue». Consultado el 27 de octubre de 2016.
- ↑ «Monitoring Kafka performance metrics». Datadog Engineering Blog. Consultado el 9 de junio de 2016.
- «The Log: What every software engineer should know about real-time data's unifying abstraction». LinkedIn Engineering Blog. Consultado el 9 de junio de 2016.
- Primack, Dan. «LinkedIn engineers spin out to launch 'Kafka' startup Confluent». fortune.com. Consultado el 9 de junio de 2016.
- «OpenSOC: An Open Commitment to Security». Cisco blog. Consultado el 3 de febrero de 2016.
- Doyung Yoon. «S2Graph : A Large-Scale Graph Database with HBase».
- «OpenSOC: Kafka Ecosystem on Walmart’s Cloud». Medium. Consultado el 15 de enero de 2019.
- Cheolsoo Park and Ashwin Shankar. «Netflix: Integrating Spark at Petabyte Scale».
- Error en la cita: Etiqueta
<ref>
no válida; no se ha definido el contenido de las referencias llamadasAdidas
- Shibi Sudhakaran of PayPal. «PayPal: Creating a Central Data Backbone: Couchbase Server to Kafka to Hadoop and Back (talk at Couchbase Connect 2015)». Couchbase. Consultado el 3 de marzo de 2016.
- ↑ Josh Baer. «How Apache Drives Spotify's Music Recommendations».
- «Stream Processing in Uber». InfoQ. Consultado el 6 de diciembre de 2015.
- Error en la cita: Etiqueta
<ref>
no válida; no se ha definido el contenido de las referencias llamadasOracle
- Error en la cita: Etiqueta
<ref>
no válida; no se ha definido el contenido de las referencias llamadasTwitter
- Error en la cita: Etiqueta
<ref>
no válida; no se ha definido el contenido de las referencias llamadasTrivago
- Error en la cita: Etiqueta
<ref>
no válida; no se ha definido el contenido de las referencias llamadasLinkedIn
- «Shopify - Sarama is a Go library for Apache Kafka».
- . Archivado desde el original el 27 de enero de 2016. Consultado el 9 de junio de 2016.
- George, Sam (5 de diciembre de 2016). (html). Microsoft (en inglés). Archivado desde el original el 13 de julio de 2017. Consultado el 12 de marzo de 2019.