Project Metamorphosis: Unveiling the next-gen event streaming platformLearn More

Log Compaction | Highlights in the Apache Kafka and Stream Processing Community | July 2016

Here comes the July 2016 edition of Log Compaction, a monthly digest of highlights in the Apache Kafka and stream processing community. Want to share some exciting news on this blog? Let us know.

  • A lot of improvements have been proposed since the latest 0.10.0.0 release:
    • KIP-33 – proposed by Jiangjie Qin, will add a time log index to enhance the accuracy of various functionalities such as searching offset by timestamp, time-based log rolling and retention, etc. It has been adopted with the target release version 0.10.1.0.
    • KIP-62 – proposed by Jason Gustafson, will separate the session timeout configuration for consumer hard failure detection from the processing timeout configuration, so that users have more flexibility specifying liveness criterion for different scenarios. It has been adopted with the target release version 0.10.1.0.
    • KIP-4 – proposed by Joe Stein and led by Grant Henke, will introduce request protocols for different administration operations, such as topics / configs / ACLs, etc. The topics admin request protocols has been under busy discussions and development.
    • We have a bunch of other KIPs under discussion and voting as well, such as KIP-63 and KIP-67 for improving the Streams API in Kafka, KIP-55 and KIP-48 for adding more features into Kafka Security, etc. We would love to encourage anyone from the community who are interested in these specific topics to get involved!
  • Want to learn about the Streams API in Kafka? Read this nice blog by Michael Noll on building your first real-time stream aggregation application, and watch the presentation by Guozhang Wang at Hadoop Summit San Jose!
  • LinkedIn hosted its first-ever Stream Processing Meetup. Shuyi Chen, Cameron Lee and Shubhanhu Nagar talk about how they use Kafka and Samza as the backbones for their streaming applications, at Uber and LinkedIn.
  • Considering using Kafka to simplify your microservices? Check out Jim Riecken’s talk at Scala Days New York this month.
  • Twitter has open sourced Heron, a new distributed stream computation system after Apache Storm.
  • Kafka was BIG at Berlin Buzzwords! Checkout Neha Narkhede’s keynote on using it for application development in the new paradigm of stream processing.

Did you like this blog post? Share it now

Subscribe to the Confluent blog

More Articles Like This

Analysing Changes with Debezium and Kafka Streams

Change Data Capture (CDC) is an excellent way to introduce streaming analytics into your existing database, and using Debezium enables you to send your change data through Apache Kafka®. Although […]

Improved Robustness and Usability of Exactly-Once Semantics in Apache Kafka

This blog post talks about the recent improvements on exactly-once semantics (EOS) to make it simpler to use and more resilient. EOS was first released in Apache Kafka® 0.11 and […]

Track Transportation Assets in Real Time with Apache Kafka and Kafka Streams

Apache Kafka® is a distributed commit log, commonly used as a multi-tenant data hub to connect diverse source systems and sink systems. Source systems can be systems or records, operational […]

Sign Up Now

Start your 3-month trial. Get up to $200 off on each of your first 3 Confluent Cloud monthly bills

Nouvelles inscriptions uniquement.

En cliquant sur le bouton « inscription » ci-dessus, vous acceptez que nous traitions vos informations personnelles conformément à notre Politique de confidentialité.

En cliquant sur « Inscription » ci-dessus, vous acceptez les termes du/de la Conditions d'utilisation et de recevoir occasionnellement des e-mails publicitaires de la part de Confluent. Vous comprenez également que nous traiterons vos informations personnelles conformément à notre Politique de confidentialité.

Get Confluent Cloud

Get up to $200 off on each of your first 3 Confluent Cloud monthly bills


Choose one sign-up option below

Marketplaces

  • AWS
  • Azure
  • Google Cloud

  • Billed through your Cloud provider*
  • Stream only on 1 cloud
*Billing admin role needed

Marketplaces

  • Billed through your Cloud provider*
  • Stream only on 1 cloud
  • Billing admin role needed

*Billing admin role needed

Confluent


  • Pay with a credit card
  • Stream across multiple clouds

Confluent

  • Pay with a credit card
  • Stream across multiple clouds

En cliquant sur le bouton « inscription » ci-dessus, vous acceptez que nous traitions vos informations personnelles conformément à notre Politique de confidentialité.

En cliquant sur « Inscription » ci-dessus, vous acceptez les termes du/de la Conditions d'utilisation et de recevoir occasionnellement des e-mails publicitaires de la part de Confluent. Vous comprenez également que nous traiterons vos informations personnelles conformément à notre Politique de confidentialité.

Gratuit à vie sur un seul broker Kafka
i

Le logiciel permettra une utilisation illimitée dans le temps de fonctionnalités commerciales sur un seul broker Kafka. Après l'ajout d'un second broker, un compteur de 30 jours démarrera automatiquement sur les fonctionnalités commerciales. Celui-ci ne pourra pas être réinitialisé en revenant à un seul broker.

Sélectionnez un type de déploiement
Déploiement manuel
  • tar
  • zip
  • deb
  • rpm
  • docker
ou
Déploiement automatique
  • kubernetes
  • ansible

En cliquant sur le bouton « télécharger gratuitement » ci-dessus, vous acceptez que nous traitions vos informations personnelles conformément à notre Politique de confidentialité.

En cliquant sur « Téléchargement gratuit » ci-dessus, vous acceptez la Contrat de licence Confluent et de recevoir occasionnellement des e-mails publicitaires de la part de Confluent. Vous acceptez également que vos renseignements personnels soient traitées conformément à notre Politique de confidentialité.

Ce site Web utilise des cookies afin d'améliorer l'expérience utilisateur et analyser les performances et le trafic sur notre site Web. Nous partageons également des informations concernant votre utilisation de notre site avec nos partenaires publicitaires, analytiques et de réseaux sociaux.