Project Metamorphosis: Unveiling the next-gen event streaming platformLearn More

101 Ways to Configure Kafka – Badly

Regarder la vidéo

Kafka Summit 2016 | Operations Track

Nearly 3 years of using Kafka without really understanding the documentation has taught us a lot.

At FINN.no, Norway’s biggest online classifieds site, we have been using Kafka since version 0.8-beta in early 2013. Kafka was introduced as a major part of a proof of concept for collecting click events from our web front end, which had approximately 40 million page views a day. The Kafka cluster became popular, and more and more teams started using it, with our default settings. Still we did not have anyone dedicated to operating and configuring Kafka – it was a best effort, and usually the latest person touching the defaults won. As the traffic, number of use cases, and topics grew, we got some scaling problems, stability problems, lost messages and a general feeling among developers that “”our kafka cluster was unstable””. In the end we had to put some effort into find out what we ran, which properties we really needed, and get control over the configuration, our library code and how our clients used Kafka. Since August we haven’t had a complaint, nor downtime on our Kafka cluster.

We will cover our top 5 mistakes:
-No consideration of data on the inside vs outside
-Lack of schema
-One configuration fits all
-128 partitions for everyone
-Running on already overloaded servers

The Germans say “”Schadenfreude ist die schönste Freude””. At this session we’ll tell you what we learned, so you can avoid doing the same.

Speakers:

Henning Spjelkavik, Architect, FINN.no

 

Audun Fauchald Strand, Lead Developer, FINN.no

Sign Up Now

Start your 3-month trial. Get up to $200 off on each of your first 3 Confluent Cloud monthly bills

Nouvelles inscriptions uniquement.

En cliquant sur le bouton « inscription » ci-dessus, vous acceptez que nous traitions vos informations personnelles conformément à notre Politique de confidentialité.

En cliquant sur « Inscription » ci-dessus, vous acceptez les termes du/de la Conditions d'utilisation et de recevoir occasionnellement des e-mails publicitaires de la part de Confluent. Vous comprenez également que nous traiterons vos informations personnelles conformément à notre Politique de confidentialité.

Gratuit à vie sur un seul broker Kafka
i

Le logiciel permettra une utilisation illimitée dans le temps de fonctionnalités commerciales sur un seul broker Kafka. Après l'ajout d'un second broker, un compteur de 30 jours démarrera automatiquement sur les fonctionnalités commerciales. Celui-ci ne pourra pas être réinitialisé en revenant à un seul broker.

Sélectionnez un type de déploiement
Déploiement manuel
  • tar
  • zip
  • deb
  • rpm
  • docker
ou
Déploiement automatique
  • kubernetes
  • ansible

En cliquant sur le bouton « télécharger gratuitement » ci-dessus, vous acceptez que nous traitions vos informations personnelles conformément à notre Politique de confidentialité.

En cliquant sur « Téléchargement gratuit » ci-dessus, vous acceptez la Contrat de licence Confluent et de recevoir occasionnellement des e-mails publicitaires de la part de Confluent. Vous acceptez également que vos renseignements personnels soient traitées conformément à notre Politique de confidentialité.

Ce site Web utilise des cookies afin d'améliorer l'expérience utilisateur et analyser les performances et le trafic sur notre site Web. Nous partageons également des informations concernant votre utilisation de notre site avec nos partenaires publicitaires, analytiques et de réseaux sociaux.