The Source of Truth: Why The New York Times Stores Every Piece of Content Ever Published in Kafka

The Source of Truth: Why The New York Times Stores Every Piece of Content Ever Published in Kafka

Regarder la vidéo

Kafka Summit NYC 2017 | Pipeline Track

En tant qu'un des principaux organismes de presse dans le monde, le New York Times a publié son premier numéro le 18 septembre 1851. Au cours des 164 années qui ont suivi, nous avons publié environ 16 millions d'articles, également en ligne ces 20 dernières années. Nous élaborons désormais un nouveau pipeline de publication autour de Kafka. Ce pipeline fonctionne comme la source d'informations pour tous le contenu publié et dissocie les producers des consumers de contenu. Le pipeline est implémenté comme un log immuable – tout le contenu est publié dans le log et tous les systèmes back-end en charge des différentes expériences en ligne accèdent au contenu en consommant ce log. Je tiens à expliquer comment ce pipeline de publication fonctionne, comment il interagit avec d'autres systèmes, et quelles ont été nos expériences jusqu'à présent.

Boerge Svingen, Director of Engineering, The New York Times

Nous utilisons des cookies afin de comprendre comment vous utilisez notre site et améliorer votre expérience. Cliquez ici pour en apprendre davantage ou pour modifier vos paramètres de cookies. En poursuivant la navigation, vous consentez à ce que nous utilisions des cookies.