The Source of Truth: Why The New York Times Stores Every Piece of Content Ever Published in Kafka

Intervenant : Boerge Svingen, directeur de l'ingénierie, The New York Times

En tant qu'un des principaux organismes de presse dans le monde, le New York Times a publié son premier numéro le 18 septembre 1851. Au cours des 164 années qui ont suivi, nous avons publié environ 16 millions d'articles, également en ligne ces 20 dernières années. Nous élaborons désormais un nouveau pipeline de publication autour de Kafka. Ce pipeline fonctionne comme la source d'informations pour tous le contenu publié et dissocie les producers des consumers de contenu. Le pipeline est implémenté comme un log immuable – tout le contenu est publié dans le log et tous les systèmes back-end en charge des différentes expériences en ligne accèdent au contenu en consommant ce log. Je tiens à expliquer comment ce pipeline de publication fonctionne, comment il interagit avec d'autres systèmes, et quelles ont été nos expériences jusqu'à présent.

Nous utilisons des cookies afin de comprendre comment vous utilisez notre site et améliorer votre expérience. Cliquez ici pour en apprendre davantage ou pour modifier vos paramètres de cookies. En poursuivant la navigation, vous consentez à ce que nous utilisions des cookies.