Confluent KSQL

Streaming SQL pour Apache Kafka

Confluent KSQL est le moteur SQL de streaming qui permet le traitement de données en temps réel sur Apache Kafka®. Il fournit une interface SQL interactive facile à utiliser, mais puissante, pour le traitement des flux sur Kafka, sans avoir besoin d'écrire du code dans un langage de programmation tel que Java ou Python. KSQL est évolutif, élastique, tolérant aux pannes et il prend en charge une large gamme d'opérations de streaming, notamment le filtrage, les transformations, les regroupements, les jointures, le fenêtrage et la sessionisation de données.

Confluent is extending the functionality of KSQL to become an event streaming database named ksqlDB. ksqlDB will soon be incorporated into Confluent Platform. Visit ksqldb.io to learn more.

Streaming SQL pour Apache Kafka

KSQL : effectuez des requêtes de flux sans écrire de code
Profitez dès aujourd'hui du traitement de flux en temps réel et tolérant aux défaillances pour Kafka.

VISIONNEZ LA PRÉSENTATION EN LIGNE :
STREAMING SQL POUR APACHE KAFKA

Apprenez à développer des applications de streaming en temps réel avec KSQL. Cette discussion explique l’architecture du moteur KSQL, et comment concevoir et déployer des requêtes interactives et continues pour du streaming ETL et des analyses en temps réel.

Regarder la vidéo
WATCH THE ONLINE TALK: STREAMING SQL FOR APACHE KAFKA

Améliorez le niveau de votre KSQL

Que vous soyez novice sur KSQL ou prêt à faire passer en production, vous pouvez désormais analyser en détail les concepts de base, les flux et tableaux, les données brutes et agrégations de données enrichissantes, les configurations d'évolutivité et de sécurité de KSQL, et bien plus.

  • Faire passer KSQL en production

    Élaborer un pipeline ETL de streaming, faire évoluer le traitement à grande échelle, sécuriser KSQL et surveiller les performances de KSQL.

    Watch Now
  • INSERT INTO dans KSQL

    Un bref tutoriel sur l'utilisation d'INSERT INTO dans KSQL.

    Watch Now
  • STRUCT dans KSQL

    Un bref tutoriel sur l'utilisation de STRUCT (données imbriquées) dans KSQL.

    Watch Now
  • Présentation de KSQL

    Découvrez le concept de traitement de flux avec Apache Kafka et KSQL.

    Watch Now
  • KSQL et Core Kafka

    Apprenez-en plus sur comment relier KSQL aux clients, choisir la bonne API et comment KSQL utilise les topics Kafka.

    Watch Now
  • Cas d'utilisation de KSQL

    Les cas d'utilisation de KSQL incluent l'exploration de données, le filtrage arbitraire, le streaming ETL et bien plus.

    Watch Now
  • Installation et exécution de KSQL

    Découvrez comment obtenir KSQL, lancer le serveur KSQL et CLI, ainsi que d'autres éléments de base de la syntaxe.

    Watch Now
  • Flux et tableaux KSQL

    Faire la distinction entre un FLUX et un TABLEAU, et découvrir comment rendre les requêtes de streaming illimitées.

    Regarder la vidéo
  • Lire des données Kafka à partir de KSQL

    Explorer les données de topics Kafka. Créer un FLUX ou un TABLEAU. Identifier les champs, métadonnées et formats.

    Regarder la vidéo
  • Données de flux et données illimitées

    Effectuer le streaming de requêtes, lire des topics, découvrir des requêtes persistantes et non persistantes, et bien plus encore.

    Regarder la vidéo
  • Enrichir des données avec KSQL

    Utiliser des fonctions scalaires, modifier les types de champs, filtrer et fusionner des données, et générer des flux de recomposition avec KSQL.

    Regarder la vidéo
  • Agrégations dans KSQL

    Examiner les différentes fonctions d'agrégation (par exemple, MAX, MIN), le fenêtrage et les données arrivant en retard.

    Regarder la vidéo
  • Faire passer KSQL en production

    Élaborer un pipeline ETL de streaming, faire évoluer le traitement à grande échelle, sécuriser KSQL et surveiller les performances de KSQL.

    Watch Now
  • INSERT INTO dans KSQL

    Un bref tutoriel sur l'utilisation d'INSERT INTO dans KSQL.

    Watch Now
  • STRUCT dans KSQL

    Un bref tutoriel sur l'utilisation de STRUCT (données imbriquées) dans KSQL.

    Watch Now
  • Présentation de KSQL

    Découvrez le concept de traitement de flux avec Apache Kafka et KSQL.

    Watch Now
  • KSQL et Core Kafka

    Apprenez-en plus sur comment relier KSQL aux clients, choisir la bonne API et comment KSQL utilise les topics Kafka.

    Watch Now
  • Cas d'utilisation de KSQL

    Les cas d'utilisation de KSQL incluent l'exploration de données, le filtrage arbitraire, le streaming ETL et bien plus.

    Watch Now

Cas d’utilisation et exemples

01

Streaming ETL

Apache Kafka est un choix populaire pour optimiser des pipelines de données. KSQL simplifie la transformation des données dans le pipeline, préparant les messages afin qu'ils arrivent correctement dans un autre système.

CREATE STREAM vip_actions AS 
SELECT
userid, page, actionFROM clickstream cLEFT JOIN users u ON c.userid = u.user_id
WHERE u.level = 'Platinum';

02

Détection des anomalies

KSQL est un bon choix pour l’identification des modèles ou des anomalies sur les données en temps réel. En traitant le flux au fur et à mesure que les données arrivent, vous pouvez identifier et correctement faire ressortir les événements ordinaires avec une latence de l'ordre de la milliseconde.

CREATE TABLE possible_fraud AS 
SELECT
card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 SECONDS)
GROUP BY
card_number
HAVING count(*) > 3;

03

Surveillance

La capacité de Kafka à fournir des messages évolutifs ordonnés avec le traitement des flux en font une solution commune pour la surveillance des données de journal et les alertes. KSQL emprunte une syntaxe connue pour le suivi, la compréhension et la gestion des alertes.

CREATE TABLE error_counts AS 
SELECT
error_code, count(*)
FROM monitoring_stream
WINDOW TUMBLING (SIZE 1 MINUTE)
WHERE
type = 'ERROR'
GROUP BY error_code;

Nous utilisons des cookies afin de comprendre comment vous utilisez notre site et améliorer votre expérience. Cliquez ici pour en apprendre davantage ou pour modifier vos paramètres de cookies. En poursuivant la navigation, vous consentez à ce que nous utilisions des cookies.