KSQL is the open source, streaming SQL engine that enables real-time data processing against Apache Kafka®.
KSQL makes it easy to read, write, and process streaming data in real-time, at scale, using SQL-like semantics. It offers an easy way to express streaming transformations.
KSQL provides powerful stream processing capabilities such as joins, aggregations, event-time windowing, all while leveraging the fully supported, enterprise-ready Confluent Platform.
Apprenez à développer des applications de streaming en temps réel avec KSQL. Cette discussion explique l’architecture du moteur KSQL, et comment concevoir et déployer des requêtes interactives et continues pour du streaming ETL et des analyses en temps réel.
Regarder la vidéo
Apache Kafka est un choix populaire pour optimiser des pipelines de données. KSQL simplifie la transformation des données dans le pipeline, préparant les messages afin qu'ils arrivent correctement dans un autre système.
CREATE STREAM vip_actions AS
SELECT userid, page, action FROM clickstream c LEFT JOIN users u ON c.userid = u.user_id
WHERE u.level = 'Platinum';
KSQL est un bon choix pour l’identification des modèles ou des anomalies sur les données en temps réel. En traitant le flux au fur et à mesure que les données arrivent, vous pouvez identifier et correctement faire ressortir les événements ordinaires avec une latence de l'ordre de la milliseconde.
CREATE TABLE possible_fraud AS
SELECT card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 SECONDS)
GROUP BY card_number
HAVING count(*) > 3;
La capacité de Kafka à fournir des messages évolutifs ordonnés avec le traitement des flux en font une solution commune pour la surveillance des données de journal et les alertes. KSQL emprunte une syntaxe connue pour le suivi, la compréhension et la gestion des alertes.
CREATE TABLE error_counts AS
SELECT error_code, count(*) FROM monitoring_stream WINDOW TUMBLING (SIZE 1 MINUTE) WHERE type = 'ERROR' GROUP BY error_code;
