KSQL

Streaming SQL pour Apache Kafka

KSQL is the open source, streaming SQL engine that enables real-time data processing against Apache Kafka®.

KSQL makes it easy to read, write, and process streaming data in real-time, at scale, using SQL-like semantics. It offers an easy way to express streaming transformations.

KSQL provides powerful stream processing capabilities such as joins, aggregations, event-time windowing, all while leveraging the fully supported, enterprise-ready Confluent Platform.

Confluent Platform v4.1
Download to get started with KSQL
Streaming SQL pour Apache Kafka

KSQL: Query Your Streams Without Writing Code
Enjoy real-time, fault-tolerant stream processing against Kafka today.

Prise en main grâce à ces ressources utiles

VISIONNEZ LA PRÉSENTATION EN LIGNE :
STREAMING SQL POUR APACHE KAFKA

Apprenez à développer des applications de streaming en temps réel avec KSQL. Cette discussion explique l’architecture du moteur KSQL, et comment concevoir et déployer des requêtes interactives et continues pour du streaming ETL et des analyses en temps réel.

Regarder la vidéo
VISIONNEZ LA PRÉSENTATION EN LIGNE : <br />STREAMING SQL POUR APACHE KAFKA

Level Up your KSQL

Whether you are brand new to KSQL or ready to take it to production, now you can dive deep on core KSQL concepts, streams and tables, enriching unbounded data and data aggregations, scalability and security configurations, and more.

  • KSQL Introduction

    Get an introduction to the concept of stream processing with Apache Kafka and KSQL.

    Watch Now
  • KSQL and Core Kafka

    Learn about relating KSQL to clients, choosing the right API and how KSQL uses Kafka topics.

    Watch Now
  • KSQL Use Cases

    KSQL use cases include data exploration, arbitrary filtering, streaming ETL and more.

    Watch Now
  • Installing and Running KSQL

    Find out how to get KSQL, start the KSQL server and CLI, along with other syntax basics.

    Watch Now
  • KSQL Streams and Tables

    Distinguish a STREAM from a TABLE, and discover how streaming queries are unbounded.

    Regarder la vidéo
  • Reading Kafka Data from KSQL

    Explore Kafka topic data. Create a STREAM or TABLE. Identify fields, metadata and formats.

    Regarder la vidéo
  • Streaming and Unbounded Data

    Stream queries, read topics, discover persistent and non-persistent queries and more.

    Regarder la vidéo
  • Enriching data with KSQL

    Use scalar functions, change field types, filter and merge data and rekey streams with KSQL.

    Regarder la vidéo
  • Aggregations in KSQL

    Review various aggregate functions (e.g., MAX, MIN), windowing and late-arriving data.

    Regarder la vidéo
  • Taking KSQL to Production

    Build a streaming ETL pipeline, scale processing, secure KSQL and monitor KSQL performance.

    Watch Now

Cas d’utilisation et exemples

01

Streaming ETL

Apache Kafka est un choix populaire pour optimiser des pipelines de données. KSQL simplifie la transformation des données dans le pipeline, préparant les messages afin qu'ils arrivent correctement dans un autre système.

CREATE STREAM vip_actions AS 
SELECT
userid, page, action FROM clickstream c LEFT JOIN users u ON c.userid = u.user_id
WHERE u.level = 'Platinum';
02

Détection des anomalies

KSQL est un bon choix pour l’identification des modèles ou des anomalies sur les données en temps réel. En traitant le flux au fur et à mesure que les données arrivent, vous pouvez identifier et correctement faire ressortir les événements ordinaires avec une latence de l'ordre de la milliseconde.

CREATE TABLE possible_fraud AS
SELECT
card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 SECONDS)
GROUP BY
card_number
HAVING count(*) > 3;
03

Surveillance

La capacité de Kafka à fournir des messages évolutifs ordonnés avec le traitement des flux en font une solution commune pour la surveillance des données de journal et les alertes. KSQL emprunte une syntaxe connue pour le suivi, la compréhension et la gestion des alertes.

CREATE TABLE error_counts AS 
SELECT
error_code, count(*) FROM monitoring_stream WINDOW TUMBLING (SIZE 1 MINUTE) WHERE type = 'ERROR' GROUP BY error_code;

We use cookies to understand how you use our site and to improve your experience. Click here to learn more or change your cookie settings. By continuing to browse, you agree to our use of cookies.