Démarrez avec les recettes KSQL
Pour accélérer votre projet de traitement de flux, nous avons préalablement élaboré une série de cas d'utilisation de traitement de flux et d'exemples de code KSQL. Tout comme une recette, nous fournissons les étapes pour vous aider à démarrer.
En savoir plusAméliorez le niveau de votre KSQL
Que vous soyez novice sur KSQL ou prêt à faire passer en production, vous pouvez désormais analyser en détail les concepts de base, les flux et tableaux, les données brutes et agrégations de données enrichissantes, les configurations d'évolutivité et de sécurité de KSQL, et bien plus.
-
Présentation de KSQL
Découvrez le concept de traitement de flux avec Apache Kafka et KSQL.
Watch Now -
KSQL et Core Kafka
Apprenez-en plus sur comment relier KSQL aux clients, choisir la bonne API et comment KSQL utilise les topics Kafka.
Watch Now -
Cas d'utilisation de KSQL
Les cas d'utilisation de KSQL incluent l'exploration de données, le filtrage arbitraire, le streaming ETL et bien plus.
Watch Now -
Installation et exécution de KSQL
Découvrez comment obtenir KSQL, lancer le serveur KSQL et CLI, ainsi que d'autres éléments de base de la syntaxe.
Watch Now -
Flux et tableaux KSQL
Faire la distinction entre un FLUX et un TABLEAU, et découvrir comment rendre les requêtes de streaming illimitées.
Regarder la vidéo -
Lire des données Kafka à partir de KSQL
Explorer les données de topics Kafka. Créer un FLUX ou un TABLEAU. Identifier les champs, métadonnées et formats.
Regarder la vidéo -
Données de flux et données illimitées
Effectuer le streaming de requêtes, lire des topics, découvrir des requêtes persistantes et non persistantes, et bien plus encore.
Regarder la vidéo -
Enrichir des données avec KSQL
Utiliser des fonctions scalaires, modifier les types de champs, filtrer et fusionner des données, et générer des flux de recomposition avec KSQL.
Regarder la vidéo -
Agrégations dans KSQL
Examiner les différentes fonctions d'agrégation (par exemple, MAX, MIN), le fenêtrage et les données arrivant en retard.
Regarder la vidéo -
Faire passer KSQL en production
Élaborer un pipeline ETL de streaming, faire évoluer le traitement à grande échelle, sécuriser KSQL et surveiller les performances de KSQL.
Watch Now -
INSERT INTO dans KSQL
Un bref tutoriel sur l'utilisation d'INSERT INTO dans KSQL.
Watch Now -
STRUCT dans KSQL
Un bref tutoriel sur l'utilisation de STRUCT (données imbriquées) dans KSQL.
Watch Now
Cas d’utilisation et exemples
Streaming ETL
Apache Kafka est un choix populaire pour optimiser des pipelines de données. KSQL simplifie la transformation des données dans le pipeline, préparant les messages afin qu'ils arrivent correctement dans un autre système.
CREATE STREAM vip_actions AS
SELECT userid, page, action FROM clickstream c LEFT JOIN users u ON c.userid = u.user_id
WHERE u.level = 'Platinum';
Détection des anomalies
KSQL est un bon choix pour l’identification des modèles ou des anomalies sur les données en temps réel. En traitant le flux au fur et à mesure que les données arrivent, vous pouvez identifier et correctement faire ressortir les événements ordinaires avec une latence de l'ordre de la milliseconde.
CREATE TABLE possible_fraud AS
SELECT card_number, count(*)
FROM authorization_attempts
WINDOW TUMBLING (SIZE 5 SECONDS)
GROUP BY card_number
HAVING count(*) > 3;
Surveillance
La capacité de Kafka à fournir des messages évolutifs ordonnés avec le traitement des flux en font une solution commune pour la surveillance des données de journal et les alertes. KSQL emprunte une syntaxe connue pour le suivi, la compréhension et la gestion des alertes.
CREATE TABLE error_counts AS
SELECT error_code, count(*) FROM monitoring_stream WINDOW TUMBLING (SIZE 1 MINUTE) WHERE type = 'ERROR' GROUP BY error_code;