Onlangs bezocht ik samen met mijn collega’s Doreen Scheepens en Jacco van Bavel de Kafka Summit 2024 in Londen. Voor mij was het de eerste keer dat ik zakelijk met de trein reisde, en ik moet zeggen dat het me niet tegenviel. Hoewel ik vlak bij Schiphol woon, was de ‘van-deur-tot-deur’ reistijd naar Londen voor mij niet veel langer, maar de treinreis was zeker comfortabeler dan het vliegtuig. Het enige punt ter verbetering voor de volgende keer is om de vroege, rechtstreekse trein te verkiezen boven een latere trein met overstap in Brussel: bij vertraging loop je dan in ieder geval niet het risico om de aansluiting te missen en twee uur extra op een Brussels station te moeten doorbrengen!

Partner Briefing & Workshop

Ik kwam net op tijd, puffend en beladen met bagage, aan de andere kant van de stad bij het Londen Excel conferentiecentrum. Net op tijd om deel te nemen aan de workshop georganiseerd door Confluent voor zijn partners. De workshop behandelde een van de nieuwe ontwikkelingen op het Confluent Platform: het gebruik van Apache Flink voor Stream Processing. In de workshop bouw je op basis van een aantal ‘data generatoren’ een applicatie voor een klantensysteem met beloningen voor trouwe klanten:

Helaas waren het formaat, tempo en de tijd van de workshop niet helemaal goed op elkaar afgestemd, maar gelukkig kan deze workshop ook in eigen tempo worden gevolgd met een Confluent Cloud-account: Confluent Cloud – Flink SQL Shoe Store Workshop.

Tijdens de partner briefing werd duidelijk dat Apache Zookeeper nu definitief de langste tijd heeft gehad als onderdeel van een Kafka-installatie. Kafka 3.8 is de laatste versie waarin Apache ZooKeeper nog gebruikt kan worden voor metadatabeheer, hierna zal gemigreerd moeten worden naar het nieuwe KRaft consensus protocol, dat direct op de Kafka brokers zelf actief is, zodat een apart ZooKeeper cluster definitief verleden tijd wordt!

Verder werden nieuwe mogelijkheden aangekondigd, waaronder Java én Python support voor Flink uitbreidingsfuncties (UDF) en versleuteling op veldniveau voor Kafka Clients. Zodat klanten die met gevoelige data werken nauwkeuriger de data kunnen beschermen.

Keynote

Tijdens de ‘keynote’ werd aangekondigd dat Apache Flink nu beschikbaar is voor gebruik in de Confluent Cloud voor data processing, zowel van ‘unbounded’ (‘streaming’) data als van data in bulkverwerking (‘batches’= ‘bounded data’). Het is nog onduidelijk wat dit precies betekent voor de doorontwikkeling van KSQLDB als ‘streaming engine’ binnen het Confluent Platform, maar de kans lijkt mij klein dat er twee producten met overlappende functionaliteiten naast elkaar doorontwikkeld zullen blijven worden – de toekomst zal leren welke streaming processing oplossing de strijd zal winnen, maar ik zet mijn geld op Apache Flink in.

Inmiddels is er ook meer dan 5 miljoen uren geïnvesteerd in Kora, de “Apache Kafka Engine built for the Cloud”, waarop het Confluent Cloud platform draait:

Inmiddels zijn deze optimalisaties al zo ver doorgevoerd, dat Confluent Cloud 10x sneller kan opschalen en tot 16x lagere end-to-end doorlooptijden kent dan ‘plain vanilla’ Apache Kafka dankzij de KORA engine!

Hiernaast is Tableflow aangekondigd, waarmee de data die in Confluent Cloud in de topics is opgeslagen in een keer beschikbaar kan worden gemaakt als Apache Iceberg tabellen, of zoals Confluent het noemt “unifying the operation and analytical divide”:

Voorbij zijn de data waarin we met complexe en foutgevoelige koppelingen data moesten overpompen naar data warehouses of data lakes voor analytische toepassingen, met behulp van deze technologie kan de operationele data uit de transactionele systemen direct worden gebruikt in de analystische data engines van partners die overweg kunnen met dit dataformaat en zijn er dus geen aparte data pipelines meer voor nodig:

Summit

Voor mij als techneut zit de interessante inhoud vaak niet direct in de marketing-georiënteerde ‘key notes’, maar in de presentaties over ‘core principles’ en die van klanten: de eerste categorie vooral omdat zij duidelijk maken hoe de machinerie onder de motorkap werkt, de tweede categorie is vooral interessant omdat dit echte problemen uit het veld betreft – hopelijk met de oplossingen en/of work-arounds! En er was genoeg interessants te zien, waarbij ik een paar presentaties wil uitlichten:

• Tim van Baarsen & Kosta Chuturkov (ING) hielden een gloedvol betoog over nut en noodzaak van het gebruik van berichtschema’s. Nu is dit voor mij (en mijn collega’s met een jarenlange ervaring in integratie) niet direct een verrassing, maar het was interessant om te zien waar zij tijdens hun gebruik in een Java-landschap tegenaan zijn gelopen, wat ze hebben moeten doen om te zorgen dat ze de schema’s konden laten evolueren en hoe ze ‘breaking changes’ hebben weten op te lossen. De presentatie en demo’s zijn beschikbaar op GitHub.
• Maria Berinde-Tâmpănariu (Confluent) sprak over ‘tiered storage‘ in Confluence Cloud, ofwel hoe maken we eindeloze data-retentie mogelijk met minimale kosten. Helaas was deze presentatie slechts ingeroosterd als “short” (10 minuten) en werden de vragen na 10 minuten extra afgekapt … Een interessant onderwerp, zeker voor klanten die hun “koude” data beschikbaar willen (of moeten) houden!
• Oskar Dudycz was verantwoordelijk voor de grappigste maar ook meest inspirerende presentatie die ik in Londen heb gezien, getiteld “Event modeling anti-patterns”. Hierin leidde hij ons in 45 minuten langs de valkuilen en anti-patterns in het modelleren van events, gepresenteerd met veel humor en personae die afkomstig zijn uit “The Office” (het enige wat hierop aan te merken was, was het feit dat het hier de Amerikaanse versie van de serie betrof en niet de – uiteraard – oorspronkelijke en veel betere Engelse versie).
  In een duizelingwekkende 300 (!!) dia’s worden de concepten van EDA (Event Driven Architecture), DDD (Domain Driven Design/Database Driven Design?), CDC, CRUD, Event Sourcing en CQRS gepresenteerd – gekoppeld aan het klassieke en tijdloze “Enterprise Integrations Patterns” van Gregor Hohpe & Bobby Woolf.
  Wat mij betreft het meest memorable concept was het concept van “passive-aggressive events”, oftewel “events that should have been commands”… zoals wanneer je partner je vertelt dat “de vuilnisbak vol is” of dat de “afwasmachine is afgelopen”!

Helaas hebben we Londen grotendeels in het donker kunnen zien vanwege het reizen met de befaamde Tube en het propvolle programma, maar het was een interessante en mooie ervaring!

Meer informatie

De video van de keynote is al beschikbaar op het YouTube kanaal van Confluent en andere sessies zullen spoedig volgen.