Roger van de Kimmenade

Hoe maak ik data waardevol?

Met een goede data architectuur natuurlijk!
Maar wat is nu een goede data architectuur en waar moet je dan allemaal aan denken?
Dit boek is een goede start om daar wat meer inzicht in te krijgen!

Een vraag waar veel bedrijven mee worstelen is hoe zij data kunnen verwaarden in hun organisatie. Een van de uitdagingen is het neerzetten van een data architectuur die aansluit bij de ambities, waarbij data uit bronsystemen gehaald wordt, opgeslagen, getransformeerd, gecleansed en beschikbaar wordt gesteld aan allerlei gebruikers voor analyse en/of operationeel gebruik.

Een boek dat interessant is om te lezen is “Deciphering Data Architectures” van James Serra. Ik heb dit boek gelezen om bij te blijven in de ontwikkelingen op het gebied van Data Architecturen. We hebben binnen SynTouch namelijk een eigen framework ontwikkeld, genaamd SIDAF (=SynTouch Integratie en Data Architectuur Framework), waarin we een visie beschrijven op het gebied van data- en integratie architectuur. Dit framework evolueert op basis van nieuwe inzichten.

Maar terug naar het boek …

Het boek geeft een overzicht van verschillende concepten bij data architecturen. De verschillende onderdelen worden niet in detail beschreven, maar het geeft een high level inzicht in de mogelijkheden. Er worden technische data architecturen besproken zoals (Modern) Data Warehouse, Data Fabric en Data Lakes, maar ook architectuur concepten zoals Data Mesh.

Overigens plaatst de auteur Data Lakes en Data Mesh op hetzelfde architectuur nivo, maar hier ben ik het niet helemaal mee eens. Ik vind Data Mesh meer een socio-technische architectuur concept en data warehouse en data lakes meer technische architecturen. Je kunt zelfs een Data Mesh architectuur neerzetten gebruikmakend van een Data Lake. Maar dat even terzijde.

Ondanks dat het een introductie is van de verschillende technieken is het wel goed om de definities bij elkaar te zien. Bijvoorbeeld het verschil tussen Operationele Data Stores, Data Marts en Data Hubs is goed om te weten om je vocabulaire op data gebied op orde te hebben. Hetzelfde geldt voor de Lambda- en Kappa architectuur.

De technische concepten worden besproken vanuit verschillende fases, die bij de opzet van een data architectuur komen kijken. Denk hierbij aan design, data modellering, data storage, data ingestion en de data architectuur zelf.

Het boek heeft een veelal technische insteek maar bij data architecturen in bredere zin is governance natuurlijk ook belangrijk. Hier is ook een kort hoofdstuk aan gewijd. Het is fijn dat concepten worden beschreven en aan het einde van het boek worden mogelijke technische implementatie platformen toegelicht.

Dit boek is een aanrader voor een data architect die op hoog nivo inzicht wil krijgen in de verschillende mogelijkheden voor een data architectuur!

Roger van de KimmenadeHoe maak ik data waardevol?
lees meer

Boek review: Data Management at Scale (2e editie)

SynTouch is een consultancy bedrijf op het gebied van data en integratie, waarbij de belangrijkste service kennis is. In deze snel veranderende wereld moet je bijblijven en is boeken lezen een van die mogelijkheden. Bij SynTouch kun je boeken bestellen om je kennis bij te houden, dus dat is erg fijn!

Roger van de KimmenadeBoek review: Data Management at Scale (2e editie)
lees meer

Introductie data mesh

Introductie

Veel organisaties streven ernaar om “data-driven” te zijn. Dit heeft impact op de architectuur en organisatie van een bedrijf. Data werd altijd gezien als bijvangst, maar is tegenwoordig steeds belangrijker om goede beslissingen te kunnen nemen. De architectuur rondom data verandert ook qua mogelijkheden zoals data warehouse, data lakes en een nieuw paradigma genaamd data mesh. Deze blog geeft een introductie over dit data mesh concept en de impact op de architectuur en organisatie.

Roger van de KimmenadeIntroductie data mesh
lees meer

Event Driven Architecture – Part 2

Introduction

This is the second blog about event driven architecture. As was described in the first blog item, there are several levels on which events occur and are relevant. It is important on which level you want to implement your EDA. In this blog I will concentrate on the application-to-application level and beyond and I will describe a reference architecture that we use at SynTouch.

Event Driven Architecture

Events are the driving force within the event driven architecture. Events are produced, detected, consumed and reacted upon. One of the main principles of EDA is the separation and isolation of the sources and the handling of the event notifications. The advantages and use cases for an EDA are:

Roger van de KimmenadeEvent Driven Architecture – Part 2
lees meer

Event Driven Architecture

Introduction

Data is the buzzword these days: organizations want to be data driven. They create a lot of data, want to create value out of this data and want the data fast and available 24/7. Therefore the IT architecture needs to be flexible, scalable, resilient, responsive and message (data) driven.

This is where an Event Driven Architecture (EDA) can help and in the next 4 blogs I want to guide you in this event journey.

This first blog will be about events in general and how they can be utilized on all kinds of levels within an organization. In the second blog I will talk about a reference architecture that organizations can use as a starting point. It explains which capabilities are relevant in such an architecture. In the third blog I will describe some principles and guidelines that you can use within an event driven architecture. In the last blog I will explain how an organization can become event driven. I will take you through a maturity model and the steps that you can take to get to a level that your organization needs to reach its business goals.

Roger van de KimmenadeEvent Driven Architecture
lees meer

9 items to consider when selecting an API Manager

One of my hobbies is photography and when I bought my first camera it was a compact camera. I soon realized and experienced that I needed a reflex camera (SLR), because the resolution, speed and quality was far more better. I did not realize it until I really used the product. The again after a few years I noticed that I did not use my camera a lot. Why was that? Because the camera was pretty big and unpractical to take with me all the time. Then I read about a system camera, which has the advantage of being small, but still has the possibility to switch lenses. I never regretted my choices, because at the time it seemed to be the best choice. Today there are a lot of camera’s with lots of possibilities and specifications. Which one to pick? This depends on a lot of factors. What do you want to photograph with the camera. What type of photographs do you want to take, for example portret-, landscape-, sport- or street photography.

Roger van de Kimmenade9 items to consider when selecting an API Manager
lees meer

Is architectuur sexy of een paradox?

Op 15 november 2018 hebben we met SynTouch het Landelijk Architectuur Congres bezocht in de Brabanthallen in Den Bosch. Dit jaar was het thema “Paradoxen in Architectuur”. En dit jaar konden we een feestje vieren, want het LAC bestaat 20 jaar !

Normaal gesproken is het beeld van een architect saai, oubollig en werken vanuit een ivoren toren. Kijken of hier langzaam verandering in gaat komen en zelfs sexy gaat worden. Of blijkt dit toch nog steeds een paradox?

Roger van de KimmenadeIs architectuur sexy of een paradox?
lees meer

The power of Oracle Event Driven Architecture

Key Takeaways

  • Event Driven Architecture helps with decoupling applications
  • Think about the names used for events
  • Let Publisher publish and filter within subscribers
  • Use meta data within event headers
  • Use standardization on entities within Event, so that the Event is a first citizen data object

Introduction

There is a lot of hype around Microservices and the use of events for implementing the choreography pattern. However this is nice for companies like Netflix and Twitter, but there are a lot of organisations still struggling with files and ESB like products. Also my current client uses an ESB namely the Oracle SOA Suite 12c for integrations. We cannot just throw away this ESB, but we can make use of the event mechanism built in. This blog describes the way we use the EDN (Event Delivery Network) component, that is used within SOA composites to throw events and to subscribe on events.

Roger van de KimmenadeThe power of Oracle Event Driven Architecture
lees meer

Cloud2Cloud

 

A lot of applications have integration possibilities, so do cloud applications. The question I got from a customer is whether to have a point-to-point integration with Cloud applications or to go through their ESB solution. This blog describes some considerations.

Roger van de KimmenadeCloud2Cloud
lees meer