Talend

Talend är ett Open Source-baserat företag som helt fokuserar på dataintegration. I produktportföljen finns komponenter för alla typer av dataintegration såsom klassisk applikationsintegration, Big Data, Master Data-hantering och ETL. Gartner positionerade Talend i ledarkvadranten i sin ”Magic Quadrant for Data Integration Tools” rapport 2016.

Talend har som många Open Source-baserade mjukvaruföretag olika versioner av sin mjukvara. Dels finns supporterade versioner som man betalar en årlig avgift för och gratisversioner där man förlitar sig på ett community för hjälp och support. Gratisversionerna är mer begränsade i sin funktionalitet men innehåller samma kodbas som betalversionerna.

BizOne har lång erfarenhet av Talends plattform för ETL och integration. Vi har byggt flera Data Warehouse-lösningar med hjälp av Talend, både i rena molnlösningar, där vi band annat har använt oss av AWS Redshift, liksom hos kunder i deras specifika miljöer.

Opens Studio har ett stort komponentbibliotek som gör utvecklingen effektiv. Är man flera utvecklare har man i betalversionerna bra stöd för versionshantering och möjlighet att automatiskt jämföra olika versioner av koden.

Talend Data Fabric

Talend kallar sin totala produktportfölj för Talend Data Fabric. I denna portfölj finns komponenter för att hantera alla olika typer av integrations och datakvalitetsutmaningar både i on premise lösningar och molnet (Cloud). Bland produkterna finns stöd för klassisk dataintegration, realtidsintegration, ESB, ETL och Big Data integration. Utöver dessa lösningar erbjuder man även stöd för Master Data Management (MDM), Data Quality (DQ) och metadatahantering.

Användningsfall

Big Data

Talend tar bort en hel del av komplexiteten i Big Data projekt, genom att erbjuda ett grafiskt gränssnitt för att generera "native" kod till alla tänkbara Big Data lösningar både molnbaserade och de lösningar som ni väljer att installera själva.

Detta innebär att ni kan komma igång och arbeta med Apache Hadoop, Apache Spark, Spark Streaming och andra typer av NoSQL lösningar redan idag, utan höga krav på utvcklarkompetens.

Ett annan viktig aspekt att ta in i beräkningen är att utvecklingen av dessa verktyg går allt snabbare, det kommer nya versioner och släpps nya lösningar hela tiden. För att hänga med i och dra nytta av denna utveckling rekommenderar vi att man alltid sätter upp sina integrationer med ett tredjepartsverktyg, tex Talend som stödjer alla dessa lösningar på ett bra sätt.

ETL - Extract Transform Load

Det var har Talend började, som ett grafiskt verktyg för att enkelt kunna hantera och skapa ordning i sina data integrationsflöden. Genom att använda ett ETL verktyg för laddningarna av sitt datalager (DW) eller andra databaser får man dels en mycket mer effektiv utvecklingsprocess, men även ett mindre beroende mot specifika utvecklare och därmed mindre risk i sina lösningar.
En annan aspekt är alla konnektorer som ingår, vilket innebär att man kan hantera en hybridmiljö, där man kanske lägger sitt DW i Microsoft Azure, AWS (Redshift, Snowflake mm) eller Google Cloud (Big Query) samtidigt som man har sina operationella system on site.

Datakvalitet

En aspekt av Business Intelligence som alltid varit väldigt viktig är datakvalitet. Efterhand som mängden källor och den faktiska mängden data ökar, blir detta allt mer komplext att hantera. Traditionellt har man byggt in hanteringen av datakvalitet i integrationslogiken, gjort manuella korrigeringar, eller helt enkelt levt med dålig kvalitet. Med moderna verktyg som Talend har man flera komponenter att arbeta med, i modulen som hanterar datakvalitet kan man tillexempel integrera Machine Learning och Data Stewards, för att kontinuerligt förbättra och automatisera datakvaliteten.