Synapse Pipelines: Orchestratie en Development
Omschrijving
Wil je met Synapse Pipelines de orchestratie, data movement en ETL/ELT taken uitvoeren en aansturen in het Azure-platform? In deze training Synapse Pipelines: Orchestratie en Development richten we ons op het stuk orchestratie en data movement.
Met orchestratie bedoelen we hier het aansturen van bronnen, databases en services. Hiermee kunnen we aangeven welke taak wanneer kan worden uitgevoerd.
Daarnaast kijken we naar data movement: het kopiëren van data naar de cloud en binnen de cloud. Hiermee wordt ervoor gezorgd dat data in het juiste formaat (bijv. een SQL-database, of juist Parquet-bestanden) op de juiste plek (bijv. Azure Data Lake Storage, SQL Database of Synapse SQL Pools) komt te staan.
Je wilt in jouw organisatie Synapse Pipelines gaan inzetten voor het aansturen van je ETL en ELT-processen. Bijvoorbeeld omdat Synapse Pipelines al gebruikt wordt, of omdat je organisatie bezig is haar data en analytics naar Azure te brengen. Je vindt het daarom belangrijk om goed te snappen hoe Synapse Pipelines werkt, en wilt daar zelf in kunnen ontwikkelen. Daarbinnen wil je op een moderne manier je ontwikkeling vormgeven, in een nauwe integratie met Azure DevOps.
Na deze training:
- Begrijp je hoe Synapse Pipelines werkt
- Heb je een overzicht van alle componenten van Synapse Pipelines
- Kun jij zelf linked services, datasets, activities en pipelines instellen
Dit doen we zoals je gewend bent bij Wortell Smart Learning: onder begeleiding van een inspirerende trainer, gebruikmakend van écht goed materiaal, en heel praktijkgericht. We gaan dus veel zelf aan de slag.
Voorkennis om de training Synapse Pipelines te volgen
Voor deze training moet je al enigszins thuis zijn in Azure en Azure DevOps. Ook moet de Synapse portal niet volledig nieuw voor je zijn.
- Azure:
- Core Azure Concepts en bekendheid met de Azure Portal zijn belangrijk. Als voorbereiding zou je de gratis e-learning van Microsoft kunnen volgen "Azure Fundamentals part 1: Describe core Azure concepts"
- Het Azure Data Platform is belangrijk. Het onderscheid tussen de verschillende soorten data stores, variaties in soorten data en manieren van verwerken wordt besproken in de ééndaagse training Azure Data Fundamentals (DP-900)
- Azure DevOps is voor het daadwerkelijk ontwikkelen (development) met Synapse Pipelines erg belangrijk, en wordt ingezet voor zowel het versiebeheer als Continuous Integration en Continuous Delivery (CI/CD) in Synapse Pipelines.
- Wanneer je geen ervaring hebt met Azure DevOps (of minimaal met Git en een andere CI/CD-tool) kun je de training wel volgen, maar zullen sommige onderdelen wat lastiger zijn.
- Wil je ook aan de slag met Azure DevOps? Kijk eens bij onze training CI/CD met Azure DevOps voor Data Engineers.
Onderwerpen
In één dag zullen we de de basis van het werken met Synapse Pipelines leggen en de volgende onderwerpen trainen. We gaan veel zelf aan de slag, zodat je na de training ook zelf met Synapse Pipelines kunt gaan meewerken in een projectteam dat Synapse Pipelines gebruikt.
- Orchestratie en opbouw van moderne dataplatforms
- Workflows met Synapse Pipelines
- Componenten van Synapse Pipelines: Integration Runtime, Linked Service, Dataset en Pipeline
- Omgaan met triggers
- Synapse Pipelines in Git
- Geavanceerde workflows met dynamic schema en inferred data types
Studiemateriaal
In de training "Synapse Pipelines: Orchestratie en Development" gebruiken we materiaal dat we bij Wortell Smart Learning zelf ontwikkeld hebben. Wij zorgen ervoor dat je al het benodigde materiaal op tijd ontvangt.
Beschikbare datums
| Titel | Datum |
|---|---|
| Synapse Pipelines: Orchestratie en Development |
| Titel | Datum |
|---|---|
| Synapse Pipelines: Orchestratie en Development |
