Categories
Uncategorized

Livello aziendale orchestrazione utilizzando pi fa

Livello aziendale orchestrazione utilizzando più fabbriche di dati
19/03/2020 Condividi
Una foto di Nicola Hurt.
NICHOLAS HURT

Anziano architetto soluzione cloud di Microsoft

Una foto di John Mallinder
JOHN Mallinder





Uno solo, infatti, è Dio e uno solo il mediatore fra Dio e gli uomini, l'uomo Cristo Gesù.

Anziano architetto soluzione cloud per Dati e AI di Microsoft

Una foto di Mark Jones
Mark Jones

Program Manager – Azure SQL MI a Microsoft

TechNet UK
Un’illustrazione raffigurante Azure dei dati di fabbrica, accanto a una foto di Bit del Raccoon.

introduzione
Costruire semplici tubazioni ingegneria dati con un unico Azure dei dati di fabbrica (ADF) è facile, e molteplici attività può essere orchestrato all’interno di una singola pipeline. Più sofisticati modelli di ingegneria dei dati richiedono flessibilità e riutilizzabilità attraverso pipeline di orchestrazione. Uno scenario comune è quello di gasdotti orchestrare utilizzando il built-in Esegui Pipeline Activity tuttavia questo non supporta invocando condotte al di fuori della fabbrica di dati corrente. Questo blog esaminerà come affrontare cross-fabbrica gasdotto orchestrazione, rivedere le opzioni per il controllo sia asincrona e sincrona.

sfondo
Robusto e flessibile conduttura orchestrazione è uno strumento importante nello sviluppo toolkit dati in quanto consente di elaborazione dati operazioni avere segregazione dei piani di esecuzione, ad esempio Extract, Transform and Load. La maggior parte delle grandi condotte di dati costituiti da operazioni ripetitive e richiedono l’incapsulamento della logica nelle pipeline che può essere orchestrato da un “maestro gasdotto”, che permette l’automazione dei flussi di lavoro personalizzati.

In ADF possiamo ottenere gasdotto orchestrazione all’interno di una singola fabbrica utilizzando l’Execute Pipeline attività. Questa attività consente di selezionare delle condotte all’interno della corrente di fabbrica dei dati e la possibilità di personalizzare se vogliamo aspettare, o no, per il invocato Pipeline per completare selezionando l’attesa sulla proprietà completamento. Tuttavia, questa attività è limitata al campo di applicazione della sola fabbrica di dati esistenti.

Per ottenere lo stesso orchestrazione di condotte che risiedono in altre fabbriche di dati (figura 1) siamo in grado di chiamare i dati di fabbrica API REST condutture-creare eseguire utilizzando l’attività Web (non attendere il completamento) o Webhook Attività (attese per il completamento).

Figura 1 – orchestrato Pipeline attraverso abbonamenti

Figura 1 – orchestrato Pipeline attraverso abbonamenti

Convenzioni usate
Maestro di fabbrica: La fabbrica dei dati che richiamerà e oleodotti Orchestrate in altri (lavoratori) fabbriche di dati.

Maestro Pipeline: un gasdotto in fabbrica principale che invoca condotte in altri (lavoratori) fabbriche di dati. Questo gasdotto potrebbe contengono spesso complessa orchestrazione delle condotte dei lavoratori.

Operaio di fabbrica: La fabbrica di dati che contiene le tubazioni che verrà richiamato dal maestro

Richiamato Pipeline: Il gasdotto che viene richiamato dal maestro pipeline. Spesso questo è dove un carico di lavoro verrà eseguito come un’attività di copia o una trasformazione utilizzando la mappatura dei flussi di dati.

Impostazione dell’ambiente
Per completare la demo di seguito, sarà necessario accedere ad almeno un azzurro di sottoscrizione e di due fabbriche Azure dati all’interno di un gruppo di risorse in cui si ha accesso collaboratore. Nota, il costo di gestione di tutto questo demo sarà meno di pochi centesimi, in quanto non v’è alcun costo per eseguire il gasdotto padrone, e si sono fatturati solo per l’esecuzione gasdotto lavoratore. guida di installazione per questo viene fornito di seguito, ma prima andiamo esaminare autenticazione e l’autorizzazione tra le fabbriche.

Sicurezza tra Fabbriche dati
Per consentire una chiamata API tra fabbriche di dati, saremo utilizzando l’ADF Managed Identity (MI), che è un’applicazione Managed Azure, registrati per Azure Active Directory e rappresenta una fabbrica di dati specifici. L’autenticazione MI è supportato sia da Web Activity e Webhook e offre il vantaggio di non dover memorizzare o il gestore di password o certificati.

ruolo dei dati di fabbrica collaboratore autorizzerà il Maestro dei dati di fabbrica dei gasdotti invoke nel operaio. Abbiamo bisogno di assegnare questo ruolo al Maestro del lavoratore. ruoli personalizzati RBAC possono essere definite se sono necessarie autorizzazioni più granulari (cioè eseguire solo pipeline è richiesto).

Figura 2 – Autenticazione di fabbrica Dati Croce usando M

Figura 2 – Croce di autenticazione di fabbrica dei dati utilizzando MI

Nota: Gestito identità richiedono oggetti che si terrà all’interno della stessa Azure Directory Tenant attiva. Pertanto, utilizzando MI per l’autenticazione è supportata solo all’interno dello stesso Conduttore.

Crea master e Worker dati fabbriche e la sicurezza configure
Crea un Fabbrica dati Azure utilizzando il Portale o API. Si consiglia di suffisso del nome della fabbrica con il -Master come questo diventerà il padrone di fabbrica. Prendere nota di questo nome in quanto sarà necessario in seguito al passaggio 3
Creare un secondo Azure dei dati di fabbrica utilizzando il Portale o API. Si consiglia di suffisso del nome di fabbrica con -Worker come questo diventerà il nostro operaio.
Una volta che la fabbrica dei lavoratori è costruito, all’interno del portale Azure selezionare Access Control IAM (vedi figura 3).
All’interno l’affettatrice di controllo di accesso, selezionare Assegnazioni di ruolo
Fare clic su Aggiungi assegnazione ruolo
Nel pannello Add assegnazione ruolo selezionare:
Ruolo: dati di fabbrica Contributor
Assegna Accesso: Azure AD utente, gruppo o servizio principale
Selezionare: Inserire il nome del Maestro dei dati di fabbrica creato nel passaggio 1. Questo dovrebbe essere trovato e selezionato dai risultati
Controllare i dettagli e fare clic su Salva.
Figura 3 – Impostazione delle autorizzazioni per il Master dei dati di fabbrica

Figura 3 – Impostazione delle autorizzazioni per il Master dei dati di fabbrica

A questo punto si dovrebbe avere due fabbriche di dati, Maestro e dei lavoratori e avere la sicurezza configurato per consentire il Maestro dei dati di fabbrica per richiamare tubazioni nella Lavoratore dei dati di fabbrica.

Orchestrazione Utilizzo di Web Activity (Non attendere il completamento)
Ora che abbiamo le due fabbriche di dati, possiamo cominciare a costruire un semplice Pipeline orchestrazione tra loro utilizzando il Web Activity per un flusso di lavoro che è il fuoco e dimenticare.

Figura 4 – Esempio di utilizzo di Web Activity per invocare Pipeline

Figura 4 – Esempio di utilizzo di Web Activity per invocare Pipeline

Con questa attività, il Maestro Pipeline riporta solo il successo del Staring Pipeline, non aspetta per il feedback sullo stato o risultati dal Richiamato Pipeline. Questo può essere utile quando non vogliamo per il Maestro Pipeline a fallire se il sottostante Richiamato Pipeline ha fallito.

Questa guida comprenderà 3 fasi principali:

Creare una pipeline del lavoratore dei dati di fabbrica. Questo verrà richiamato dal Maestro dei dati di fabbrica.
Creare un master Pipeline con il Web Activity per invocare il gasdotto del lavoratore dei dati di fabbrica per il resto API Pipeline – Crea Run
Test ed eseguire il Maestro Pipeline e verificare i risultati.

Fase 1: Creare un gasdotto nel Worker dei dati di fabbrica
Per iniziare il test trasversale dei dati di fabbrica Orchestration, abbiamo innanzitutto bisogno di creare una pipeline di prova del lavoratore dei dati di fabbrica. Per fare questo, si prega di consultare i seguenti passi:

All’interno del portale Azure, selezionare l’operaio dei dati di fabbrica e dalla Panoramica affettatrice, selezionare autore e Monitor.
Su Get del Let preliminari Page passare alla scheda autore nel pannello di sinistra
All’interno del portale Azure, selezionare l’operaio dei dati di fabbrica e dalla Panoramica affettatrice, selezionare autore e Monitor.

Selezionare Condotte dalle risorse di fabbrica
Creare una nuova pipeline, e in nome chiamare questo InvokedPipeline1
Nell’ambito delle attività, Selezionare Generale e aggiungere un’attività Attendere al gasdotto. Questa attesa Attività simulerà un certo tipo di movimento di dati o attività di trasformazione, siete liberi di sostituire questo con qualsiasi tipo di attività che si desidera.
Su Get del Let preliminari Page passare alla scheda autore nel pannello di sinistra

Selezionare l’attività Attendere creato in cantiere e all’interno delle impostazioni generali, il nome di questa attività Wait Campione
All’interno delle impostazioni dell’attività Wait campione, impostare il tempo di attesa in secondi a 30. Questo dovrebbe fornire abbastanza tempo per dimostrare la Web Activity sta lavorando in modo asincrono quando viene richiamata dal Maestro Pipeline.
Seleziona Pubblica tutto per salvare la pipeline alla fabbrica di dati.
Nota: Solo pubblicato condutture possono essere richiamati sul Worker dei dati di fabbrica tramite l’API, non possono essere invocate in modalità debug. Assicurarsi di salvare le modifiche alla pipeline del lavoratore dei dati di fabbrica pubblicando le modifiche.

A questo punto che ora abbiamo una pipeline campione nel nostro operaio dei dati di fabbrica, chiamato InvokedPipeline1 che sarà utilizzato nelle fasi 2 e 3 per testare croce orchestrazione di fabbrica.

Fase 2: crea una pipeline nel Master dei dati di fabbrica
Poi abbiamo bisogno di costruire un oleodotto nel Master dei dati di fabbrica, che sarà utilizzato per asincrono invocare il gasdotto InvokedPipeline1 nella Worker dei dati di fabbrica. Per fare questo, useremo il Web Activity per invocare il gasdotto nel Worker dei dati di fabbrica utilizzando le API di riposo di chiamata Pipelines – Crea Esegui.

La chiamata API REST ha una serie di parametri che devono essere costruite in modo corretto, alcuni sono contestuale in base al nome e gruppi di risorse del vostro Maestro dati di fabbrica. Noi correre attraverso questi parametri riportati nella tabella seguente. Si consiglia di utilizzare un editor di testo per preparare questi prima di continuare.

Proprietà Descrizione valore da utilizzare
Nome Nome del Web Activity Run_Pipeline1
metodo API metodo Riposo per l’endpoint di destinazione. INVIARE
URL

Bersaglio e endpoint percorso Questo valore comprende le seguenti proprietà per costruire l’URL del ADF porta:
· {SubscriptionId} – l’ID di sottoscrizione della fabbrica Worker dati.

· {} ResourceGroupName – il gruppo di risorse nome della fabbrica Worker dati.

· {FactoryName} – Il nome della fabbrica Worker dati

· {PipelineName} – Il nome della Pipeline di essere invoke cioè InvokedPipeline1 (creata nel passaggio 1)

Questi parametri possono poi essere utilizzati nel seguente URL, sostituendo con il valore:

management.azure.com/subscriptions//resourceGroups//providers/Microsoft.DataFactory/factories//pipelines/ / createRun? api-version = 2018/06/01

Intestazioni intestazioni che vengono inviati alla richiesta. Nome: Content-Type
Valore: application / json

Corpo rappresenta il carico utile che viene inviato al punto finale. Questi possono essere utilizzati per impostare i parametri fra oleodotti, vedere la sezione parametri corporei tra Condotte sotto { “type”:”oggetto”,”proprietà”: { ‘InputPath’: { ‘type’:”stringa”},”OutputPath”: { “tipo”:”stringa”}}}
Metodo di autenticazione (ottimo) di autenticazione utilizzato per chiamare l’endpoint. Seleziona: MSI
Risorsa: management.core.windows.net/

Vedere i dettagli qui.

Ora, usando questi parametri, configurare il Web Activity:

All’interno del portale Azure, selezionare il Maestro dei dati di fabbrica e dalla scheda Panoramica, selezionare autore e Monitor.
Su preliminari Page interruttore del Let alla scheda autore nel pannello di sinistra
Selezionare Condotte dalle risorse di fabbrica
Creare una nuova pipeline, e in nome chiamare questo MasterPipeline1
Nell’ambito delle attività, Selezionare Generale e aggiungere un’attività Web al Pipeline. Questo Web Activity sarà utilizzato per invocare il gasdotto nel Worker dei dati di fabbrica.
Selezionare l’attività Web creato nel passaggio 5, e nella scheda Generale, sostituire il nome con Run_Pipeline1
Selezionare la scheda Impostazioni e sostituire queste impostazioni con i corrispondenti parametri di cui sopra.
Selezionare la scheda Impostazioni e sostituire queste impostazioni con i corrispondenti parametri di cui sopra.

Seleziona Pubblica tutto per salvare il Pipeline alla Fabbrica dei dati.
A questo punto Ora abbiamo una pipeline sulle nostre fabbriche dei lavoratori e Master Data e possiamo iniziare a testare l’orchestrazione tra di loro nella fase 3.

Fase 3: Test del gasdotto orchestrazione
Ora che le fabbriche sono installati e configurati, è il momento di testare la nostra pipeline, e di osservare che essi si comportano come previsto, in modo asincrono. Per fare questo ci sarà di avviare la MasterPipeline1 nel Master dei dati di fabbrica, che sarà quindi chiamare l’InvokedPipeline1 nella Worker dei dati di fabbrica. Infine useremo la Fabbrica Data Monitor per esaminare i risultati.

All’interno del Master dei dati di fabbrica, MasterPipeline1 aperto
All’interno del Master dei dati di fabbrica, MasterPipeline1 aperto

Seleziona Aggiungi trigger e Seleziona trigger ora. Questo farà eseguire la pipeline MasterPipeline1
Per visualizzare i risultati della Pipeline, selezionare il monitor
Per visualizzare i risultati della Pipeline, selezionare la scheda Monitor.

Possiamo vedere che il gasdotto avrebbe dovuto iniziare con successo a termine e avrebbe dovuto effettivamente preso solo pochi secondi per l’esecuzione.

All’interno del lavoratore dei dati di fabbrica, selezionare il monitor
All’interno del lavoratore dei dati di fabbrica, selezionare la scheda Monitor.

Il gasdotto InvokedPipeline1 dovrebbe hanno iniziato con successo del lavoratore dei dati di fabbrica e sarà o essere ancora in esecuzione o completati. InvokedPipeline1 impiega 30 secondi per completare che completa l’MasterPipeline1 entro 3 a 5 secondi. Ciò dimostra che, una volta invocato, il MasterPipeline1 non attendere il completamento di InvokedPipeline1.

All’interno della sezione successiva costruiremo una nuova pipeline questa volta usando il Webhook che verrà utilizzato per la costruzione di un nuovo gasdotto maestro che attendere il completamento del gasdotto lavoratori.

Orchestrazione Utilizzando Webhooks (attesa per il completamento)
Ora che abbiamo capito come oleodotti costruzione di orchestrazione che utilizzano il Web per eseguire attività condotte che non aspettano il completamento, ci sarà prossima revisione utilizzando la stessa metodologia per la costruzione di un gasdotto di orchestrazione con commenti utilizzando il Webhook attività.

Questo garantisce che il Maestro dei dati di fabbrica attenderà per il gasdotto Richiamato al completo prima di iniziare la fase successiva nel suo flusso di lavoro. Webhook ha anche il vantaggio che riporta lo stato della corsa gasdotto invocata, in mancanza l’attività dovrebbe pipeline Richiamato fallire. Webhook può anche passare parametri personalizzati tra il Maestro Pipeline e Richiamato Pipeline, dando più estensibilità sul Web Activity.

Figura 5 – Esempio di usare Webhooks di invocare una pipeline

Figura 5 – Esempio di usare Webhooks di invocare una pipeline

L’attuazione di un differisce Webhook al Web Activity in quanto le esigenze di pipeline invocato per “riconoscere” il completamento della sua pipeline attraverso una fase di richiamata. L’URI di callback utilizzata dal lavoratore fabbrica sarà fornito automaticamente dal Maestro fabbrica nel corpo della richiesta.

Questa guida comprenderà 3 fasi principali:

Creare un gasdotto nel operaio. Questo verrà richiamato dal Maestro Factory.
Creare un master Pipeline con l’attività Webhook per invocare la pipeline del lavoratore di fabbrica per il resto API Pipeline – Crea Run
Test ed eseguire il Maestro Pipeline e verificare i risultati.

Fase 1: Creare una pipeline nel Worker dei dati di fabbrica
All’interno del portale Azure, selezionare il Maestro dei dati di fabbrica e dalla Panoramica affettatrice, selezionare autore e Monitor.
Su Cominciate interruttore page del Let alla scheda autore nel pannello di sinistra
Selezionare Condotte dalle risorse di fabbrica
Creare un nuovo gasdotto, e in nome chiamare questo InvokedPipeline2
Creare un nuovo parametro nella InvokedPipeline2 chiamato CallBackURI, impostare il tipo di stringa
Creare un nuovo parametro nella InvokedPipeline2 chiamato CallBackURI, impostare il tipo di stringa

Nell’ambito delle attività, Selezionare Generale e aggiungere un’attività Attendere al Pipeline. Questa attesa Attività simulerà un certo tipo di movimento di dati o attività di trasformazione, siete liberi di sostituire questo con qualsiasi tipo di attività che si desidera.
Nell’ambito delle attività, Selezionare Generale e aggiungere un’attività Attendere al Pipeline. Questa attesa Attività simulerà un certo tipo di movimento di dati o attività di trasformazione, siete liberi di sostituire questo con qualsiasi tipo di attività che si desidera.

Selezionare l’attività Attendere creata nel Pipeline e all’interno delle impostazioni generali, il nome di questa attività Wait Campione
All’interno delle impostazioni dell’attività Wait campione, impostare il tempo di attesa in secondi a 30. Questo dovrebbe fornire abbastanza tempo per dimostrare la webhook è in attesa di questa attività per completare quando si richiama questo gasdotto dal Maestro Factory.
Nell’ambito delle attività, Selezionare Generale e aggiungere un’attività Web al Pipeline. Il Web attività sarà usato per fare la richiamata alla fabbrica Maestro.
Nell’ambito delle attività, Selezionare Generale e aggiungere un’attività Web al Pipeline. Il Web attività sarà usato per fare la richiamata alla fabbrica Maestro.

All’interno del Web Activity, impostare l’URL come segue:
@pipeline (). parameters.callBackUri
All’interno Web Activity, metodo set per POST e il corpo a {} come noi non stiamo tornando tutti i parametri al momento.
Seleziona Pubblica tutto per salvare il Pipeline alla Fabbrica dei dati.
Nota: Solo Pubblicato condutture possono essere richiamati sul Worker dei dati di fabbrica tramite l’API, non possono essere invocate in modalità debug. Assicurarsi di salvare le modifiche ai gasdotti della Worker dei dati di fabbrica pubblicando le modifiche.

Fase 2: crea una pipeline nel Master dei dati di fabbrica
Come nella sezione Web Activity, i parametri utilizzati per la Webhook si basano sulle componenti ambientali, come i nomi dei dati di fabbrica e Nomi gruppi di risorse. Si consiglia di costruire la vostra prima configurazione utilizzando la tabella sottostante come guida:

Proprietà Descrizione valore da utilizzare
Nome Nome del Webhook attività Run_Pipeline2
metodo API metodo Riposo per l’endpoint di destinazione. INVIARE
URL

Bersaglio e endpoint percorso Questo valore comprende le seguenti proprietà per costruire l’URL del ADF porta:
· {SubscriptionId} – l’ID di sottoscrizione della fabbrica Worker dati.

· {} ResourceGroupName – il gruppo di risorse nome della fabbrica Worker dati.

· {FactoryName} – Il nome della fabbrica Worker dati

· {PipelineName} – Il nome della Pipeline a Invoke (creata nel passaggio 1 InvokedPipeline1)

Questi parametri possono poi essere utilizzati nel seguente URL, sostituendo con il valore:

management.azure.com/subscriptions//resourceGroups//providers/Microsoft.DataFactory/factories//pipelines/ / createRun? api-version = 2018/06/01

Intestazioni intestazioni che vengono inviati alla richiesta. Nome: Content-Type
Valore: application / json

Corpo rappresenta il carico utile che viene inviato all’endpoint Questi possono essere utilizzati per impostare i parametri tra Condotte vedere la sezione parametri corporei tra Condotte sotto {}
Timeout tempo entro il quale il webhook dovrebbe essere chiamato di nuovo. Questo si tradurrà in un’attività non riuscita se il Call back non si è verificato all’interno di questo lasso di tempo 10:00
Metodo di autenticazione (ottimo) di autenticazione utilizzato per chiamare l’endpoint. Seleziona: MSI
Risorsa: management.core.windows.net/

Vedere i dettagli qui.

Relazione sullo stato dei richiamata Questo può essere utilizzato per passare indietro un codice di stato e di errore nella parte posteriore chiamata per segnalare il successo di non riuscire stato. False (o vedi nota sotto)

Nota: Se si desidera controllare il codice di stato (successo / fail) restituito dal gasdotto Richiamato quindi attivare questo flag. Ulteriori parametri possono essere restituiti al gasdotto Maestro dalla tubazione Richiamato – per dimostrare questo immettere le seguenti JSON nel corpo Web Activity carico al punto 11 di cui sopra:

{ “Uscita”: { “testProp”: “testPropValue”}, “StatusCode”: “200”}
Più tardi, nella sezione intitolata parametri corporei tra Condotte di questo blog, vedremo come consumare questo parametro dal Maestro Pipeline.

Ora, usando questi parametri configurano il Webhook attività:

All’interno del portale Azure, selezionare il Maestro dei dati di fabbrica e dalla Panoramica affettatrice, selezionare autore e Monitor.
Su preliminari Page interruttore del Let alla scheda autore nel pannello di sinistra
Selezionare Condotte dalle risorse di fabbrica
Creare un nuovo gasdotto, e nel campo Nome chiamare questo MasterPipeline2
Nell’ambito delle attività, Selezionare Generale e aggiungere un’attività Webhook al Pipeline. Questa attività webhook verrà utilizzato per richiamare il Pipeline nel Worker dei dati di fabbrica.
Selezionare l’attività Webhook creato nel passaggio 5, e nella scheda Generale, sostituire il nome con Run_Pipeline2
Selezionare la scheda Impostazioni e sostituire queste impostazioni con i corrispondenti parametri di cui sopra.
Selezionare la scheda Impostazioni e sostituire queste impostazioni con i corrispondenti parametri di cui sopra.

Parametri corpo tra Condotte
Il parametro corpo facilita il passaggio di ulteriori parametri quali filtri o flag di controllo, dal master al lavoratore. Questi possono essere letti dal gasdotto Worker come parametri. Nota la callBackUri viene generato automaticamente e viene aggiunto al corpo payload momento dell’esecuzione.

Per esempio, se { “myvar”:”test”} viene aggiunto alla variabile corpo nel Maestro e myvar viene aggiunto come parametro al gasdotto Worker, vorremmo osservare passato come parametri di esecuzione nella sezione Monitor.

{ “Myvar”: “test”} aggiunto alla variabile corpo nel Master

Allo stesso modo, dalla conduttura Worker possiamo passare dati al gasdotto Maestro e l’accesso questi utilizzando un frammento di contenuti dinamici, per esempio

@activity ( ‘WebHook’). output.testProp
dove ‘WebHook’ rappresenta il nome dell’attività che ha avviato il call-back, che nel nostro esempio è Run_Pipeline2.

Fase 3: Verificare le Condotte di orchestrazione
Ora siamo pronti a testare il metodo webhook di orchestrazione. Per fare questo ci sarà di avviare la MasterPipeline2 nel Master dei dati di fabbrica, che sarà quindi chiamare l’InvokedPipeline2 nella Worker dei dati di fabbrica, utilizzando la fabbrica Data Monitor per esaminare i risultati.

All’interno del Master di fabbrica, aprire MasterPipeline2
All’interno del Master di fabbrica, aprire MasterPipeline2

Seleziona Aggiungi trigger e Seleziona trigger ora. Questo farà eseguire la pipeline MasterPipeline2
Per visualizzare i risultati del gasdotto, selezionare Monitor.
Per visualizzare i risultati del gasdotto, selezionare Monitor.

Possiamo vedere che il gasdotto completato con successo dopo 30 secondi che era il tempo di attesa specificato in cantiere Richiamato.

All’interno della fabbrica dei lavoratori, selezionare il pannello Monitor
All’interno della fabbrica dei lavoratori, selezionare il pannello Monitor

Il gasdotto dovrebbe InvokedPipeline2 hanno iniziato con successo nel Worker dei dati di fabbrica e completato in poco più di 30 secondi. Ciò dimostra che, una volta invocato, il MasterPipeline2 attenderà il completamento della InvokedPipeline2.

Inoltre, possiamo anche voler controllare il parametro “CallBackUri” che è generato in modo dinamico in fase di esecuzione. Se controlliamo i parametri di esecuzione di operaio nel riquadro monitoraggio, vedremo il parametro “callBackUri” fornito dal Maestro Factory.

Se controlliamo i parametri di esecuzione di operaio nel riquadro monitoraggio, vedremo il parametro “callBackUri” fornito dal Maestro Factory.

dpwesteurope.svc.datafactory.azure.com/dataplane/workflow/callback/ & callbackUrl = & activityRunId = & shouldReportToMonitoring = True & ActivityType = WebHook

Passi successivi: Manipolazione scenari più complessi
Se avete seguito questa guida, avrete dimostrato con successo croce orchestrazione fabbrica dei dati, utilizzando sia il Web e Webhook attività. Finora abbiamo dimostrato questo utilizzando esempi molto semplici, ma l’organizzazione hanno spesso esigenze di orchestrazione più complessi in cui:

pipeline multiple devono eseguire in una sequenza set
Ogni gasdotto avrà una durata di altra durata di tempo
tubazioni a valle dipendono dal completamento dei gasdotti upstream.
Ad esempio, un flusso più complesso può apparire come la seguente:

Figura 6 – orchestrazione Più complesso – “il problema diamond”

Figura 6 – orchestrazione Più complesso – “il problema diamond”

Utilizzando l’attività Webhook, il Maestro fabbrica attenderà la corretta esecuzione di ogni invocazione gasdotto Richiamato prima di passare alla fase successiva, in tal modo il flusso di controllo è ancora onorato.

Per simulare questo scenario, fare quattro cloni del gasdotto Worker e suffisso con 1-4 e quindi pubblicare. Modifica l’attività Wait di pipeline3 per essere più lungo del tempo di attesa di pipeline2. Questo ci permetterà di verificare che il punto 4 nel Master attenderà per entrambi 2 e 3 per completare.

Poi nel Master, creare un clone del gasdotto esistente e creare tre copie aggiuntive del Webhook, li rinomina di conseguenza. Verificare l’URL di ogni attività invoca sua pipeline Worker associato.

Eseguire questo e notare come l’attività 4 viene eseguito solo dopo 2 e 3 completa.

Eseguire questo e notare come l’attività 4 viene eseguito solo dopo 2 e 3 completa.

Eseguire questo e notare come l’attività 4 viene eseguito solo dopo 2 e 3 completa.

tag
TECHNET UK

cloudblogs.microsoft.com/industry-blog/en-gb/technetuk/2020/03/19/enterprise-wide-orchestration-using-multiple-data-factories/?WT.mc_id=AID728411_EML_6982083