Documentazione di Dataflow
Dataflow è un servizio gestito per l'esecuzione di un'ampia varietà di pattern di elaborazione dati. La documentazione di questo sito mostra come eseguire il deployment delle pipeline di trattamento dati batch e in modalità flusso utilizzando Dataflow, incluse le istruzioni per l'utilizzo delle funzionalità del servizio.
L'SDK Apache Beam è un modello di programmazione open source che consente di sviluppare pipeline di streaming e batch. Le pipeline vengono create con un programma Apache Beam e poi eseguite sul servizio Dataflow. La documentazione di Apache Beam fornisce informazioni concettuali approfondite e materiale di riferimento per il modello di programmazione, gli SDK e altri runner di Apache Beam.
Per scoprire i concetti di base di Apache Beam, consulta il Tour di Beam e Beam Playground. Il repository Dataflow Cookbook fornisce anche pipeline autonome e pronte per il lancio e i casi d'uso più comuni di Dataflow.
Inizia la tua proof of concept con 300 $ di credito senza costi
- Sviluppa con i nostri modelli e strumenti di AI generativa più recenti.
- Utilizza senza costi aggiuntivi oltre 20 prodotti tra i più apprezzati, tra cui Compute Engine e le API AI.
- Nessun addebito automatico, nessun impegno
Continua a esplorare con oltre 20 prodotti sempre senza costi.
Accedi a oltre 20 prodotti senza costi per casi d'uso comuni, tra cui API AI, VM, data warehouse e altro ancora.
Risorse di documentazione
Guide
Risorse correlate
Esegui workload HPC altamente paralleli
Con Dataflow, puoi eseguire i carichi di lavoro altamente paralleli in un'unica pipeline, migliorando l'efficienza e semplificando la gestione del workflow.
Esegui l'inferenza con Dataflow ML
Dataflow ML ti consente di utilizzare Dataflow per eseguire il deployment e gestire pipeline di machine learning (ML) complete. Utilizza i modelli ML per eseguire l'inferenza locale e remota con pipeline batch e di streaming. Utilizza gli strumenti di trattamento dati per preparare i dati per l'addestramento del modello ed elaborare i risultati dei modelli.
Crea una pipeline di streaming per l'e-commerce
Crea un'applicazione di esempio di e-commerce end-to-end che trasmette dati da un negozio online a BigQuery e Bigtable. L'applicazione di esempio illustra i casi d'uso comuni e le best practice per l'implementazione dell'analisi dei flussi di dati e dell'intelligenza artificiale (AI) in tempo reale.