Cos’è la scienza dei dati?

La scienza dei dati è il dominio di studio che si occupa di vasti volumi di dati utilizzando strumenti e tecniche moderni per trovare modelli invisibili, ricavare informazioni significative e prendere decisioni aziendali. La scienza dei dati utilizza complessi algoritmi di apprendimento automatico per creare modelli predittivi.

I dati utilizzati per l’analisi possono provenire da molte fonti diverse e presentati in vari formati.

Ora che sai cos’è la scienza dei dati, vediamo perché è essenziale per il panorama IT di oggi.

Il ciclo di vita della scienza dei dati

Ora che hai qualche informazione in più su cos’è la scienza dei dati, concentriamoci sul ciclo di vita della scienza dei dati.

Il ciclo di vita della scienza dei dati è costituito da cinque fasi distinte, ciascuna con i propri compiti:

1. Acquisire: acquisizione dati, immissione dati, ricezione segnali, estrazione dati. Questa fase prevede la raccolta di dati grezzi strutturati e non strutturati.
2. Mantenere: Data Warehousing, Data Cleansing, Data Staging, Data Processing, Data Architecture. Questa fase riguarda il prendere i dati grezzi e metterli in una forma che può essere utilizzata.
3. Processo: data mining, clustering/classificazione, modellazione dei dati, riepilogo dei dati. I data scientist prendono i dati preparati ed esaminano i loro modelli, intervalli e pregiudizi per determinare quanto saranno utili nell’analisi predittiva.
4. Analizzare: esplorativo/confermativo, analisi predittiva, regressione, estrazione di testo, analisi qualitativa. Ecco il vero fulcro del ciclo di vita. Questa fase prevede l’esecuzione delle varie analisi sui dati.
5. Comunicare: reportistica dei dati, visualizzazione dei dati, business intelligence, processo decisionale. In questa fase finale, gli analisti preparano le analisi in forme facilmente leggibili come diagrammi, grafici e report.

Prerequisiti per Data Science

Ecco alcuni dei concetti tecnici che dovresti conoscere prima di iniziare a imparare cos’è la scienza dei dati.

Apprendimento automatico

L’apprendimento automatico è la spina dorsale della scienza dei dati. I data scientist devono avere una solida conoscenza del machine learning oltre alla conoscenza di base della statistica.

Modellazione

I modelli matematici ti consentono di effettuare calcoli e previsioni rapidi in base a ciò che già sai sui dati. Anche la modellazione fa parte dell’apprendimento automatico e implica l’identificazione di quale algoritmo è il più adatto a risolvere un determinato problema e come addestrare questi modelli.

Statistiche

Le statistiche sono al centro della scienza dei dati. Una solida padronanza delle statistiche può aiutarti a estrarre più informazioni e ottenere risultati più significativi.

Programmazione

È necessario un certo livello di programmazione per eseguire un progetto di data science di successo. I linguaggi di programmazione più comuni sono Python e R.

Python è particolarmente popolare perché è facile da imparare e supporta diverse librerie per data science e Machine Learning.

Basi di dati

Un data scientist capace deve capire come funzionano i database, come gestirli e come estrarne i dati.

Chi supervisiona il processo di data science?

Dirigenti d’impresa

I responsabili aziendali sono le persone incaricate di supervisionare il metodo di formazione sulla scienza dei dati. La loro responsabilità principale è collaborare con il team di data science per caratterizzare il problema e stabilire un metodo analitico. Un data scientist può supervisionare il reparto marketing, finanziario o vendite e riferire a un dirigente responsabile del dipartimento. Il loro obiettivo è garantire che i progetti vengano completati in tempo collaborando a stretto contatto con data scientist e responsabili IT.

Responsabili IT

Dopo di loro ci sono i responsabili IT. Se il responsabile fa parte dell’organizzazione da molto tempo, le responsabilità saranno senza dubbio più importanti di qualsiasi altra. Sono i principali responsabili dello sviluppo dell’infrastruttura e dell’architettura per consentire le attività di data science. I team di data science sono costantemente monitorati e dotati di risorse adeguate per garantire che operino in modo efficiente e sicuro. Possono anche essere incaricati di creare e mantenere ambienti IT per i team di data science.

Responsabili della scienza dei dati

I responsabili della scienza dei dati costituiscono la sezione finale. Principalmente tracciano e supervisionano le procedure di lavoro di tutti i membri del team di data science. Inoltre gestiscono e tengono traccia delle attività quotidiane dei tre team di data science. Sono costruttori di team in grado di unire la pianificazione e il monitoraggio del progetto con la crescita del team.

Cos’è un Data Scientist?

I data scientist sono tra i più recenti professionisti dei dati analitici che hanno la capacità tecnica di gestire problemi complicati e il desiderio di indagare su quali domande è necessario rispondere. Sono un mix di matematici, informatici e trend forecaster. Sono anche molto richiesti e ben pagati perché lavorano sia nel settore aziendale che in quello IT.

Su base giornaliera, un data scientist può svolgere le seguenti attività:

• Scoprire modelli e tendenze nei set di dati per ottenere approfondimenti.
• Creare algoritmi di previsione e modelli di dati.
• Migliorare la qualità dei dati o delle offerte di prodotti utilizzando tecniche di machine learning.
• Distribuire suggerimenti ad altri team e al top management.
• Nell’analisi dei dati, utilizzare strumenti di dati come R, SAS, Python o SQL.
• Contribuire alle innovazioni della scienza dei dati.

Cosa fa un data scientist?

Sai cos’è la scienza dei dati e ti starai chiedendo com’è esattamente questo ruolo lavorativo: ecco la risposta.

Un data scientist analizza i dati aziendali per estrarre informazioni significative.

In altre parole, un data scientist risolve i problemi aziendali attraverso una serie di passaggi, tra cui:

• Prima di affrontare la raccolta e l’analisi dei dati, il data scientist determina il problema ponendo le domande giuste e acquisendo comprensione.
• Il data scientist determina quindi il set corretto di variabili e set di dati.
• Il data scientist raccoglie dati strutturati e non strutturati da molte fonti disparate: dati aziendali, dati pubblici, ecc.
• Una volta raccolti i dati, il data scientist elabora i dati grezzi e li converte in un formato adatto all’analisi. Ciò comporta la pulizia e la convalida dei dati per garantire uniformità, completezza e accuratezza.
• Dopo che i dati sono stati resi in una forma utilizzabile, vengono inseriti nel sistema analitico: algoritmo ML o modello statistico. È qui che i data scientist analizzano e identificano modelli e tendenze.
• Quando i dati sono stati completamente elaborati, il data scientist interpreta i dati per trovare opportunità e soluzioni.
• I data scientist completano il compito preparando i risultati e gli approfondimenti da condividere con le parti interessate appropriate e comunicando i risultati.

Ora dovremmo essere a conoscenza di alcuni algoritmi di apprendimento automatico che sono utili per comprendere chiaramente la scienza dei dati.

Perché diventare un data scientist?

Hai imparato cos’è la scienza dei dati. Sembra eccitante, vero? Ecco un altro valido motivo per cui dovresti perseguire la scienza dei dati come campo di lavoro. Secondo Glassdoor e Forbes, la domanda di data scientist aumenterà del 28% entro il 2026, il che parla della durabilità e della longevità della professione, quindi se vuoi una carriera sicura, la scienza dei dati ti offre questa possibilità.

Inoltre, la professione di data scientist si è classificata al secondo posto nel sondaggio Best Jobs in America for 2021, con uno stipendio base medio di 127.500 USD.

Quindi, se stai cercando una carriera entusiasmante che offra stabilità e un generoso compenso, non cercare oltre!

Uso della scienza dei dati

• La scienza dei dati può rilevare modelli in dati apparentemente non strutturati o non collegati, consentendo di trarre conclusioni e previsioni.
• Le aziende tecnologiche che acquisiscono i dati degli utenti possono utilizzare strategie per trasformare tali dati in informazioni preziose o redditizie.
• La scienza dei dati ha anche fatto breccia nel settore dei trasporti, ad esempio con le auto senza conducente. È semplice ridurre il numero di incidenti con l’uso di auto senza conducente. Ad esempio, con le auto senza conducente, i dati di addestramento vengono forniti all’algoritmo e i dati vengono esaminati utilizzando approcci di scienza dei dati, come il limite di velocità in autostrada, strade trafficate, ecc.
• Le applicazioni di Data Science forniscono un migliore livello di personalizzazione terapeutica attraverso la ricerca genetica e genomica.

Dove ti trovi nella scienza dei dati?

La scienza dei dati ti offre l’opportunità di concentrarti e specializzarti in un aspetto del campo. Ecco un esempio di diversi modi in cui puoi inserirti in questo campo entusiasmante e in rapida crescita.

Scienziato dei dati

Ruolo professionale: determinare qual è il problema, quali domande richiedono risposte e dove trovare i dati. Inoltre, estraggono, puliscono e presentano i dati rilevanti.

Competenze necessarie: competenze di programmazione (SAS, R, Python), storytelling e visualizzazione dei dati, competenze statistiche e matematiche, conoscenza di Hadoop, SQL e Machine Learning.

Analista dati

Ruolo professionale: gli analisti colmano il divario tra i data scientist e gli analisti aziendali, organizzando e analizzando i dati per rispondere alle domande poste dall’organizzazione. Prendono le analisi tecniche e le trasformano in azioni qualitative.

Competenze necessarie: competenze statistiche e matematiche, capacità di programmazione (SAS, R, Python), oltre a esperienza nel data wrangling e nella visualizzazione dei dati.

Ingegnere dei dati

Ruolo professionale: gli ingegneri dei dati si concentrano sullo sviluppo, l’implementazione, la gestione e l’ottimizzazione dell’infrastruttura dei dati e delle pipeline di dati dell’organizzazione. Gli ingegneri supportano i data scientist aiutando a trasferire e trasformare i dati per le query.

Competenze necessarie: database NoSQL (ad es. MongoDB, Cassandra DB), linguaggi di programmazione come Java e Scala e framework (Apache Hadoop).

Strumenti di scienza dei dati

La professione di data scientist è impegnativa, ma fortunatamente ci sono molti strumenti disponibili per aiutare il data scientist ad avere successo nel proprio lavoro.

• Analisi dei dati: SAS, Jupyter, R Studio, MATLAB, Excel, RapidMiner
• Data warehousing: Informatica/ Talend, AWS Redshift
• Visualizzazione dei dati: Jupyter, Tableau, Cognos, RAW
• Apprendimento automatico: Spark MLib, Mahout, Azure ML studio

Differenza tra Business Intelligence e Data Science

Arrivati a questo punto, impariamo a conoscere la differenza tra business intelligence e scienza dei dati e perché non potrai usarli in modo intercambiabile.

La business intelligence è una combinazione delle strategie e delle tecnologie utilizzate per l’analisi dei dati/informazioni aziendali. Come la scienza dei dati, può fornire viste storiche, attuali e predittive delle operazioni aziendali. Tuttavia, ci sono alcune differenze fondamentali.

Applicazioni della scienza dei dati

La scienza dei dati ha trovato le sue applicazioni in quasi tutti i settori.

Sanità

Le aziende sanitarie utilizzano la scienza dei dati per costruire sofisticati strumenti medici per rilevare e curare le malattie.

Gioco

I videogiochi e i giochi per computer vengono ora creati con l’aiuto della scienza dei dati e ciò ha portato l’esperienza di gioco a un livello superiore.

Riconoscimento delle immagini

L’identificazione di modelli nelle immagini e il rilevamento di oggetti in un’immagine è una delle applicazioni di data science più popolari.

Sistemi di raccomandazione

Netflix e Amazon forniscono consigli su film e prodotti in base a ciò che ti piace guardare, acquistare o navigare sulle loro piattaforme.

Logistica

La scienza dei dati viene utilizzata dalle società di logistica per ottimizzare i percorsi per garantire una consegna più rapida dei prodotti e aumentare l’efficienza operativa.

Rilevamento di frodi

Le istituzioni bancarie e finanziarie utilizzano la scienza dei dati e i relativi algoritmi per rilevare transazioni fraudolente.

Ricerca su Internet

Quando pensiamo alla ricerca su Internet, pensiamo subito a Google. Giusto? Tuttavia, ci sono altri motori di ricerca, come Yahoo, Duckduckgo, Bing, AOL, Ask e altri, che utilizzano algoritmi di data science per offrire i migliori risultati per la nostra query ricercata in pochi secondi. Dato che Google gestisce più di 20 petabyte di dati al giorno. Google non sarebbe la “Google” che conosciamo oggi se la scienza dei dati non esistesse.

Riconoscimento vocale

Il riconoscimento vocale è dominato dalle tecniche di data science. Potremmo vedere l’eccellente lavoro di questi algoritmi nella nostra vita quotidiana. Hai mai avuto bisogno dell’aiuto di un assistente vocale virtuale come Google Assistant, Alexa o Siri? Ebbene, la sua tecnologia di riconoscimento vocale opera dietro le quinte, tentando di interpretare e valutare le tue parole e fornendo risultati utili dal tuo utilizzo. Il riconoscimento delle immagini può essere visto anche su piattaforme di social media come Facebook, Instagram e Twitter. Quando invii una tua foto con qualcuno nella tua lista, queste applicazioni lo riconosceranno e lo taggheranno.

Pubblicità mirata

Se pensavi che la ricerca fosse l’uso più essenziale della scienza dei dati, considera questo: l’intero spettro del marketing digitale. Dai banner pubblicitari su vari siti Web ai cartelloni pubblicitari digitali negli aeroporti, gli algoritmi di data science vengono utilizzati per identificare quasi tutto. Questo è il motivo per cui le pubblicità digitali hanno un CTR (Call-Through Rate) molto più elevato rispetto al marketing tradizionale. Possono essere personalizzati in base al comportamento precedente di un utente. Questo è il motivo per cui potresti vedere annunci di programmi di formazione sulla scienza dei dati mentre un’altra persona vede contemporaneamente un annuncio di abbigliamento nella stessa regione.

Pianificazione del percorso aereo

Grazie alla scienza dei dati, è più facile prevedere i ritardi dei voli per il settore aereo, che lo sta aiutando a crescere. Aiuta anche a determinare se atterrare immediatamente a destinazione o fare uno scalo intermedio, come un volo da Delhi agli Stati Uniti d’America o uno scalo intermedio e poi arrivare a destinazione.

Realtà aumentata

Ultimo ma non meno importante, le applicazioni finali di data science sembrano essere le più affascinanti del futuro. Sì, stiamo discutendo di qualcosa di diverso dalla realtà aumentata. Ti rendi conto che esiste un’affascinante relazione tra data science e realtà virtuale? Un visore per realtà virtuale incorpora competenze informatiche, algoritmi e dati per creare la migliore esperienza visiva possibile. Il popolare gioco Pokemon GO è un piccolo passo in quella direzione. La capacità di vagare e guardare i Pokemon su muri, strade e altre superfici inesistenti. I creatori di questo gioco hanno scelto le posizioni dei Pokemon e delle palestre utilizzando i dati di Ingress, l’app precedente della stessa azienda.

Esempio di scienza dei dati

Ecco alcune brevi panoramiche di un paio di casi d’uso, che mostrano la versatilità della scienza dei dati.

• Applicazione della legge: in questo scenario, la scienza dei dati viene utilizzata per aiutare la polizia in Belgio a capire meglio dove e quando schierare il personale per prevenire il crimine. Con solo risorse limitate e un’ampia area per coprire la scienza dei dati, dashboard e rapporti utilizzati per aumentare la consapevolezza situazionale degli agenti, consentendo a una forza di polizia che si è diffusa per mantenere l’ordine e anticipare l’attività criminale.
• Lotta alla pandemia: lo stato del Rhode Island voleva riaprire le scuole, ma è stato naturalmente cauto, considerando la pandemia di COVID-19 in corso. Lo stato ha utilizzato la scienza dei dati per accelerare le indagini sui casi e il tracciamento dei contatti, consentendo a un piccolo staff di gestire un numero enorme di chiamate preoccupate da parte dei cittadini. Queste informazioni hanno aiutato lo stato a creare un call center ea coordinare le misure preventive.
• Veicoli senza conducente: Lunewave, un’azienda produttrice di sensori, era alla ricerca di un modo per rendere la tecnologia dei sensori più economica e precisa. Si sono rivolti alla scienza dei dati e all’apprendimento automatico per addestrare i propri sensori a essere più sicuri e affidabili, oltre a utilizzare i dati per migliorare il processo di produzione dei sensori stampati in 3D.
• Intrattenimento: la scienza dei dati consente ai servizi di streaming di seguire e valutare ciò che i consumatori vedono, il che aiuta nella creazione di nuove serie TV e film. Gli algoritmi basati sui dati vengono utilizzati anche per fornire suggerimenti personalizzati basati sulla cronologia delle visualizzazioni di un utente.
• Finanza: le banche e le società di carte di credito estraggono e analizzano i dati per rilevare attività fraudolente, gestire i rischi finanziari su prestiti e linee di credito e valutare i portafogli dei clienti al fine di scoprire possibilità di upselling.
• Produzione: le applicazioni di data science nella produzione includono la gestione della catena di approvvigionamento e l’ottimizzazione della distribuzione, nonché la manutenzione predittiva per anticipare i probabili guasti delle apparecchiature nelle strutture prima che si verifichino.
• Sanità: i modelli di machine learning e altri componenti di data science vengono utilizzati da ospedali e altri operatori sanitari per automatizzare l’analisi a raggi X e assistere i medici nella diagnosi delle malattie e nella pianificazione dei trattamenti in base agli esiti dei pazienti precedenti.
• Vendita al dettaglio: i rivenditori valutano il comportamento dei clienti e le tendenze di acquisto al fine di fornire suggerimenti personalizzati sui prodotti, nonché pubblicità, marketing e promozioni mirati. La scienza dei dati li assiste anche nella gestione degli inventari dei prodotti e delle catene di approvvigionamento al fine di mantenere gli articoli in magazzino.

Domande frequenti

Qual è la differenza tra data science, intelligenza artificiale e machine learning?

L’Intelligenza Artificiale fa agire/pensare un computer come un essere umano. La scienza dei dati è un sottoinsieme dell’intelligenza artificiale che si occupa di metodi di dati, analisi scientifiche e statistiche, tutti utilizzati per ottenere informazioni e significato dai dati. L’apprendimento automatico è un sottoinsieme dell’intelligenza artificiale che insegna ai computer a imparare cose dai dati forniti.

Che cos’è la scienza dei dati in parole semplici?

La scienza dei dati è un sottoinsieme dell’intelligenza artificiale che si occupa di metodi di dati, analisi scientifiche e statistiche, tutti utilizzati per ottenere informazioni e significato dai dati.

Cosa fa un Data Scientist?

Un data scientist analizza i dati aziendali per estrarre informazioni significative.

Che cos’è Data Science con un esempio?

La scienza dei dati è il dominio di studio che si occupa di vasti volumi di dati utilizzando strumenti e tecniche moderni per trovare modelli invisibili, ricavare informazioni significative e prendere decisioni aziendali. Ad esempio, le società finanziarie possono utilizzare la cronologia bancaria e di pagamento delle bollette di un cliente per valutare l’affidabilità creditizia e il rischio di prestito.

Che tipo di problemi risolvono i data scientist?

I data scientist risolvono problemi come:

• Attenuazione del rischio
• Traiettorie pandemiche e modelli di contagio
• Efficacia di vari tipi di pubblicità online
• Assegnazione delle risorse

Posso imparare la scienza dei dati da solo?

La scienza dei dati è un campo complesso con molti requisiti tecnici difficili. Non è consigliabile provare ad apprendere la scienza dei dati senza l’aiuto di un programma di apprendimento strutturato.

Conclusione

I dati saranno la linfa vitale del mondo degli affari per il prossimo futuro. La conoscenza è potere e i dati sono conoscenze fruibili che possono fare la differenza tra il successo e il fallimento aziendale. Incorporando le tecniche di data science nella loro attività, le aziende possono ora prevedere la crescita futura, prevedere potenziali problemi e ideare strategie informate per il successo.

Dalla sua creazione alla fonte, attraverso il suo movimento e la sua trasformazione dentro e fuori le piattaforme e i repository di dati all’interno e all’esterno della tua azienda, fino al suo luogo di riposo finale nelle applicazioni e nella business intelligence su cui si basano le operazioni e il processo decisionale.

La Data Lineage end-to-end fornisce una visione completa e dettagliata di come un determinato set di dati entra, attraversa e esce dall’organizzazione.

Può aiutarti a pianificare gli sforzi di modernizzazione dell’IT, risolvere i problemi di qualità dei dati, affrontare la governance dei dati e la conformità alle normative e visualizzare e comprendere rapidamente i dati disponibili e le relative relazioni all’interno della tua organizzazione.

Perché la Data Lineage è importante?

Rintracciare l’origine e il flusso dei dati è un compito arduo.

Man mano che la tua organizzazione accumula sistemi informativi, accumula anche punti di ingresso dati e regole di trasformazione per dati in continuo movimento.

Inoltre, gli strumenti di integrazione dei dati, gli strumenti di estrazione-trasformazione-caricamento (ETL), il codice procedurale e persino le API e i report di business intelligence (BI) aggregano e trasformano costantemente i dati.

Di conseguenza, è difficile compilare e comprendere manualmente la complicata rete di dati formata tra i sistemi all’interno della tua organizzazione e presentarla in un semplice flusso visivo.

La lineage automatizzata dei dati può fornire all’IT, ai team di governance dei dati e agli utenti aziendali la visibilità e il contesto attuali dei dati organizzativi per lavorare in modo più efficiente, prendere decisioni più solide e sfruttare e proteggere meglio i dati a loro disposizione.

La Data Lineage non solo consente di comprendere da dove provengono i dati, come vengono trasformati e come si spostano all’interno dell’organizzazione, ma può riunire attributi e governance tecnici e aziendali, mettere in luce i dati sensibili e altre classificazioni dei dati, fornire visibilità sulla qualità dei dati, incluso l’aiuto gli utenti conducono rapidamente l’analisi delle cause alla radice dei problemi di qualità dei dati e altro ancora.

In assenza di funzionalità di analisi dell’impatto automatizzate o in combinazione con queste funzionalità, la Data Lineage può anche essere estremamente utile per definire l’ambito e valutare l’impatto di potenziali attività di gestione dei dati, intelligence dei dati e migrazione della piattaforma dati.

Vantaggi della Data Lineage

Impatto sul business e visibilità del panorama dei dati

La consapevolezza e la comprensione dei dati disponibili e la loro trasformazione e flusso su più sistemi possono influenzare e supportare le decisioni aziendali che prendi.

Ad esempio, la comprensione del percorso e del contesto dei dati può aiutarti a rispondere alle domande nei report di business intelligence, tra cui chi possiede i dati, indicazioni sulla governance di cui essere a conoscenza e in che misura i dati sono adatti al tuo utilizzo.

Con la Data Lineage, puoi comprendere meglio i dati che sono allineati con iniziative aziendali critiche, dove e come i dati sono stati originati e se devono essere considerati attendibili dato il loro percorso di derivazione a monte, i punteggi di qualità dei dati associati e altro ancora.

Le organizzazioni possono anche vedere più facilmente le aree a rischio in cui le informazioni critiche sulla privacy potrebbero uscire dall’azienda.

Supporto di base per la governance dei dati

La proprietà, la responsabilità e la tracciabilità dei dati sono al centro di un solido programma di governance dei dati.

In combinazione con l’automazione, la Data Lineage può aiutare i proprietari dei dati, i data steward e gli utenti IT e aziendali a comprendere e convalidare l’utilizzo dei dati.

La data lineage automatizzato può fornire un data lineage orizzontale, dall’origine dati iniziale alla destinazione e tutte le trasformazioni dei dati intermedie, nonché un data lineage verticale che fornisce informazioni sulle associazioni tra risorse aziendali e tecniche.

La data lineage end-to-end, sia a monte che a valle, può rivelare quando e da chi sono state apportate modifiche e riunisce la governance tecnica e aziendale in una visuale centrale per tutti gli utenti di dati.

La data lineage è uno strumento di trasparenza essenziale per i team di governance dei dati.

Conformità normativa e verificabilità

I termini commerciali e le policy sui dati devono essere implementati tramite regole aziendali documentate all’interno della soluzione di data intelligence e governance.

È quindi possibile utilizzare la data lineage per tenere traccia della conformità normativa a tali regole, incorporando controlli di verificabilità e convalida ogni volta che i dati vengono trasformati.

La data lineage offre anche prove visive e rapide a clienti, dipendenti e revisori che stai prendendo sul serio le normative sulla conformità e le preoccupazioni sulla privacy e implementando programmi per supportare i tuoi sforzi.

Collaborazione tra team

La Data Lineage fornisce una visione comune dei dati all’interno della tua organizzazione e del loro percorso attraverso le linee di business e gli ambienti analitici legacy e moderni disparati.

Questa trasparenza dei dati e il loro utilizzo alimentano un’ulteriore condivisione dei dati e identificano chiaramente passaggi critici durante i progetti di integrazione dei dati.

Con un punto di riferimento centrale, i team di tutta l’organizzazione possono lavorare insieme in modo più efficiente per garantire che i dati all’interno dell’organizzazione siano pienamente sfruttati e adeguatamente protetti.

Visibilità e targeting della qualità dei dati

L’analisi delle cause principali è il primo passo per affrontare la scarsa qualità dei dati.

Con informazioni sulla Data Lineage nella qualità dei dati, i data steward possono tracciare il flusso di informazioni a ritroso per determinare se le standardizzazioni e le trasformazioni dei dati sono state eseguite correttamente.

La derivazione dei dati end-to-end consente di risolvere un problema di qualità dei dati alla fonte e consente ai team di monitorare in modo proattivo le principali pipeline di dati per garantire l’integrità dei dati.

La Data Lineage può anche fornire agli utenti aziendali una visione diretta dell’idoneità dei dati che crea fiducia.

Pianificazione informatica e gestione dei dati

La Data Lineage fornisce gli insight e le informazioni necessarie ai data architect e ai data engineer per comprendere lo stato così com’è dell’attuale panorama dei dati e gestire e pianificare in modo intelligente la modernizzazione dell’IT, le migrazioni del data warehouse e altre attività critiche.

Fornisce un ambito visivo del progetto su quante applicazioni, regole di trasformazione e business unit saranno interessate.

La visibilità delle classificazioni dei dati sensibili e di altro tipo, gli indicatori di qualità dei dati e il contesto di governance prontamente disponibile aiutano i team IT a gestire meglio i dati all’interno dell’organizzazione.

Preparazione dei dati

Per gli analisti di dati che preparano i dati, la Data Lineage fornisce la roadmap necessaria per garantire che i dati più adatti siano selezionati per l’analisi prevista.

La Data Lineage può fornire agli analisti una visuale dei sistemi, degli ambienti, delle tabelle e delle colonne disponibili.

Funge da punto di riferimento per la denominazione fisica e logica e può includere la qualità dei dati, indicatori di dati sensibili e barriere di governance per guidare in modo efficiente il lavoro degli analisti e velocizzare i tempi di preparazione dei dati.

La Data Lineage fa parte della governance dei dati?

La risposta a questa domanda è senz’altro un SÌ. Una governance dei dati efficace richiede che i glossari aziendali, i dizionari dei dati e le politiche sulla privacy dei dati risiedano in un’unica posizione centrale.

Ma man mano che il volume dei dati cresce in un’organizzazione, quegli oggetti finiscono in formati diversi in luoghi diversi, espressi in modi diversi.

La Data Lineage aiuta l’organizzazione a tracciarli, monitorarli e aggiornarli facilmente nel tempo.

La Data Lineage offre vantaggi nelle pratiche di governance come la coerenza della terminologia, la correzione della qualità dei dati, il controllo delle pipeline di dati e l’analisi della causa principale durante gli incidenti di dati.

Quali sono i diversi tipi di Data Lineage?

La Data Lineage include sia la lineage aziendale che la lineage tecnica.

La lineage aziendale si concentra sulla panoramica dell’origine dati per aiutare i team di governance dei dati e gli utenti aziendali a comprendere il flusso di dati tra diverse origini dati all’interno del panorama dei dati di un’organizzazione.

La lineage tecnica si concentra sul flusso di dati dell’organizzazione a livello di tabella e colonna, i livelli e le regole di trasformazione sottostanti, le tabelle/file temporanei e altri oggetti di interesse per gli utenti tecnici per comprendere il percorso dei dati di un’organizzazione.

Sia le viste di lineage aziendale che quelle tecniche sono fondamentali per le organizzazioni per comprendere il valore dei loro dati e valutare facilmente l’impatto delle modifiche. La capacità di eseguire il drill-down dalla lineage aziendale alla lineage tecnica, o viceversa, offre una maggiore flessibilità agli analisti di dati per ottenere rapidamente la giusta prospettiva del flusso di dati.

Non tutti i data lineage automatizzati vengono forniti allo stesso modo. Il lineage riferito può riunire il lineage in base ai nomi e alla composizione di elementi o attributi. La Data Lineage più dettagliata si basa sul codice a livello di elemento ed è più affidabile.

La Data Lineage si sta rapidamente evolvendo per diventare più intelligente, utilizzando l’intelligenza artificiale per acquisire modelli in codice difficile da analizzare.

Che cos’è un catalogo dati e una lineage?

Un catalogo di dati è una vista centralizzata delle risorse di dati all’interno di un’organizzazione utilizzata per gestire, sfruttare, proteggere, comprendere e socializzare i dati di un’organizzazione.

Un catalogo di dati comprende i metadati, o dati che descrivono i tuoi dati, che vengono raccolti dalle origini dati, dalle piattaforme dati, dalle applicazioni e dai sistemi di business intelligence in tutta la tua azienda.

Viene quindi ulteriormente arricchito con indicazioni sul contesto aziendale e sulla governance dei dati.

La catalogazione automatizzata dei dati sfrutta le funzionalità di rilevamento automatico dei dati e di raccolta dei metadati utilizzando connettori di dati specifici della piattaforma per i metadati dei dati inattivi.

La lineage automatizzata dei dati sfrutta i metadati dei dati inattivi.

Cattura anche i metadati dei dati in movimento, sfruttando le capacità di reverse engineering del connettore dati.

Analizza il codice coinvolto nello spostamento dei dati, come il codice procedurale e l’ETL, per mappare il flusso di dati all’interno di un’organizzazione.

La lineage risultante aiuta l’IT, i team di governance dei dati e gli utenti aziendali a comprendere visivamente le risorse di dati disponibili all’interno dell’organizzazione.

Specifica il percorso dei dati dall’origine dati iniziale alle applicazioni di destinazione finali, con tutte le trasformazioni dei dati intermedie.

Che cos’è uno strumento di Data Lineage?

Uno strumento di Data Lineage utilizza l’automazione per scoprire e mappare il flusso di dati dalle origini dati iniziali, attraverso la trasformazione e l’elaborazione, fino alle destinazioni finali.

Ad esempio, nella mappatura delle pipeline di dati che popolano il data warehouse, uno strumento di Data Lineage potrebbe eseguire il reverse engineering delle attività ETL che precedono immediatamente il caricamento dei dati nel data warehouse di destinazione.

Iterando attraverso tutte le fonti di dati, lo strumento accumula un elenco di attività e documenta ogni pezzo di lineage scoperto.

Alla fine della sequenza, il processo avrà eseguito la mappatura inversa delle pipeline per popolare quel data warehouse.

Gli strumenti automatizzati rendono pratico raccogliere e mantenere aggiornata la Data Lineage. L’utilizzo di questi tool automatici, consentono ai data steward di risparmiare fino al 95% del tempo tradizionalmente attribuito ai metodi manuali.

Quasi il 70% dei CFO concorda sul fatto che i propri team debbano sfruttare in modo più efficace i dati operativi per estrarre insight aziendali. Troppe aziende lottano con problemi relativi ai dati come l’organizzazione omogenea di più fonti di dati, la mancanza di collaborazione tra i team, la scarsa precisione dei dati e la scarsa accessibilità ai dati.

L’utilizzo di un’unica single source of truth fornirà ai responsabili delle decisioni un quadro più chiaro dei dati in loro possesso e degli ostacoli che si frappongono a una strategia di dati ottimizzata.

Quindi, sarà possibile scegliere strumenti e servizi, comprese le soluzioni cloud, progettati per aiutare a semplificare le strategie dei dati aziendali e potrà iniziare un vero processo di implementazione single source of truth.

Cos’è un’unica fonte di verità (SSOT)?

Single source of truth (SSOT) è un concetto utilizzato per garantire che tutti in un’organizzazione basino le decisioni aziendali sugli stessi dati. Creare un’unica fonte di verità è semplice. Per mettere in atto un SSOT, un’organizzazione deve fornire al personale interessato una fonte che memorizzi i punti dati di cui ha bisogno.

Il processo decisionale basato sui dati ha attribuito livelli di importanza mai visti prima alla raccolta e all’analisi dei dati. Mentre oggi agire sulla business intelligence derivata dai dati è essenziale per i marchi competitivi, le aziende spesso passano troppo tempo a discutere quali numeri, invariabilmente provenienti da fonti diverse, siano i numeri giusti da utilizzare.

Le metriche delle piattaforme social possono dipingere un’immagine dei dati demografici target di un’azienda, mentre il feedback dei fornitori o i questionari online possono dire qualcosa di completamente diverso. In che modo i leader aziendali possono decidere quali punti dati utilizzare in uno scenario del genere?

Stabilire un’unica fonte di verità elimina questo problema. Invece di discutere quale delle molte fonti di dati concorrenti dovrebbe essere utilizzata per prendere decisioni aziendali, tutti possono utilizzare la stessa fonte unificata per tutte le proprie esigenze di dati. Fornisce dati che possono essere utilizzati da chiunque, in qualsiasi modo, nell’intera organizzazione.

Vantaggi della Single source of truth (SSOT)

Una solida infrastruttura di dati e business intelligence che gira su un SSOT può:

• Eliminare voci duplicate di dati
• Fornire ai decisori i dati giusti al momento giusto
• Ridurre sostanzialmente il tempo impiegato per identificare quali dati registrati sono corretti
• Migliorare in modo iterativo le capacità di data intelligence dell’azienda

Con un processo decisionale più rapido e tempestivo, l’azienda sarà in una posizione migliore per implementare nuove strategie basate su punti dati accettati.

Come superare gli ostacoli SSOT

Gli ostacoli all’implementazione della single source of truth (SSOT) includono:

• Ottenere il consenso (buy-in) dei partecipanti
• Raccogliere di dati di alta qualità
• Sapere cosa ti dicono i dati, invece di guardare cosa sono effettivamente i dati stessi

Il primo passo per ottenere il buy-in è lavorare con i leader aziendali senior per stabilire quale fonte di informazioni è la migliore da utilizzare. Questo può richiedere del tempo, ma il consenso può essere raggiunto dopo una discussione e un voto. Una volta fatto ciò, si tratta solo di ottenere dati di alta qualità da quella fonte.

Questo può essere fatto:

• Escludendo alcuni tipi di dati, come punti dati casuali da presentazioni esecutive o notizie
• Consentendo l’utilizzo nell’analisi solo dei dati estratti dalla dashboard ufficiale dell’azienda
• Agendo sul filtraggio e archiviazione di tutti i dati SSOT su un’unica piattaforma accessibile a tutti in azienda

C‘è una linea sottile tra ciò che sono i tuoi dati e ciò che dicono. Ad esempio, alti tassi di abbandono delle pagine web potrebbero significare che hai un sito web che non risponde alle esigenze degli utenti che deve essere migliorato, oppure potrebbe significare che la messaggistica della tua azienda necessita di perfezionamento perché le persone visitano la tua pagina web ma non sono adeguatamente coinvolte.

• Il personale dell’azienda che ha accesso ai dati di cui ha bisogno può scavare nei dati per vedere oltre le tendenze ovvie e i punti statistici
• Consentendo ai decisori di raccogliere, gestire e analizzare i dati in tutte le aree operative dell’azienda utilizzando una soluzione come i dati self-service, possono separare il rumore di fondo dai problemi reali e implementare in modo proattivo le correzioni in tempo reale

Implementazione della tua prima SSOT

Forse ti stai chiedendo come prende forma una single source of truth (SSOT)? Ecco i passaggi che potresti dover intraprendere per implementare una SSOT:

1. Ottieni il buy-in. Riunisci i leader aziendali senior e individua i pro e i contro di ciascuna delle tue fonti di dati e scegli la fonte migliore per avviare il tuo progetto pilota SSOT.
2. Una volta scelta la fonte, chiedi al tuo team tecnico di lavorare in modo trasversale per identificare chi ha bisogno di quali tipi di dati. Saranno richiesti determinati livelli di autorizzazione? La tua infrastruttura IT esistente è in grado di supportare il cambiamento? Elaborare un piano IT aggiornato di conseguenza.
3. Con un quadro chiaro di come fornire l’accesso ai dati a coloro che ne hanno bisogno, è necessario arrivare in modo iterativo a un insieme sempre più ristretto di “punti dati” per confrontare i dati per una specifica operazione aziendale.
4. Assicurati che tutti siano coinvolti e sappiano quali sono i passaggi e i requisiti di accesso ai dati dopo aver ottenuto origini dati chiare, ben definite e tracciabili.
5. Assicurati che tutte le persone dell’azienda siano in grado di accedere in modo sicuro a tali dati.
6. Requisiti di conformità a triplo controllo. Qualsiasi modifica al modo in cui i dati sono organizzati e accessibili potrebbe accidentalmente oltrepassare i limiti di conformità.
7. Controlla due e tre volte i requisiti per assicurarti di essere ancora conforme.
8. Distribuisci il processo all’unità aziendale successiva e al tipo di dati in linea.

È progettato per ospitare grandi quantità di dati, inclusi dati strutturati, semi-strutturati e non strutturati provenienti da varie fonti. È attrezzato per elaborare e organizzare i dati grezzi indipendentemente dalla loro dimensione e volume, offrendo elevate prestazioni di analisi e integrazione nativa.

Un data lake archivia questa grande quantità di dati grezzi in un’architettura piatta con tag di metadati e un identificatore univoco per un recupero facile e rapido. In sostanza, un data lake consente alle aziende di raccogliere qualsiasi tipo di dati da qualsiasi fonte senza doverli prima strutturare e consente loro di analizzarli utilizzando applicazioni di analisi o linguaggi come Python, SQL o R.

Data Lake per le aziende

I data lake sono enormi contenitori di dati. Facilitano la facile acquisizione e rilevabilità dei dati, insieme a una solida struttura per la creazione di report. Forniscono un’enorme quantità di contesto ai dati che archiviano, il che a sua volta consente alle organizzazioni di acquisire una comprensione più approfondita degli scenari aziendali ed eseguire esperimenti di analisi più rapidi, come l’esecuzione di machine learning (ML) sui dati provenienti dai social media.

I risultati di tali analisi aiutano le aziende a identificare opportunità e implementare strategie che a loro volta portano alla crescita della produttività e alla soddisfazione del cliente. Un data lake rende inoltre disponibili i dati a tutti i livelli, indipendentemente dalla designazione e dal livello, consentendo così un migliore processo decisionale. È scalabile e versatile.

Dal momento che i data lake forniscono una base per l’intelligenza artificiale (AI) e l’analisi, le aziende di tutti i settori lo stanno adottando per maggiori ricavi e minori rischi.

Ad esempio, le aziende che implementano il marketing omnicanale possono trovare utile un data lake poiché le loro origini dati si estendono su canali, punti di contatto e persino dati di terze parti. Questo complesso ecosistema di dati continua a crescere ogni giorno.

Perché un’organizzazione dovrebbe utilizzare un data lake?

Un data lake è più adatto per l’archiviazione di dati che non devono essere utilizzati immediatamente. Poiché non esiste uno schema predefinito, i dati conservano tutti i loro attributi originali, consentendo un’armonizzazione successiva.

I data lake stanno diventando sempre più i preferiti dalle aziende di tutti i settori perché forniscono una visione non raffinata agli analisti di dati e sono anche convenienti poiché i dati vengono elaborati solo quando se ne presenta la necessità.

Nei prossimi paragrafi scopriremo insiema alcuni degli altri motivi per cui le aziende scelgono i data lake rispetto ai data warehouse.

Dati centralizzati

I data lake forniscono un unico storage per enormi quantità di dati. Il repository centralizzato previene i silos di dati.

Maggiore qualità dell’analisi

Il formato diverso e grezzo dei dati presenti in un data lake fornisce agli analisti una qualità di analisi robusta e superiore presentando i dati nella loro forma originale. È conveniente impiegare tecniche AI/ML sui dati per ottenere importanti informazioni aziendali.

Schema in lettura

I data lake archiviano qualsiasi tipo di dati, quindi non è necessario elaborarli in alcuno schema. I dati vengono mantenuti grezzi fino a quando non sono necessari per l’analisi, che si chiama “schema in lettura”. Lo schema viene applicato solo quando i dati devono essere analizzati. Ciò consente di risparmiare sui tempi di elaborazione durante l’inserimento dei dati nei data lake.

Flessibilità

Gli utenti possono accedere ed esplorare i dati nei data lake senza spostarli in un altro sistema. Dato che gli approfondimenti e i report da un data lake possono essere estratti su base ad hoc, offre maggiore flessibilità nell’analisi dei dati.

Vantaggio competitivo

Le organizzazioni ottengono un vantaggio competitivo poiché è possibile effettuare previsioni migliori con i dati grezzi nei data lake. Gli esperimenti analitici migliorano anche l’efficienza delle decisioni aziendali.

Democrazia dei dati

Gli utenti di tutta l’organizzazione, di diversi reparti, livelli e team, possono accedere ed eseguire una serie di analisi sullo stesso set di dati.

Concetti di data lake

Ci sono alcuni concetti chiave di base che aiuteranno a comprendere l’architettura di un data lake.

Ingestione di dati

Diversi connettori sono abilitati per acquisire dati da fonti diverse e caricarli nel data lake. L’importazione può essere eseguita una sola volta, in batch o in tempo reale in cui è possibile caricare dati non strutturati, semi-strutturati e strutturati. È possibile collegare varie fonti di dati come server FTP, server Web, database o elementi IoT.

Archivio dati

Lo storage nei data lake è scalabile e quindi conveniente. Si traduce anche in un accesso più rapido.

Governance dei dati

La governance dei dati è il processo per gestire la disponibilità, l’usabilità, la sicurezza e l’integrità dei dati archiviati.

Sicurezza

Devono essere in atto protocolli di sicurezza adeguati ed efficaci per garantire che i dati siano protetti, autenticati, contabilizzati e controllati. I livelli di storage, unearthing e utilizzo nell’architettura del data lake devono essere protetti per proteggere i dati da accessi non autorizzati.

Qualità

I dati sono il luogo da cui deriva il valore aziendale, quindi la qualità dei dati è una parte essenziale dell’architettura del data lake.

Esplorazione dei dati

Come primo passo dell’analisi dei dati, l’esplorazione dei dati aiuta a identificare il set di dati corretto prima di iniziare l’analisi.

Scoperta dei dati

La fase di scoperta dei dati viene utilizzata per etichettare i dati nel tentativo di comprenderli organizzandoli e interpretandoli per ulteriori analisi.

Controllo dei dati

Il controllo dei dati tiene traccia di due modifiche principali al set di dati:

• Modifiche agli elementi del set di dati
• Registrazione del “come”, “quando” e “chi” delle modifiche apportate

Questa funzione aiuta a mantenere la conformità e a ridurre i rischi.

Derivazione dei dati

La derivazione dei dati tiene traccia del movimento dei dati, da dove hanno avuto origine, dove si sono spostati nel tempo e cosa gli è successo. Ciò facilita la risoluzione degli eventuali errori.

Insieme, tutti questi elementi aiutano i data lake a funzionare senza problemi, evolversi nel tempo e fornire l’accesso per la scoperta e l’esplorazione.

Architettura dei Data Lake

Esistono due componenti in qualsiasi data lake: storage e calcolo.

Entrambi possono essere archiviati nel cloud o in locale, il che porta a molteplici combinazioni e configurazioni. Le aziende possono scegliere di ospitare entrambi nel cloud, on-premise o optare per un modello ibrido.

L’architettura del data lake è costituita dai componenti che vediamo a seguire.

Fonti

I dati vengono inseriti in data lake da varie fonti omogenee ed eterogenee.

Le seguenti fonti vengono spesso inserite nei data lake.

• Applicazioni aziendali: applicazioni di archivio dati basate su database o file che archiviano dati transazionali e sono connesse tramite connettori, API o servizi Web per il processo di estrazione, trasformazione e caricamento (ETL)
• Data warehouse aziendale (EDW): anche i data warehouse aziendali esistenti possono essere origini per un data lake
• Documenti multipli: file flat che memorizzano dati transazionali
• Applicazioni SaaS
• Log dei dispositivi
• Sensori IoT: i flussi di dati registrati tramite sensori IoT possono anche essere collegati a data lake

Livello di elaborazione dei dati

Il livello di elaborazione dei dati contiene l’archivio dati, l’archivio dei metadati e le repliche che supportano i dati ad alta disponibilità. Questo livello è ben progettato per supportare la scalabilità, la resilienza e la sicurezza dei dati. L’amministrazione mantiene regole e configurazioni aziendali adeguate.

Destinazione e analisi

Una volta che i dati vengono elaborati attraverso il livello di elaborazione dei dati, vengono quindi inoltrati ai sistemi e alle applicazioni di destinazione tramite i connettori.

Alcune di queste destinazioni includono:

• Nuovi data warehouse aziendali creati consolidando le fonti
• Progetti di machine learning che estraggono dati grezzi per generare modelli ottimizzati a supporto di business case
• Dashboard di analisi creati per i dati presenti nei data lake
• Strumenti di visualizzazione dei dati che utilizzano i dati dei data lake per creare diagrammi e grafici analitici

Vantaggi dei data lake

I data lake sono più di un semplice storage per dati full-fidelity. Offrono un contesto che consente alle aziende non solo di avere una comprensione più profonda degli scenari aziendali, ma anche di eseguire vari esperimenti di analisi su di essi. Le aziende possono spostare facilmente i dati grezzi da diverse fonti nel data lake senza trasformarli. Questo “schema in lettura” consente di risparmiare molto tempo di elaborazione e offre agli analisti l’opportunità di accedere ai dati grezzi per una serie di casi d’uso. Un data lake garantisce anche il rispetto di altri requisiti aziendali.

Gestione dei dati semplificata

I data lake sono attrezzati per gestire grandi volumi, varietà e velocità di dati provenienti da fonti diverse.

Velocità

Poiché i dati non vengono elaborati durante l’importazione, possono essere scritti abbastanza rapidamente.

Costi di proprietà ridotti

Rispetto a un data warehouse, un data lake è notevolmente meno costoso poiché consente alle aziende di raccogliere tutti i tipi di dati da una varietà di fonti senza elaborarli.

Analytics

I dati vengono elaborati come e quando richiesto per un’analisi più rapida e approfondita. È anche più facile incorporare questi dati con applicazioni di intelligenza artificiale e machine learning.

Accessibilità tra le organizzazioni

Un data lake fornisce la “democrazia dei dati“, il che significa che gli utenti, indipendentemente dal loro livello o designazione nell’organizzazione, possono accedere e utilizzare i dati per i loro report.

Quali sfide devono affrontare i data lake?

Sebbene in teoria i data lake possano sembrare la soluzione ideale per qualsiasi azienda, ci sono alcune sfide che devono affrontare che potrebbero impedirle di mantenere tutte le promesse.

Tuttavia, ciò non significa che le organizzazioni non debbano utilizzare i data lake. Per garantire che gli utenti raccolgano tutti i vantaggi promessi, devono solo gestire e mantenere i data lake in modo corretto. Di seguito sono riportate alcune delle sfide che le organizzazioni possono affrontare quando adottano i data lake.

Costi elevati

Sebbene siano disponibili piattaforme di data lake open source, le organizzazioni devono disporre del know-how per crearle e gestirle, il che potrebbe richiedere più tempo e più risorse. L’alternativa è investire in piattaforme data lake gestite, che di solito hanno commissioni elevate.

Gestione del Data Lake

Gestire un data lake non è facile. Capire la capacità dell’infrastruttura host di supportare la scalabilità e mantenere l’integrità dei dati sono solo alcune delle preoccupazioni che emergono, indipendentemente dal fatto che un’organizzazione utilizzi una piattaforma open source o gestita.

Tempi

Ci vuole tempo affinché un data lake ingerisca grandi quantità di dati e si integri con tutti gli altri strumenti analitici per iniziare a fornire valore reale. Anche il processo di formazione delle risorse interne o di reclutamento di nuove contribuisce a tempi più lunghi.

Governance dei dati

Poiché il volume di dati è notevolmente più elevato nei data lake, il processo deve basarsi maggiormente sull’amministrazione programmatica. A meno che non venga mantenuta una governance adeguata, i data lake possono facilmente diventare paludi di dati, inaccessibili e con uno spreco di risorse. Tuttavia, una corretta governance richiede denaro e tempo.

Sicurezza

La sicurezza nei data lake basati su cloud rappresenta ancora una delle maggiori preoccupazioni per molte aziende. Sebbene nel corso degli anni siano stati introdotti livelli di protezione adeguati, l’incertezza del furto di dati è ancora una sfida affrontata dai fornitori di data lake.

Migrazione

Poiché molte aziende dispongono già di un sistema di data warehousing esistente, potrebbero non voler migrare a un sistema che non fa uso di tutti i dati strutturati che hanno accuratamente curato nel corso degli anni.

Tecnologia in crescita

Sebbene i dati stiano crescendo a un ritmo esponenziale, non sono accompagnati dai poteri computazionali dei sistemi in atto. A meno che non ci sia un modo efficiente di gestire questi dati in crescita, le aziende potrebbero finire per spendere di più per la potenza di calcolo risparmiando sui metodi di archiviazione.

Data Lake vs. data warehouse

Un data lake viene spesso confuso con un data warehouse, in quanto simili nel loro obiettivo e scopo di base, poiché,

• Entrambi memorizzano i dati da varie fonti all’interno di qualsiasi azienda
• Entrambi creano una soluzione dati one-stop che alla fine alimenta più applicazioni

Un data warehouse memorizza dati e processi e aiuta le aziende con le loro analisi. I dati memorizzati sono orientati al soggetto (inventario delle vendite, catena di fornitura, ecc.) e includono una variante temporale (giorno, mese, ecc.). Un data warehouse è in grado di combinare dati provenienti da più fonti purché abbiano una struttura dati coerente.

Un data lake, d’altra parte, può archiviare dati, indipendentemente dal formato, da più fonti ed è di natura altamente scalabile. È ideale per archiviare i dati quando non sono necessari per l’analisi o l’elaborazione immediata.

Le differenze tra loro includono:

• Acquisizione dei dati
• Conservazione dei dati
• Accessibilità all’utente
• Flessibilità

Acquisizione dei dati

I data lake sono attrezzati per acquisire dati di tutti i tipi e strutture nella loro forma originale dai loro sistemi di origine. I data warehouse possono acquisire solo informazioni strutturate organizzate in uno schema predefinito.

Conservazione dei dati

La differenza fondamentale tra un data lake e un data warehouse è il modo in cui i dati vengono archiviati in essi.

Lo schema di un data warehouse è predefinito, mentre non ce n’è uno predefinito in un data lake. Ciò significa essenzialmente che uno schema viene applicato durante la scrittura dei dati in un data warehouse. In un data warehouse si trovano solo dati elaborati e ben strutturati. Ciò garantisce un’analisi rapida, ma solo per casi d’uso specifici per i quali i dati sono stati elaborati. I dati non possono essere utilizzati per nessuno scenario che non sia stato preparato per esso.

Un data lake consente l’archiviazione dei dati nella loro forma nativa e non elaborata. Pertanto, i data lake ingeriscono i dati rapidamente e i dati vengono elaborati solo quando vengono utilizzati. Questo è noto come “schema in lettura” in contrasto con il tradizionale “schema in scrittura” utilizzato nei data warehouse. I data lake, quindi, hanno un valore aziendale più elevato poiché conservano gli attributi originali dei dati che possono essere utilizzati per eventuali casi d’uso che si presenteranno in futuro.

Accessibilità dell’utente

Poiché i dati in un data warehouse sono ben strutturati ed elaborati, gli utenti operativi, anche quelli non tecnologici, possono accedervi facilmente e lavorarci. I dati nei data lake, tuttavia, sono accessibili e utilizzabili solo da esperti che hanno una conoscenza approfondita del tipo di dati archiviati e delle loro relazioni. Questa complessità, adatta a data scientist e analisti, vieta l’accesso agli utenti operativi.

Flessibilità

Un data lake è più flessibile di un data warehouse poiché può adattarsi rapidamente ai cambiamenti ed è anche altamente scalabile. L’archiviazione nei data warehouse richiede spesso molto tempo e risorse poiché lo schema deve essere definito prima che i dati vengano scritti. Inoltre, nel caso in cui vi siano nuove esigenze in futuro, è necessario uno sforzo considerevole per apportare le modifiche necessarie.

Tra i due, i data warehouse sono una buona opzione per gli utenti operativi che cercano report e altre metriche chiave sulle prestazioni, mentre i data lake sono ideali per le aziende che cercano un’analisi approfondita dei propri dati. Tuttavia, i data lake non sempre sostituiscono i data warehouse. In alcuni scenari, un data lake può rivelarsi un’area di staging per un data warehouse.

Assunzioni e ipotesi possono essere facilmente testate sui dati in un data lake e solo le più importanti possono essere caricate in un magazzino per il processo decisionale.

Con il cloud, la scienza dei dati e le tecnologie di intelligenza artificiale oggi all’avanguardia, i data lake stanno guadagnando popolarità. La sua architettura flessibile, la capacità di contenere dati grezzi e le visualizzazioni olistiche dei modelli di dati rendono un data lake interessante per molte aziende alla ricerca di migliori insight aziendali.

Anche se le organizzazioni possono essere proattive sulla qualità dei dati nella fase di raccolta, possono comunque esserci errori o dati sporchi.

Ciò può essere dovuto a una serie di problemi:

• Duplicazioni dovute a più origini dati senza corrispondenza
• Errori di inserimento dati con errori di ortografia e incoerenze
• Dati incompleti o campi mancanti
• Errori di punteggiatura o simboli non conformi
• Dati obsoleti

La pulizia dei dati affronta questi problemi e, utilizzando una varietà di metodi, pulisce i dati e garantisce che corrispondano alle regole aziendali.

Perché la pulizia dei dati è importante nell’ambiente aziendale?

I dati provengono tipicamente da un’ampia varietà di fonti e in una vasta gamma di formati.

Potrebbero esserci dati inseriti manualmente dal team, raccolta automatica di dati da un sito Web in cui i campi vengono compilati dagli utenti, informazioni da dispositivi Internet of Things (IoT) e molte altre fonti. A meno che non si presti molta attenzione alla raccolta dei dati in fase di pianificazione, la situazione può volgere rapidamente verso il disastro.

Un data lake può diventare rapidamente una palude di dati, piena di duplicati, errori e problemi.

Che cos’è un data lake

Immagina che un utente compili un modulo online ed inserisca in modo errato il proprio indirizzo e-mail. Rapidamente, se ne renderà conto e lo compilerà di nuovo con l’indirizzo e-mail corretto. Il sistema lo registrerà come due persone separate, pur avendo tutti gli stessi dettagli. Mentre il micro-risultato di questo significa che una persona a caso riceverà un’e-mail a cui non si è registrata, su scala macro, questo diventa un problema. Immagina la dimensione dello spazio di archiviazione necessario per ospitare tutti questi campi extra o il lavoro necessario per rimuovere la voce errata.

Quindi, considera le previsioni o la diagnostica scadenti durante l’esecuzione dell’analisi. La scarsa qualità dei dati rende le informazioni completamente inutilizzabili.

I data scientist devono dedicare la maggior parte del loro tempo semplicemente alla pulizia dei dati. Eppure, sono una risorsa costosa che dovrebbe essere utilizzata meglio.

La necessità di pulizia dei dati aumenta con l’aumentare del numero di origini dati. Le organizzazioni possono disporre di dati distribuiti tra data warehouse, applicazioni e persino computer individuali. Consolidare tutti i set di dati, eliminare i duplicati e rimuovere i dati difettosi è di vitale importanza.

Tuttavia, questo non può essere fatto manualmente, soprattutto se l’organizzazione dispone di enormi quantità di dati. Quindi, come è possibile eseguire la pulizia dei dati in modo completo, in modo conveniente, replicabile e tempestivo? L’utilizzo dei dipendenti non è efficiente e può creare altri errori.

Come eseguire la pulizia dei dati

Idealmente, l’organizzazione dovrebbe utilizzare regole aziendali per definire vincoli precisi sui dati nella fase di immissione. Ciò significa che dovrebbero esserci una serie di regole come:

• Campi di convalida, ovvero chiedere all’utente di immettere il proprio indirizzo e-mail due volte e rifiutarlo se diverso
• Regole rigorose sull’immissione dei dati come la formattazione coerente dei numeri di telefono
• Trasformare i dati in fase di caricamento in modo che siano coerenti
• Stabilire aspettative, linee guida e processi per la raccolta e l’archiviazione dei dati

Tuttavia, se un’organizzazione sta configurando un nuovo sistema, unendo set di dati o persino incorporando un nuovo batch di dati, deve applicare strategie per ripulire i dati sporchi. La pulizia dei dati può essere eseguita in vari modi. Il modo in cui un’organizzazione sceglie di farlo, dipende dalle strutture di dati correnti e dai risultati che desidera ottenere.

Il modo di gran lunga più efficiente per la pulizia dei dati consiste nell’utilizzare una gamma di tecniche di intelligenza artificiale (AI) che identificano e risolvono automaticamente i problemi.

Tipi di pulizia dei dati

Esistono due tipologie principali di pulizia dei dati: pulizia tradizionale e big data.

Pulizia dei dati tradizionale

I metodi tradizionali di pulizia dei dati non sono adatti a gestire un’enorme quantità di dati.

Storicamente, quando le organizzazioni non producevano migliaia o milioni di record di dati, questi metodi erano adatti. Esistono due strategie principali per pulire le origini dati di piccole dimensioni.

Il primo metodo è un sistema interattivo che integra il rilevamento degli errori e la trasformazione dei dati, utilizzando un’interfaccia simile a un foglio di calcolo. L’utente può definire domini personalizzati e quindi specificare algoritmi per applicare queste regole di dominio. Ciò richiede sforzi manuali dettagliati e precisi.

Esistono altri metodi, ma questi si concentrano principalmente sull’eliminazione dei duplicati.

Questo quadro ha un approccio sistematico di:

• Pre-elaborazione: le anomalie dei dati vengono rilevate e rimosse
• Elaborazione: le regole vengono applicate ai dati, ad esempio come l’identificazione duplicata
• Convalida: un essere umano controlla i risultati dell’elaborazione

Sebbene queste strategie possano aver funzionato in passato, richiedono molto tempo e non garantiscono una buona qualità dei dati allo stesso modo dei moderni strumenti di pulizia dei dati.

Pulizia dei dati per i Big Data

La pulizia dei big data è la sfida più grande che molti settori devono affrontare. È già un volume gigantesco e, a meno che i sistemi non vengano messi in atto ora, il problema continuerà a crescere.

Esistono diversi modi per gestire potenzialmente questo problema e, per essere efficaci ed efficienti, devono essere completamente automatizzati, senza input umani.

Strumenti di pulizia specializzati

Questi in genere si occupano di un particolare dominio, principalmente dati di nome e indirizzo, o si concentrano sull’eliminazione dei duplicati. Numerosi strumenti commerciali si concentrano sulla pulizia di questo tipo di dati. Questi strumenti estraggono i dati, li suddividono nei singoli elementi (come numero di telefono, indirizzo e nome), convalidano le informazioni sull’indirizzo e i codici postali e quindi abbinano i dati. Una volta che i record corrispondono, vengono uniti e presentati come uno solo.

Strumenti ETL (Extract Transform and Load)

Un gran numero di strumenti organizzativi supporta un processo ETL per i data warehouse. Questo processo estrae i dati da un’origine, li trasforma in un altro formato e quindi li carica nel set di dati di destinazione. La fase di “trasformazione” è dove avviene la pulizia. Vengono rimosse le incoerenze, gli errori e rilevate le informazioni mancanti. A seconda del software, può esserci un numero enorme di strumenti di pulizia dei dati all’interno della fase di trasformazione.

All’interno di questi moduli, ci sono anche diversi modi in cui gli errori possono essere rilevati.

Metodo statistico per il rilevamento degli errori

I metodi statistici implicano l’identificazione di record anomali, utilizzando i principi matematici di medie, mediane, deviazioni standard e intervallo. Quando i record si trovano al di fuori delle norme previste o non sono conformi ai modelli identificati nei dati esistenti, è probabile che questi record siano valori anomali. Questi record vengono solitamente rimossi per evitare confusione. Sebbene questo approccio possa generare falsi positivi, è semplice e veloce e può essere utilizzato insieme ad altri metodi.

Metodo basato su modelli per il rilevamento degli errori

Il metodo basato sui modelli comporta l’identificazione di campi anomali che non sono conformi a modelli già stabiliti nei dati. Tecniche come il partizionamento, il clustering e la classificazione vengono utilizzate per identificare modelli che si applicano alla maggior parte dei record.

Metodo basato sulle regole di associazione

Le regole di associazione (dichiarazioni if-then) possono mostrare la probabilità di una relazione tra i record. Se sono presenti dati che non rientrano in queste regole di associazione, vengono considerati valori anomali.

Vantaggi della pulizia dei dati

La pulizia dei dati garantisce la qualità dei dati, che è vitale per qualsiasi attività. Ci sono molti vantaggi nella pulizia dei dati e nella qualità dei dati.

Processo decisionale basato sui dati

Un livello più elevato di qualità dei dati significa che le organizzazioni possono prendere decisioni molto migliori. L’utilizzo di dati di qualità elimina il rischio di previsioni sbagliate o decisioni incoerenti. Quando i dati sono accurati, completi e aggiornati, lo sono anche le decisioni che ne derivano.

Migliore targeting del cliente

Il marketing per il mondo intero è come lanciare un piatto di spaghetti su un muro e sperare che qualcosa si attacchi. È uno spreco di risorse. Buoni dati consentono a un’organizzazione di approfondire, identificare il loro avatar ideale e prenderli di mira. Vedere chi sono gli acquirenti di un prodotto o servizio e quindi trovare potenziali clienti con gli stessi attributi è molto più efficiente.

Tuttavia, se la quantità di dati è troppo piccola o le informazioni non sono corrette, ciò non è semplicemente possibile.

Campagne di marketing più efficaci

Dati di buona qualità possono anche migliorare i contenuti e le campagne di marketing di un’organizzazione. Più i dipartimenti marketing conoscono il loro pubblico, più possono indirizzarli con contenuti e pubblicità su misura.

Migliori relazioni con i clienti

Chi è il cliente dei sogni dell’organizzazione? Se i dati esistono in modo accessibile e coerente, è facile raccogliere informazioni sugli avatar dell’organizzazione. Quali sono i loro interessi, bisogni e preferenze? Sapere tutto questo aiuta a rafforzare le relazioni.

Avere un’unica fonte di dati sui clienti è anche un ottimo modo per gestirli in modo più efficace. Nessun rischio di e-mail duplicate inviate e nessun targeting scadente. Questo mantiene il cliente felice.

Implementazione dei dati più semplice

I dati di alta qualità sono il Santo Graal delle organizzazioni. È molto più facile da usare, comporta meno errori o esiti problematici ed è coerente e completo. Una volta che i dati sono tutti nella stessa forma e sono stati ripuliti, quasi tutti i processi possono essere applicati ad essi in pochi secondi.

Vantaggio competitivo

Avere una qualità dei dati superiore rispetto alla concorrenza o utilizzare tali dati in modo efficace e creativo crea enormi vantaggi rispetto alla concorrenza. Buoni dati aiutano a prevedere gli eventi, spiegare quelli precedenti e indirizzare i clienti in modo molto più efficace.

Aumento della redditività

Anche se il processo per ottenere dati di alta qualità può essere costoso, il ritorno sull’investimento può essere enorme. Dati validi aiutano le organizzazioni a indirizzare meglio i clienti e a creare campagne di marketing più efficaci ed economiche. I dati possono aiutare a rallentare il tasso di abbandono dei clienti e ad aumentare la quota di mercato. Mostra ad un’organizzazione dove va il denaro, da dove viene e dove utilizzare le risorse.

Sfide nella pulizia dei dati

Ci sono diverse sfide intrinseche alla pulizia dei dati.

È probabile che gran parte dei dati raccolti dalle organizzazioni sia in qualche modo sporca. Pulire manualmente i dati sarebbe impossibile, laborioso, dispendioso in termini di tempo ed estremamente soggetto a errori. Questo è il motivo per cui l’utilizzo di strumenti potenti e automatizzati è importante e sono diventati l’unico modo conveniente e pratico per ottenere un set di dati coerente e di qualità.

Ma anche in questo ci sono enormi problemi da risolvere. Con i dati che stanno rapidamente diventando la più grande risorsa di un’organizzazione, ci sono motivi considerevoli per investire tempo e denaro nella risoluzione di problemi comuni.

Nessuna garanzia di accuratezza

Sebbene l’intelligenza artificiale (AI) sia molto potente, non è infallibile. Impara solo dalle regole e dalle informazioni che gli vengono fornite dagli esseri umani. Inoltre, non può applicare la logica umana o utilizzare l’euristica di base.

Ad esempio, per rimuovere i duplicati, un sistema potrebbe suddividere i dati in parti. Vede che M. Rossi e Mario R. vivono allo stesso indirizzo e decide che questa persona è Mario Rossi e unisce i record.

Tuttavia, potrebbe vedere che G. Bianchi e Roberto V. vivono allo stesso indirizzo e provare a unirli; tuttavia, si tratta di due entità separate che vivono insieme e dovrebbero essere trattate allo stesso modo, ovvero separatamente.

Considera i valori anomali nei dati. Un sistema può considerare una voce come un valore anomalo quando in realtà è una caratteristica. Rimuovendo questo presunto valore anomalo, ai dati manca ora un’informazione importante.

Inoltre, se i dati devono essere riparati, l’intelligenza artificiale apporterà le correzioni che ritiene necessarie. Tuttavia, non c’è modo di garantire che siano corretti e questo potrebbe semplicemente aggiungere nuovi errori nell’atto di riparare i dati sporchi.

Dati distribuiti

Se un’organizzazione non ha creato un sistema completo che garantisca che tutti i dati si trovino in un unico posto o siano accessibili da un unico posto, la pulizia dei dati non può essere eseguita. Gli attuali strumenti di pulizia dei dati non possono essere scalati per connettersi con migliaia di macchine o applicazioni diverse.

Varietà di dati

Un’organizzazione può avere una grande varietà di dati:

• Video
• Immagini
• Informazioni derivate dai social media
• Documenti Excel
• Diverse applicazioni in una varietà di formati

In che modo uno strumento di pulizia dei dati può ripulire tutti questi diversi formati? A meno che non siano tutti resi coerenti mediante l’uso di un altro strumento, semplicemente non è possibile.

Ci sono soluzioni a questi problemi. Un’analisi dell’integrità dei dati può scoprire molti possibili errori in un set di dati, ma non può affrontare errori più complessi. Gli errori che coinvolgono le relazioni tra i campi possono essere molto difficili da trovare. Questi tipi di errori richiedono un’analisi più approfondita.

Sapere come dovrebbero apparire i dati e le tendenze può consentire la scoperta di dati sporchi. Tuttavia, i dati del mondo reale possono essere molto diversi e raramente si conformano in modo coerente a una distribuzione gaussiana standard. Questo problema può essere compensato utilizzando una varietà di metodi per rilevare i problemi e provare a risolverli.

La pulizia dei dati è la più grande sfida per le organizzazioni contemporanee?

Sono state sviluppate una serie di tecniche per affrontare il problema della pulizia dei dati. Sebbene siano stati creati molti strumenti per automatizzare il processo, si tratta ancora in gran parte di un approccio interattivo che richiede l’intervento umano.

Dati di buona qualità sono di vitale importanza per le organizzazioni. Libera tempo prezioso per i data scientist, fornisce insight e previsioni più accurate e riduce il rischio di processi decisionali sbagliati. Il problema è come ripulire i dati in modo conveniente e tempestivo che si traduca in dati coerenti e accurati e la risposta sarà diversa per ogni organizzazione.

Questa curiosità non ci abbandona man mano che cresciamo; piuttosto si trasforma e si evolve quando cambia la portata dei nostri problemi. Negli affari, non chiediamo ai nostri team perché il cielo è blu, ma chiediamo perché una certa combinazione di strategie sia l’approccio migliore per raggiungere gli obiettivi desiderati. Iniziamo con il “perché“, tracciamo la migliore linea d’azione, monitoriamo e analizziamo i KPI e aggiustiamo il tiro in base alle informazioni che troviamo, prima di ripetere tutto da capo. In un ambiente aziendale in continua evoluzione, i dirigenti esecutivi si sforzano di ottenere una chiara comprensione dei propri dati aziendali, di digerirli rapidamente ed eseguire strategie senza rallentare l’innovazione. Ma questo processo non può avvenire senza il supporto di team esperti di dati.

Man mano che le aziende maturano nei loro percorsi di analisi, i loro team dovrebbero evolversi per presentare i dati in modalità che abbiano senso per il contesto e il messaggio delle informazioni trasmesse. Per aiutare i professionisti aziendali a capire come scegliere il corretto tipo di visualizzazione dei dati, ne analizzeremo ogni tipo. Spiegheremo anche quando è il momento migliore per implementarlo mentre crei una dashboard e rafforzi il tuo vocabolario visivo, il tutto nel contesto della distinzione tra consigli e dashboard.

Questa pratica non si limita ai settori e ai verticali ad alto contenuto di data science. CIO, CFO, CMO e persino Chief Data Officer possono trarre vantaggio dal miglioramento del modo in cui i loro team presentano e interpretano i dati.

Che cos’è la scienza dei dati

Per capire come lavorare per implementare i comitati decisionali dobbiamo capire da dove siamo partiti: le dashboard. Ormai conosciamo fin troppo bene le dashboard di analisi, che includono le piattaforme di reporting integrate degli strumenti digitali che conosciamo e amiamo, come Google Analytics e Hubspot. Sono efficaci nel fornire un’istantanea di alto livello delle prestazioni suddivise per categoria (giorno della settimana, luogo, età, sesso) e sono visivamente accattivanti ma richiedono un presentatore che inserisca i dati nel contesto per rispondere alla domanda fondamentale: perché è importante?

I comitati decisionali, d’altra parte, sono fluidi. Aggregano i dati provenienti da canali trasversali all’organizzazione per tracciare un quadro chiaro e facile da seguire che va oltre le metriche descrittive. Si tratta spesso di build personalizzate progettate per le esigenze specifiche di un’organizzazione. Variando in base al livello di maturità dell’analisi e alle risorse di progettazione, i comitati decisionali possono anche illustrare le metriche diagnostiche (il motivo per cui è successo qualcosa), metriche predittive (cosa è probabile che accada) e metriche prescrittive (cosa deve succedere dopo). Per passare dalle dashboard alle decision board è necessaria una conoscenza di base del design thinking, che, se integrato nella cultura di un’organizzazione, può far progredire le sue capacità di analisi e reporting.

Costruire boards decisionali

I consigli decisionali più efficaci vengono creati quando implementiamo il design thinking. Amato da potenze aziendali come Google e Apple e istituzioni accademiche come Harvard, il processo metodico del design thinking significa che arriviamo al cuore del problema rapidamente, ogni volta.

È efficiente e costruito attorno alle persone che lo utilizzeranno: due punti fondamentali delle intuizioni che stiamo cercando di costruire. Nell’ambito del design thinking, i team possono valutare quali delle quattro principali tipi di metriche (o loro combinazioni) sono necessarie per costruire un comitato decisionale.

1. Metriche descrittive: sebbene non siano intrinsecamente preziose per il processo decisionale, i grafici descrittivi forniscono un’istantanea di ciò che è accaduto o sta accadendo attualmente. Sono uno sguardo in tempo reale su come più variabili lavorano insieme. Grafici descrittivi che illustrano le metriche includono:

• • Distribuzione (box plot, istogrammi, dot plot)
  • Da parte a tutto (grafici a torta, cascate, istogrammi in pila)
  • Correlazione (grafici a dispersione, mappe termiche XY, grafici a bolle)

2. Metriche diagnostiche: i grafici diagnostici consentono ai decisori di scalare dalle metriche descrittive al “perché“. Nei comitati decisionali, i grafici diagnostici sono collegati alle relative metriche descrittive, in modo che gli utenti possano logicamente trarre conclusioni quando fanno clic sui dati. La visualizzazione delle informazioni diagnostiche riguarda più il flusso di dati che la struttura del grafico. Quando si sceglie quale grafico utilizzare, è importante valutare a quali domande specifiche si sta cercando di rispondere. Le seguenti strutture sono più spesso utilizzate per i grafici diagnostici:

• • Flusso (diagrammi di accordi, reti, grafici Sankey)
  • Distribuzione (grafici di codici a barre, curve cumulative, piramidi di popolazione)

3. Metriche predittive: forse il più semplice da capire, i grafici predittivi prevedono ciò che accadrà in base al set di dati esistente. Queste metriche sono fondamentali per effettuare la transizione dalle dashboard ai comitati decisionali e, se eseguite correttamente, dovrebbero tracciare un percorso chiaro verso i passaggi successivi.

• • Correlazione (linea+colonna, grafico a dispersione, grafico a bolle)
  • Modifica nel tempo (grafico a linee, grafico a dispersione connesso, area)
  • Deviazione (barra divergente, surplus/deficit)

4. Metriche prescrittive: la divergenza tra le metriche prescrittive sposta la scala dalle dashboard ai veri e propri organi decisionali. Queste visualizzazioni di dati indicano i passaggi successivi per i leader aziendali. Richiedendo le conoscenze di data science più avanzate, questi grafici utilizzano AI e ML per ottimizzare le prestazioni.

Mentre costruisci i consigli decisionali, concentrati sul flusso. Pensa a come verranno digerite le tue informazioni e mira a creare la struttura più logica per le tue schede. È qui che i principi di base della progettazione UX/UI gioveranno maggiormente ai tuoi team.

La curva di apprendimento per la creazione di grafici può essere difficile, ma non così difficile che un utente aziendale generico non riesca ad imparare entro un tempo accettabile. Per aiutare con la costruzione del tuo comitato decisionale, LatentView ha creato un vocabolario visivo, che è una guida open source per creare grafici personalizzati in Tableau. Periodicamente, LatentView rilascerà tutorial passo-passo che guideranno gli utenti nell’utilizzo dei filtri di Tableau. La prima installazione copre l’origine dati e i filtri di estrazione.

Man mano che la tua azienda avanza nel suo percorso di analisi dei dati, ci sono alcuni pilastri chiave da ricordare. Innanzitutto, rendi i tuoi organi decisionali facilmente accessibili alle parti interessate. Fatte bene, queste schede fungono da risorsa continua a cui si dovrebbe accedere regolarmente anziché essere presentate alle riunioni trimestrali. Questo è il motivo principale per cui i comitati decisionali sono uno strumento più efficace rispetto alle precedenti iterazioni di visualizzazione dei dati.

In secondo luogo, continua a chiedere feedback e perfeziona la struttura dei tuoi organi decisionali. La composizione delle tue schede si evolverà in base alle tue esigenze aziendali.

Infine, sii implacabile nella tua ricerca del “perché“. Renderà i tuoi grafici predittivi più forti, più intuitivi e più sostenibili a lungo termine.

Tipi di grafico

Metriche descrittive

Grafico a bolle: un grafico a bolle è una visualizzazione di dati che mostra più cerchi (bolle) in un grafico bidimensionale. È una generalizzazione del grafico a dispersione, che sostituisce i punti con le bolle. Più comunemente, un grafico a bolle mostra i valori di tre variabili numeriche, dove i dati di ciascuna osservazione sono mostrati da un cerchio (“bolla”), mentre le posizioni orizzontale e verticale della bolla mostrano i valori di altre due variabili.

Grafico a cascata: un grafico a cascata è una tecnica di visualizzazione dei dati che mostra come un valore iniziale può essere influenzato dall’effetto cumulativo di valori positivi e negativi sequenziali. Questo grafico può essere utilizzato per mostrare dati sequenziali o categoriali. Utilizza una serie di barre che mostrano guadagni e perdite, mostrando chiaramente come una cifra di apertura è stata modificata dagli eventi e ha portato alla cifra di chiusura.

Metriche diagnostiche

Grafico Sankey: i diagrammi di Sankey sono caratterizzati da frecce direzionate che hanno una larghezza proporzionale alla quantità di flusso visualizzata: se un flusso è largo il doppio rappresenta il doppio della quantità. I diagrammi di flusso possono mostrare ad es. energia, materiali, acqua o costi.

All’interno di un grafico Sankey il flusso diretto viene sempre tracciato tra almeno due nodi (processi). Quindi mostra non solo valori ma anche informazioni sulla struttura e la distribuzione del sistema definito. Quindi sono un’ottima alternativa al flusso comune o ai grafici a barre e a torta.

Grafico a imbuto: un grafico a imbuto è una rappresentazione grafica utilizzata per visualizzare come i dati si muovono attraverso un processo. In un grafico a imbuto, il valore della variabile dipendente diminuisce nelle fasi successive del processo. I grafici a imbuto sono ampiamente utilizzati per rappresentare i processi di imbuto di vendita, reclutamento e evasione degli ordini.

Metriche predittive

Riguardano, ad esempio, la rappresentazione delle vendite trimestrali che mostrano un trend in crescita esponenziale nel corso di diversi anni. È sempre bene sapere come potrebbe essere il trend futuro. Quindi, il grafico di previsione gioca un ruolo inestimabile in alcuni casi. La previsione delle vendite aiuterà le aziende a stimare fattori come l’allocazione delle risorse o l’espansione dei mercati.

Metriche prescrittive

Grafico a cluster: un grafico a cluster è come un grafico a barre, tranne per il fatto che raggruppa diverse barre in una categoria e visualizza ciascun cluster separatamente dal resto. Ad esempio, puoi classificare i dati sulle vendite trimestrali per ciascun venditore del tuo team, in modo che ogni persona abbia quattro barre: una per ogni trimestre. Ciò ti consente di vedere come i ricavi delle vendite di ogni persona sono cambiati nel tempo e quale persona ha ottenuto i risultati migliori in ogni trimestre, il tutto dallo stesso grafico.

I leader aziendali che cercano di ottenere un vantaggio competitivo possono farlo dando priorità alla data literacy per i dipendenti in tutti i reparti e a tutti i livelli all’interno della loro organizzazione. Grazie alle competenze di data literacy, i dipendenti comprendono meglio come funzionano i dati aziendali e come possono utilizzarli, consentendo loro di essere più efficaci e semplificare i processi per l’organizzazione.

Continua a leggere per saperne di più su cos’è la data literacy e su come implementare iniziative di data literacy all’interno della tua azienda.

Che cos’è la data literacy?

Per data literacy si intende la capacità di leggere, comprendere, comunicare, analizzare e ricavare informazioni dai dati, il tutto inserendoli nel giusto contesto. Forbes definisce la data literacy come l’utilizzo di “dati in modo efficace, ovunque, per azioni e risultati aziendali“. La data literacy è spesso associata alla scienza dei dati (data science), che utilizza metodi analitici per estrapolare informazioni dettagliate dai dati.

Altre definizioni di data literacy includono:

• “Coinvolgere le persone in modo che le loro azioni e decisioni guidino un migliore processo decisionale per l’organizzazione” (Ambra Lee Dennis)
• “Avere la capacità di leggere, scrivere e comunicare i dati nel contesto, inclusa la comprensione delle fonti e dei costrutti dei dati, dei metodi analitici e delle tecniche applicate e la capacità di descrivere il caso d’uso, l’applicazione e il valore risultante” (Gartner)
• “Derivare informazioni significative dai dati, proprio come l’alfabetizzazione in generale è la capacità di derivare informazioni dalla parola scritta” (TechTarget)
• “Capire cosa significano dati, incluso come leggere i grafici, trarre conclusioni corrette e riconoscere quando i dati sono usati in modo fuorviante o inappropriato” (Eastern Michigan University)

La data literacy è generalmente considerata un’abilità individuale, ma è anche un’abilità organizzativa; un’ampia alfabetizzazione sui dati aiuta le organizzazioni a ottenere risultati di business migliori man mano che raccolgono più valore dai propri dati.

Con la crescente importanza della data literacy nelle organizzazioni e l’abbondanza di dati, c’è una maggiore enfasi sulla creazione di programmi di formazione sulla data literacy e sulla nomina di Chief Data Officer per valutare e migliorare continuamente i dati nell’organizzazione.

Pensa all’alfabetizzazione dei dati come all’alfabetizzazione alla lettura. Mentre migliori ed aumenti la tua istruzione, c’è un’aspettativa corrispondente ad ogni livello di competenza. Lo stesso si può dire per l’alfabetizzazione dei dati. Proprio come la lettura, l’alfabetizzazione dei dati si muove su una scala mobile, basata sulla competenza e la capacità di leggere, interpretare, analizzare e presentare i dati. Questa scala include la capacità di comprendere i dati e i loro usi, la raccolta dei dati, l’utilizzo di strumenti di analisi dei dati, le visualizzazioni dei dati, il trarre conclusioni e la conservazione dei dati.

I dati non mentono, ma i numeri grezzi hanno bisogno di un contesto. Una volta che inizi a interpretare il significato di quei numeri e a intrecciare una storia, sarà semplice capire cosa dicono i tuoi numeri, così come ti è chiaro il significato di quello che puoi leggere in un libro.

Ma non è necessario essere un esperto: l’alfabetizzazione dei dati significa che anche se non sei uno specialista, potrai utilizzare e comprendere i dati. I dati non devono spaventare ma devono essere accessibili, indipendentemente dalla tua formazione o dal tuo set di abilità.

I dati sono ovunque

La business intelligence era storicamente una funzione del reparto IT. Poiché il mondo del lavoro è cambiato, è cambiata anche la proprietà della BI. La business intelligence è ora di proprietà e accessibile a tutta l’organizzazione. Lo stesso vale per l’alfabetizzazione dei dati: non è più un’abilità riservata a chi gestisce dati.

I dati sono diventati decentralizzati. Dalle applicazioni per il fitness alle applicazioni aziendali, ognuna ha la propria versione di report, dashboard e analisi.

Ma la business intelligence è diversa: cerca di creare un’unica fonte di verità per i dati aziendali e pone fine al dibattito su quale sistema sia il vero sistema di registrazione. L’alfabetizzazione dei dati di base, come la comprensione di come interpretare le visualizzazioni dei dati, significa che i sistemi di business intelligence aggiungono valore senza creare spazio per inutili dibattiti senza fine.

Perché la data literacy è importante per la tua azienda?

L’alfabetizzazione dei dati è un’abilità indispensabile che darà a te e alla tua azienda un vantaggio competitivo.

Le capacità di data literacy non sono richieste solo dal team di analisi o IT; tutti i dipartimenti e i ruoli all’interno di un’organizzazione possono trarre vantaggio dalle competenze di alfabetizzazione dei dati.

La data literacy consente ai dipendenti di porre le domande giuste, raccogliere i dati giusti e collegare i punti dati giusti per ricavare informazioni aziendali significative e fruibili. Garantisce inoltre che tutti i dipendenti comprendano come gestire e utilizzare i dati in modo etico e conforme.

Secondo un recente report sulla data literacy diffuso da Qlik e basato su 6.000 dipendenti (inclusi 1.200 dirigenti), l’85% dei leader aziendali ritiene che l’alfabetizzazione dei dati sarà fondamentale per il successo aziendale in futuro. Il sondaggio ha anche evidenziato che la maggior parte dei leader aziendali si aspetta che i propri team prendano una decisione sulla base dei dati.

Sono stati fatti notevoli progressi tecnologici nell’apprendimento automatico, nell’intelligenza artificiale e nei big data. Tuttavia, mancano professionisti esperti di dati che abbiano le competenze per utilizzare i dati in modo efficace. Con un’adeguata formazione sulla data literacy, le organizzazioni avranno le conoscenze interne per ottimizzare queste tecnologie emergenti per una varietà di casi d’uso industriali e di consumo.

La data literacy è importante anche per l’esperienza dell’utente e del cliente: grazie ad essa, infatti, potremo avere un processo decisionale più rapido, una maggiore produttività e un pensiero critico basato sui dati. I dipendenti possono utilizzare le competenze di data literacy per rendere più efficienti i propri processi operativi, aumentare le prestazioni e apportare altri miglioramenti alle proprie mansioni e responsabilità lavorative. Questi miglioramenti si ripercuotono sui clienti che beneficiano di prodotti di qualità superiore.

Ostacoli all’alfabetizzazione dei dati

Nella maggior parte delle discussioni sull’alfabetizzazione dei dati, la parte del leone dell’attenzione è concentrata sugli utenti. Dopotutto, il termine implica che determinate abilità devono essere coltivate all’interno della tua forza lavoro. Per costruire l’alfabetizzazione dei dati all’interno di una azienda, tuttavia, è importante creare un ambiente in cui possa prosperare. Ecco alcune delle barriere che ostacolano una forte alfabetizzazione dei dati e cosa puoi fare al riguardo.

Scarsa qualità dei dati

Bisogna innanzitutto prendere atto che la qualità dei dati si erode nel tempo. Si consideri ad esempio un tipico database di clienti. I clienti si trasferiscono, cambiano nome e alla fine cessano di esistere. Gli errori di immissione dei dati sono inevitabili. Le regole aziendali non vengono sempre applicate quando vengono creati nuovi record. I dati duplicati su due o più silos di dati possono perdere la sincronizzazione. Per ottenere una buona qualità dei dati in modo coerente, è necessario gestirli in modo proattivo. Per raggiungere questo obiettivo su larga scala sono necessari strumenti di qualità dei dati a livello aziendale.

Silos di dati

La mancanza di integrazione è un problema nella maggior parte delle organizzazioni, poiché più sistemi ospitano set di dati diversi, difficili da sincronizzare e armonizzare. Strumenti di integrazione dei dati affidabili, scalabili e flessibili consentono alle aziende di adattarsi man mano che nuovi sistemi e origini dati vengono messi in linea.

Contesto mancante

I dati senza contesto hanno poco valore. Un’azienda che archivia le informazioni di base sui propri clienti ha una visione limitata della propria clientela. Quando il contesto della posizione, i dati sulla mobilità e le informazioni demografiche vengono aggiunti al mix, gli utenti possono ottenere una visione completa a 360° dei propri clienti e degli altri membri del proprio pubblico di destinazione.

L’obiettivo finale dell’alfabetizzazione dei dati è fornire un framework per il processo decisionale basato sui dati per la tua organizzazione. È logico, quindi, che i tuoi dati debbano prima avere accuratezza, coerenza e contesto. Altrimenti, indipendentemente dall’alfabetizzazione dei dati della tua forza lavoro, le tue decisioni saranno distorte.

L’acquisizione e l’utilizzo di una suite per l’integrità dei dati offre un valore ineguagliabile per qualsiasi iniziativa di integrità dei dati attraverso funzionalità di qualità dei dati, integrazione dei dati, governance dei dati, intelligence sulla posizione e arricchimento dei dati leader di mercato.

Un processo decisionale aziendale efficace dipende dal fornire al personale, agli strumenti di business intelligence (BI) e ai modelli di intelligenza artificiale o di analisi dati accurati, coerenti e inquadrati nel giusto contesto.

Esempi di data literacy e casi d’uso

I seguenti framework e attività di gestione dei dati funzionano al meglio quando l’intera organizzazione è composta da personale esperto di dati.

Ecosistemi di dati

La data literacy è utile per stabilire e mantenere un ecosistema di dati affidabile, che può includere infrastrutture fisiche come l’archiviazione cloud o lo spazio di servizio e componenti non fisici, come software e origini dati.

Governo dei dati

Le organizzazioni utilizzano la governance dei dati per gestire le proprie risorse di dati in modo che siano complete, accurate e sicure. La governance dei dati non è di esclusiva responsabilità di un determinato team; l’intera forza lavoro deve disporre dei livelli di alfabetizzazione dei dati appropriati per contribuire al suo successo.

Molte organizzazioni hanno una politica dei dati che tutti i dipendenti devono comprendere e rispettare. Ciò include come accedere ai dati sensibili, come garantire che i dati rimangano sicuri e altri processi di dati.

Data wrangling

Il data wrangling è il processo di conversione dei dati grezzi in un formato più strutturato e utilizzabile. La gestione dei dati aiuta a ridurre gli errori nei dati. Un’organizzazione potrebbe avere individui o software automatizzato per la disputa dei dati, ma ogni dipendente che lavora con qualsiasi forma di dati svolge anche un ruolo nel mantenere i dati in un formato accettabile.

Visualizzazione dati

La creazione di una rappresentazione visiva dei dati, ad esempio un grafico o un grafico, consente ai professionisti dei dati di comunicare in modo più efficace le informazioni dettagliate derivate dai dati. La visualizzazione dei dati può includere infografiche, tabelle, video, grafici e mappe. Sia i creatori di queste visualizzazioni che le parti interessate a cui vengono presentate necessitano almeno dei livelli di base di alfabetizzazione dei dati per comprendere le implicazioni dei dati di fronte a loro.

Capacità di data literacy

Le competenze di base in materia di data literacy implicano la conoscenza della differenza tra diversi tipi di dati quantitativi e qualitativi, inclusi dati nominali, discreti, continui e ordinali. Essere in grado di determinare la fonte dei dati è anche una parte importante della data literacy di base. Conoscere il tipo di dati ed essere in grado di valutarne la qualità aiuta a ridurre al minimo gli errori e le distorsioni dei dati e massimizza la comprensione dei dati.

A un livello più avanzato di data literacy, le persone iniziano a riconoscere le sfumature e i limiti dei dati. Ad esempio, una domanda del sondaggio formulata in modi diversi può portare a risposte e risultati di dati qualitativi estremamente diversi. Allo stesso modo, le visualizzazioni dei dati possono essere fuorvianti. La data literacy aiuta i professionisti a ridurre al minimo l’interpretazione errata dei dati visivi, poiché le persone con alfabetizzazione sui dati possono identificare tendenze, lacune, valori anomali e modelli nei dati.

Indipendentemente dal fatto che la loro comprensione generale dei dati sia più basilare o avanzata, è molto importante che i dipendenti comprendano concetti di dati rilevanti per i loro ruoli individuali. Ad esempio, chiunque lavori nel marketing digitale trarrà vantaggio dalla comprensione dei termini dei dati di marketing come traffico web, visualizzazioni di pagina, visitatori unici e impressioni.

Costruire data literacy a livello di organizzazione

Dal momento che il business case per la data literacy è chiaro, come puoi creare una cultura che incoraggi e supporti l’alfabetizzazione dei dati nella tua organizzazione? Ecco alcuni passaggi per iniziare:

1. Valuta il tuo attuale livello di alfabetizzazione dei dati. Gartner suggerisce le seguenti domande per iniziare:

• Quante persone nella tua azienda pensi che possano interpretare semplici operazioni statistiche come correlazioni o giudicare medie?
• Quanti manager sono in grado di costruire un business case basato su numeri concreti, accurati e rilevanti?
• Quanti manager possono spiegare l’output dei loro sistemi o processi?
• Quanti data scientist possono spiegare l’output dei loro algoritmi?
• Quanti dei tuoi clienti possono veramente apprezzare e interiorizzare l’essenza dei dati che condividi con loro?

2. Sviluppare obiettivi in ​​base ai livelli di alfabetizzazione dei dati attuali e desiderati. Dai priorità alle aree dell’azienda in cui un maggiore utilizzo dei dati può avere un impatto significativo e concentrati prima su quelle aree. Dettaglia per i dipendenti le competenze, le capacità e il livello di alfabetizzazione dei dati desiderabili richiesti per i loro ruoli.
3. Creare un programma di alfabetizzazione dei dati che fornisca strumenti essenziali e formazione a livello di organizzazione. Assicurati che i dipendenti dispongano degli strumenti e della formazione necessari per raggiungere il livello di data literacy desiderato per il loro lavoro. Crea flessibilità nei tuoi processi per consentire ai dipendenti il ​​tempo necessario per esercitare le competenze sui dati e acquisire competenze nell’utilizzo dei dati per prendere decisioni aziendali quotidiane. Includi nel tuo programma di alfabetizzazione misure di follow-up sufficienti per tracciare e monitorare i progressi verso l’alfabetizzazione dei dati a livello individuale e organizzativo per garantire che il tuo programma funzioni correttamente.

Conclusione

Affinché le organizzazioni siano veramente basate sui dati, non dovrebbero essere solo gli esperti di tecnologia a diventare alfabetizzati sui dati; tutti sul posto di lavoro devono sviluppare capacità di data literacy per mantenere l’azienda competitiva e conforme.

Esperti di business intelligence e data scientist possono istruire i loro colleghi su come diventare alfabetizzati in materia di dati. Tuttavia, deve essere un impegno a livello di organizzazione che copra tutti i dipendenti con corsi di formazione sull’alfabetizzazione dei dati e altre risorse di supporto.

Le aziende potrebbero non vedere immediatamente il valore di fornire formazione sull’alfabetizzazione ai dati a tutti i propri dipendenti, ma i vantaggi a lungo termine sono evidenti: le persone con alfabetizzazione sui dati sono in grado di mettere in discussione e analizzare in modo esperto la logica dei dati, applicando le proprie conoscenze basate sui dati a ciascuna azienda problema che sono chiamati a risolvere.

La governance dei dati è una disciplina di gestione dei dati. Garantisce che i dati gestiti da un’organizzazione siano disponibili, utilizzabili, coerenti, affidabili e sicuri. Nella maggior parte delle aziende, l’IT è il principale amministratore dei dati, è responsabile della governance dei dati. Ma le aziende comprendono il significato pieno della governance dei dati? La risposta è no.

Per quanto ne sappiamo, il termine “gestione dei dati“, di cui la governance dei dati è un elemento, è stato coniato per la prima volta negli anni ’60. Fu dopo il frenetico decennio degli anni ’50, quando i computer iniziarono ad assumere compiti di elaborazione aziendale e i dati iniziarono ad accumularsi. 70 anni dopo, le aziende stanno ancora lottando su come applicare e condurre la gestione dei dati.

Come utilizzare al meglio la governance dei dati

Garantire la disponibilità dei dati

Indipendentemente dal fatto che i dati di un’organizzazione si trovino in un server online, nel cloud o in un sito di archiviazione fuori sede, tali dati devono essere disponibili. Ad esempio, se l’organizzazione è in un processo di individuazione legale per una causa e sono presenti dati archiviati su un nastro in un archivio fuori sede, il presupposto è che questo nastro sia ancora leggibile e che i dati siano recuperabili. L’IT è responsabile di questo.

Mantieni i dati utilizzabili

Tutti i dati in gestione dovrebbero poter essere utilizzati nei processi e nelle applicazioni aziendali dell’azienda. I dati che non vengono più utilizzati e che non devono essere archiviati devono essere eliminati. Ciò si ottiene generalmente con una serie di linee guida sulla conservazione dei dati che gli utenti IT e aziendali accettano ed eseguono su base annuale.

Mantieni la coerenza dei dati

Indipendentemente dal sistema o processo aziendale che utilizza i dati, ogni elemento di dati deve essere uniforme e coerente in tutti gli usi. Un cliente di nome Mario Rossi dovrebbe essere Mario Rossi in ogni sistema. Per ottenere la coerenza dei dati, l’IT deve pulire, preparare e modificare i dati in modo che tutte le istanze di Mario Rossi siano costantemente corrette.

Pulisci i dati

Quando utenti e sistemi utilizzano dati che sono stati adeguatamente puliti e preparati, essi credono e si affidano ai dati.

Rafforza la sicurezza dei dati

L’IT garantisce che tutti i dati gestiti siano accessibili, ma ci sono dei limiti. Questi limiti si presentano sotto forma di diversi livelli di autorizzazioni assegnati agli utenti e basati sui dati a cui devono accedere per svolgere il proprio lavoro. Devono essere implementate misure di sicurezza e monitoraggio per garantire che le persone esterne all’azienda non accedano ai dati aziendali senza esplicita autorizzazione.

Cosa non è la governance dei dati

La governance dei dati è iniziata come un termine politico che descriveva la governance dei flussi di dati attraverso i confini nazionali. Sebbene questa sia ancora una preoccupazione per le organizzazioni, l’attuale comprensione aziendale della governance dei dati ha più a che fare con il modo in cui le aziende gestiscono i propri dati interni.

La governance dei dati non è un’architettura dei dati o gestione dei dati

Un architetto di dati è responsabile della progettazione di un framework generale di hardware, software, dati e processi aziendali che supportano le operazioni a livello aziendale, ma non hanno il compito specifico di governance dei dati. La gestione dei dati è un termine generale che si riferisce a tutti gli aspetti della gestione dei dati. La governance dei dati ne è solo un aspetto.

La governance dei dati non è solo responsabilità dell’IT

Troppo spesso il compito della governance dei dati è affidato all’IT, quando dovrebbe essere una preoccupazione a livello di consiglio di amministrazione che potrebbe coinvolgere la privacy e la sicurezza delle informazioni dei clienti, la sicurezza dei dati e della proprietà intellettuale, la conformità alle normative, la reputazione dell’azienda e persino la capacità dell’azienda di operare.

Scomponendo la governance dei dati nelle sue singole componenti, le aziende possono comprendere meglio cos’è la governance dei dati, cosa si prevede di ottenere e perché l’intera azienda dovrebbe essere coinvolta.

Perché la governance dei dati è importante

Senza un’efficace governance dei dati, le incongruenze dei dati nei diversi sistemi di un’organizzazione potrebbero non essere risolte. Ad esempio, i nomi dei clienti possono essere elencati in modo diverso nei sistemi di vendita, logistica e servizio clienti. Ciò potrebbe complicare gli sforzi di integrazione dei dati e creare problemi di integrità dei dati che influiscono sull’accuratezza delle applicazioni di Business Intelligence (BI), reporting aziendale e analisi. Inoltre, gli errori di dati potrebbero non essere identificati e corretti, influendo ulteriormente sull’accuratezza della BI e dell’analisi.

Una scarsa governance dei dati può anche ostacolare le iniziative di conformità normativa. Ciò potrebbe causare problemi alle aziende che devono conformarsi al numero crescente di leggi sulla privacy e sulla protezione dei dati, come il GDPR dell’Unione Europea. Un programma di governance dei dati aziendali in genere include lo sviluppo di definizioni di dati comuni e formati di dati standard che vengono applicati in tutti i sistemi aziendali, aumentando la coerenza dei dati sia per gli usi aziendali che per la conformità.