Contenuto
- ETL crea colli di bottiglia per Analytics
- Semplificazione dell'ETL con Machine Learning e AI
- Nessun bug, nessuno stress: la tua guida passo passo alla creazione di software che ti cambia la vita senza distruggere la tua vita
Fonte: Pop Nukoonrat / Dreamstime.com
Porta via:
I dati sono cruciali per le aziende, ma affinché possano essere utili, non devono esserci errori nella raccolta, elaborazione e presentazione di tali dati. L'intelligenza artificiale può monitorare i processi ETL per assicurarsi che siano privi di errori.
ETL (estrazione, trasformazione e caricamento) è uno dei processi più importanti nell'analisi dei big data e, contemporaneamente, può essere uno dei maggiori colli di bottiglia. (Per ulteriori informazioni sui big data, consulta 5 utili corsi sui big data che puoi seguire online.)
Il motivo per cui ETL è così importante è che la maggior parte dei dati raccolti da un'azienda non è pronta, nella sua forma grezza, per una soluzione di analisi da digerire. Affinché una soluzione di analisi possa creare approfondimenti, i dati grezzi devono essere estratti dall'applicazione in cui risiede attualmente, trasformati in un formato leggibile da un programma di analisi e quindi caricati nel programma di analisi stesso.
Questo processo è analogo alla cottura. I tuoi ingredienti grezzi sono i tuoi dati grezzi. Devono essere estratti (acquistati da un negozio), trasformati (cotti) e quindi caricati (placcati), prima di poter essere analizzati (assaggiati). Le difficoltà e le spese possono ridursi in modo imprevedibile: è facile produrre mac n 'formaggio per te, ma è molto più difficile creare un menu gourmet per 40 persone a una cena. Inutile dire che un errore in qualsiasi momento può rendere il tuo pasto indigeribile.
ETL crea colli di bottiglia per Analytics
L'ETL è in qualche modo il fondamento del processo di analisi, ma presenta anche alcuni svantaggi. Prima di tutto, è lento e computazionalmente costoso. Ciò significa che le aziende spesso danno la priorità solo ai dati più importanti per l'analisi e semplicemente archiviano il resto. Ciò contribuisce al fatto che fino al 99% di tutti i dati aziendali non viene utilizzato a fini di analisi.
Inoltre, il processo ETL non è mai certo. Gli errori all'interno del processo ETL possono danneggiare i tuoi dati. Ad esempio, un breve errore di rete potrebbe impedire l'estrazione dei dati. Se i tuoi dati di origine contengono più tipi di file, potrebbero essere trasformati in modo errato. Garbage in, garbage out, come si suol dire - gli errori durante il processo ETL si esprimeranno quasi sicuramente in termini di analisi imprecise.
Un processo ETL danneggiato può avere conseguenze negative. Anche nello scenario migliore, probabilmente dovrai rieseguire l'ETL, il che significa un ritardo di ore - e nel frattempo, i tuoi decisori sono impazienti. Nello scenario peggiore, non si notano analisi inaccurate fino a quando non si inizia a perdere denaro e clienti.
Semplificazione dell'ETL con Machine Learning e AI
Puoi - e probabilmente lo farai - assegnare qualcuno al monitoraggio dell'ETL, ma onestamente non è così semplice. Dati errati possono derivare da errori di processo che si verificano così rapidamente che non possono essere notati in tempo reale. I risultati di un processo ETL corrotto spesso non sembrano diversi dai dati caricati correttamente. Anche quando gli errori sono evidenti, il problema che ha creato l'errore potrebbe non essere così facile da rintracciare. (Per ulteriori informazioni sull'analisi dei dati, vedere Ruolo di lavoro: analista di dati.)
La buona notizia è che le macchine possono catturare ciò che gli umani non possono. Questi sono solo alcuni modi in cui l'intelligenza artificiale e l'apprendimento automatico possono rilevare errori ETL prima che si trasformino in analisi imprecise.
Nessun bug, nessuno stress: la tua guida passo passo alla creazione di software che ti cambia la vita senza distruggere la tua vita
Non puoi migliorare le tue capacità di programmazione quando a nessuno importa della qualità del software.
1. Rileva e avvisa attraverso le metriche ETL
Anche se i tuoi dati sono un'immagine in costante movimento, il processo ETL dovrebbe comunque produrre valori coerenti a una velocità costante. Quando queste cose cambiano, è causa di allarme. Gli umani possono vedere grandi oscillazioni nei dati e riconoscere errori, ma l'apprendimento automatico può riconoscere i guasti più sottili, più velocemente. È possibile per un sistema di apprendimento automatico offrire il rilevamento di anomalie in tempo reale e avvisare direttamente il reparto IT, consentendo loro di mettere in pausa il processo e risolvere il problema senza dover scartare ore di lavoro computazionale.
2. Individuare colli di bottiglia specifici
Anche se i risultati sono accurati, potrebbero comunque risultare troppo lenti per essere utili. Gartner lo dice 80% di approfondimenti derivato dall'analisi non sarà mai sfruttato per creare valore monetario, e ciò potrebbe essere dovuto al fatto che un leader aziendale non può vedere una visione in tempo utile per trarne vantaggio. L'apprendimento automatico può dirti dove il tuo sistema sta rallentando e fornirti le risposte - ottenendo dati migliori, più velocemente.
3. Quantificare l'impatto della gestione del cambiamento
I sistemi che producono dati e analisi non sono statici: ricevono costantemente patch e aggiornamenti. A volte, questi influiscono sul modo in cui producono o interpretano i dati, portando a risultati imprecisi. L'apprendimento automatico può contrassegnare i risultati che sono stati modificati e rintracciarli sulla macchina o sull'applicazione patch specifica.
4. Ridurre il costo delle operazioni
Le operazioni di analisi bloccate equivalgono alla perdita di denaro. Il tempo che passi a capire non solo come risolvere il problema, ma anche chi è il responsabile perché risolvere il problema è tempo che potresti spendere per costruire valore. L'apprendimento automatico aiuta a raggiungere il nocciolo della questione avvisando solo i team che potrebbero essere responsabili di rispondere a specifici tipi di incidenti, lasciando il resto del reparto IT libero di continuare a svolgere le funzioni principali del lavoro. Inoltre, l'apprendimento automatico aiuterà a eliminare i falsi positivi, riducendo il numero complessivo di avvisi e aumentando la granularità delle informazioni che possono fornire. La fatica da allerta è molto reale, quindi questo cambiamento avrà un impatto misurabile sulla qualità della vita.
Quando si tratta di vincere nel mondo degli affari, l'analisi è fondamentale. Uno studio di riferimento di Bain Capital mostra che le aziende che impiegano analisi hanno una probabilità due volte superiore di sovraperformare finanziariamente. ETL fornisce le basi per il successo in questo campo, ma ritardi ed errori possono anche impedire il successo di un programma di analisi. L'apprendimento automatico, quindi, diventa uno strumento prezioso per il successo di qualsiasi programma di analisi, contribuendo a garantire dati puliti e risultati accurati.