Contenuto
Fonte: Nmedia /Dreamstime.com
Porta via:
I big data sono grandi affari ovunque, ma alcune aree specifiche sfruttano maggiormente questa tecnologia.
Quando ho iniziato questo articolo, avevo in programma di elencare i diversi tipi di piattaforme per big data. Ma, dopo tre giorni di tentativi di mettere a posto tutte le diverse offerte di big data - relazionali contro non relazionali, SQL contro NoSQL e database contro framework - in una parvenza di ordine, ho deciso di evitare quel casino.
Per aggiungere la beffa al danno, avevo sperato di introdurre la persona che ha coniato il termine "big data" come parte dell'articolo. Ma non posso nemmeno farlo. Non esiste una risposta concordata. In realtà, c'è un progetto di ricerca in piena regola che esamina chi ha inventato i big data in origine. Invece, darò un'occhiata ad alcuni dei modi in cui vengono utilizzati i big data. Questo è molto più importante. Ed è più interessante e sorprendente di quanto si possa pensare.
Come è successo
Gli analisti che utilizzano il data mining tradizionale manipolano i dati da anni. Questi stessi analisti hanno ora difficoltà a far fronte alla quantità e alla varietà di dati salvati da aziende, organizzazioni private e agenzie governative.
Inserisci i big data, il prossimo passo evolutivo nel data mining. I big data sono stati progettati per gestire enormi database e una miriade di tipi di dati creati nel mondo digitale di oggi. Se "enorme" ti fa pensare a Google e a tutti i dati che raccoglie, saresti nel campo da baseball. Ciò che potrebbe sorprenderti è che Google è solo al quarto posto nella Top Ten List dei database più grandi del mondo. A partire da gennaio 2014, il World Data Center for Climate è in cima alla lista con 220 terabyte di dati, ed è supposizione di chiunque sulla dimensione dei database controllati da determinate agenzie governative.
Ovviamente, i big data sono decollati perché consente di manipolare grandi quantità di dati diversi e scoprire cose sorprendenti - e incredibilmente dettagliate e personali. John Sumser, analista del settore delle risorse umane, fornisce il seguente esempio:
"Oggi creiamo ipotesi e raccogliamo dati. Domani faremo il contrario. L'accumulo costante e costante di dati ci consentirà di esaminare i dati prima di formulare domande. Ciò significa che avremo risposte a domande che non abbiamo fatto" non lo so chiedere. Non penseremo a un mucchio di cose che supponiamo siano fatti ".
Naturalmente, abbiamo tutti sentito parlare di alcuni dei modi raccapriccianti che questi dati sono stati utilizzati, come la capacità di Targets di discernere la gravidanza di una giovane donna prima ancora che la sua famiglia lo scopra. Ma i big data vengono anche usati per cause molto meno sinistre. Ecco alcune organizzazioni che lo sfruttano di più:
Non puoi migliorare le tue capacità di programmazione quando a nessuno importa della qualità del software.
Un'area ovvia che i big data aiuteranno è la gestione delle cartelle cliniche elettroniche in modo sicuro e preciso tra le organizzazioni mediche. Avere registri accurati fornirà ai pazienti un servizio migliore e ridurrà gli errori. Il settore sanitario, per ovvie ragioni, sta adattando i big data a un ritmo più lento al fine di conformarsi alle normative governative in materia di riservatezza dei pazienti.
Come accennato in precedenza, i big data sono noti per fornire risposte a domande non poste. Nel campo dell'assistenza sanitaria, ciò potrebbe significare la ricerca di un nuovo farmaco o trattamento che non sarebbe stato trovato diversamente. Secondo McKinsey & Company, i big data potrebbero rendere possibile quanto segue in un futuro non così lontano:
- La modellistica predittiva di processi e farmaci biologici diventa più sofisticata e diffusa.
- I pazienti sono identificati per arruolarsi in studi clinici basati su più fonti di informazione, come i social media.
- Le prove sono monitorate in tempo reale per identificare rapidamente problemi di sicurezza o operativi.
- Invece di silos di dati rigidi che sono difficili da sfruttare, i dati vengono acquisiti elettronicamente e fluiscono facilmente tra unità diverse.
Big Data, grande opportunità
Mentre i big data vengono sfruttati in alcune aree specifiche, offrono opportunità a tutte le organizzazioni nelle seguenti aree:
Quasi tutti i dati dei registri dei dispositivi di elaborazione e di rete. La quantità di dati registrati rapidamente diventa ingombrante. I big data possono facilmente gestire quella quantità di dati, consentendo agli amministratori di monitorare l'attività di rete, diagnosticare problemi o, nell'esempio che mi ha fornito Rubin, cercare determinati schemi di traffico di rete che indichino l'attività del malware.
Se stai leggendo questo articolo, è una scommessa abbastanza sicura che sei a conoscenza del problema Heartbleed che circonda OpenSSL. Oltre al problema tecnico, esiste la preoccupazione che la vulnerabilità esista da diversi anni. Rubin ha affermato che i big data consentono agli amministratori di rete, che lavorano con analisti di dati, di creare un programma che cercherà in tutti i registri di rete battiti cardiaci dannosi. Questo post del FEP menziona:
"Tutti gli operatori di rete che dispongono di estesi registri di pacchetti possono verificare eventuali battiti cardiaci dannosi, che generalmente hanno un payload TCP di 18 03 02 00 03 01 o 18 03 01 00 03 01 (o forse anche 18 03 03 00 03 01)."L'esempio seguente è un esempio di output del comando show audit:
Router # mostra controllo
* 14 set 18: 37: 31.535:% AUDIT-1-RUN_VERSION: Hash:
24D98B13B87D106E7E6A7E5D1B3CE0AD Utente:
* 14 set 18: 37: 31.583:% AUDIT-1-RUN_CONFIG: Hash:
4AC2D776AA6FCA8FD7653CEB8969B695 Utente:
* 14 set 18: 37: 31.595:% AUDIT-1-STARTUP_CONFIG: Hash:
95DD497B1BB61AB33A629124CBFEC0FC Utente:
* 14 set 18: 37: 32.107:% AUDIT-1-FILESYSTEM: Hash:
330E7111F2B526F0B850C24ED5774EDE Utente:
* 14 set 18: 37: 32.107:% AUDIT-1-HARDWARE_CONFIG: Hash:
32F66463DDA802CC9171AF6386663D20 Utente:
Se si seguono i timestamp, l'intervallo di tempo per tutte quelle voci era inferiore a un secondo. Non vorrei nemmeno estrapolarlo per un giorno, figuriamoci due anni!
Qualcosa da guardare
Se controlli gli annunci di lavoro, c'è un disperato bisogno di esperti di big data. Ho chiesto a Rubin di questo. Ha accettato, menzionando i suoi studenti erano entusiasti delle loro prospettive. Mi sono poi reso conto che le piattaforme di big data, in particolare quelle considerate open source, stanno seguendo una linea temporale molto simile a come Linux è diventato mainstream.
Le università abbracciano le versioni open source delle piattaforme di big data, in particolare Hadoop, perché sono gratuite e gli studenti possono manipolare il codice sorgente. Quindi i laureati che occupano tutte queste opportunità di lavoro preferiranno lavorare con piattaforme open source, poiché è quello che sanno meglio. Sarà interessante da guardare.