Contenuto
- Nessun bug, nessuno stress: la tua guida passo passo alla creazione di software che ti cambia la vita senza distruggere la tua vita
- Giù per affari
- Come Kafka cambierà la gestione dei dati
Porta via:
Kafka farà per i sistemi informativi ciò che LinkedIn fa per gli uomini d'affari: mantienili connessi su ampie gamme.
Credendo appassionatamente in qualcosa che ancora non esiste, lo creiamo. L'inesistente è ciò che non abbiamo sufficientemente desiderato.~ Franz Kafka
La necessità rimane la madre dell'invenzione. Come un astuto consulente una volta mi disse: "Se c'è qualcosa che deve accadere in un'organizzazione, sta accadendo". Il suo punto era duplice: 1) alcune persone troveranno sempre un modo per fare le cose; e, 2) il senior management, o anche il middle management, potrebbero non essere consapevoli di come vengono fatte le cose all'interno del proprio stabilimento.
Se estendiamo quella metafora all'intero universo della gestione dei dati, possiamo vedere subito una trasformazione in atto. La pressione pura dei big data, combinata con l'asse dei dati in streaming, crea così tanta pressione che i sistemi legacy si sfilacciano ai margini, se non collassano del tutto. Tuttavia, ci sono innumerevoli professionisti che svolgono il proprio lavoro in questo momento, che sono in gran parte inconsapevoli di questa realtà.
Le imprese basate sui dati e guidate dai dati hanno un posto in prima fila e guidano in molti modi questo cambiamento. Considera come centrali elettriche come Yahoo !, e LinkedIn hanno rivoluzionato l'industria del software aziendale con le loro donazioni prodigiose all'open source: Hadoop, Cassandra e ora Kafka, tutte guidate dalla Apache Foundation, anch'essa protagonista di questa metamorfosi .
Qual è il risultato di tutto questo cambiamento? Ciò a cui abbiamo assistito oggi è la riclassificazione categorica e la ristrutturazione della gestione dei dati stessa. Questo non vuol dire che i sistemi legacy verranno ora strappati e sostituiti. Qualsiasi veterano del settore ti dirà che lo scioglimento all'ingrosso dei sistemi legacy avviene ogni volta che i Chicago Cubs vincono le World Series. È un evento raro, per non dire altro.
Quello che sta realmente accadendo è che una super-struttura è stata costruita attorno ai sistemi del vecchio mondo. Considera l'analogia delle autostrade interstatali, che spesso sorgono sopra le città e le città in cui servono, progettate per consegnare persone e merci in questi centri abitati e fornire uscita a chiunque e qualsiasi cosa al loro interno. Non sostituiscono le strade esistenti tanto quanto aumentarle con alternative ad alta velocità.
Questo è esattamente ciò che fa Apache Kafka: fornisce percorsi ad alta velocità per lo spostamento dei dati tra e tra i sistemi di informazione. Per seguire l'analogia dell'autostrada, ci sono ancora molte aziende che usano code lineari o il vecchio standard di ETL (extract-transform-load); ma questi percorsi hanno limiti di bassa velocità e ci sono molte buche; inoltre, i costi di manutenzione sono spesso esorbitanti; la segnaletica è scarsa.
Kafka offre un metodo alternativo per la consegna dei dati, che è decisamente in tempo reale, scalabile e durevole. Ciò significa che Kafka non è solo un veicolo per lo spostamento dei dati, ma anche un replicatore di dati; e in una certa misura, una tecnologia di database distribuita. Dobbiamo stare attenti a non esagerare con l'analogia, in quanto vi sono caratteristiche dei database compatibili con ACID che Kafka non ha ancora messo in mostra. Tuttavia, il cambiamento è reale.
Questa è una grande notizia per il panorama delle informazioni, perché i dati sono ora liberi di spostarsi nel paese e nel mondo, per quella materia. Quello che una volta era un vincolo doloroso, vale a dire colpire finestre batch per i processi ETL, ora si sta dissipando molto mentre la nebbia lascia il posto ai cieli sotto il bagliore di un sole caldo. Quando lo spostamento dei dati da un sistema a un altro diventa senza limiti, nasce un'era di nuove opportunità.
Nessun bug, nessuno stress: la tua guida passo passo alla creazione di software che ti cambia la vita senza distruggere la tua vita
Non puoi migliorare le tue capacità di programmazione quando a nessuno importa della qualità del software.
Gli esseri umani rappresenteranno probabilmente il maggior attrito sulla strada per un nuovo futuro. Le vecchie abitudini sono dure a morire. Nary a CIO è troppo entusiasta di apportare modifiche all'ingrosso ai sistemi aziendali. Disse un esperto dirigente esperto del ruolo: "Preparati a sentirti solo". Entro un anno da quel commento, era un consulente. Non è un percorso facile, cercando di gestire il mondo straordinariamente ingombrante dei dati aziendali.
La buona notizia è che Kafka offre una rampa verso il futuro. Poiché funge da bus ad alta potenza e poliedrico, crea ponti tra i sistemi legacy e le loro controparti lungimiranti. Pertanto, le organizzazioni che abbracciano questa nuova opportunità con menti aperte e budget sufficiente saranno in grado di entrare nel nuovo mondo, senza lasciare il vecchio. Questo è un grosso problema.
Giù per affari
Mentre Apache Kafka è una tecnologia open source, gratuita per chiunque da scaricare e utilizzare, le persone che hanno creato questo software per LinkedIn hanno creato un'entità separata chiamata Confluent, che si concentra sull'indurimento dell'offerta per l'uso aziendale. Proprio come Cloudera, Hortonworks e MapR hanno costruito le loro attività attorno al progetto open source di Apache Hadoop, quindi Confluent cerca di monetizzare Kafka.
In una recente intervista a InsideAnalysis, il CEO e cofondatore di Confluent Jay Kreps ha spiegato la sua origine a LinkedIn:
"Stavamo cercando di risolvere un paio di problemi diversi lì. Uno era, avevamo tutti questi diversi sistemi di dati con diversi tipi di dati. Avevamo database e avevamo file di registro e avevamo metriche sui server e avevamo utenti che facevano clic sulle cose. Ottenere tutti quei dati in giro - man mano che diventavano grandi - era davvero difficile: la potenza dei dati era lì solo se si potesse arrivare alle applicazioni, all'elaborazione o ai sistemi che ne avevano bisogno. Questo era un grosso problema.
"L'altro problema che abbiamo avuto è stato l'adozione di Hadoop, ed è stato qualcosa in cui sono stato coinvolto. Avevamo questa fantastica piattaforma di elaborazione offline che potevamo ridimensionare e in cui abbiamo potuto inserire tutti i nostri dati. Per LinkedIn tutti i nostri dati sono avvenuti in realtà tempo. C'era una generazione continua di dati. C'era sempre questa discrepanza mentre cercavamo di costruire parti chiave del business dai nostri dati; tra qualcosa che correva una volta al giorno, forse di notte, e generava risultati il giorno successivo, e questo tipo di dati continui - brevi tempi di interazione - con i quali hai dovuto recuperare il ritardo. Volevamo essere in grado di fare qualcosa che era stato in giro nel mondo accademico per un po ', ma non era davvero una cosa tradizionale, che doveva essere in grado di attingere ed elaborare i flussi di dati man mano che venivano generati, anziché mentre si trovavano ".
Bene. Questo è esattamente ciò che Confluent ora cerca di fare con i dati aziendali di tutte le forme e dimensioni. L'opportunità in gioco? Terreno edificabile. Francamente, nell'intera storia del software aziendale, si potrebbe sostenere che il mercato indirizzabile per questa tecnologia prende assolutamente il sopravvento. Non esiste una singola grande organizzazione, o nemmeno una piccola impresa pesante di dati, che non può beneficiare enormemente di questa tecnologia.
Ciò è particolarmente vero a causa dell'aspetto neurologico di questa tecnologia; non solo le menti coinvolte, ma la natura di ciò che Kafka fa per i sistemi di informazione. Poiché Kafka può essere utilizzato per gestire il movimento dei dati all'interno di un'organizzazione, può essere considerato più che un semplice poliziotto, ma piuttosto il cervello dell'operazione stessa. Erano nelle prime fasi di quella visione, ma state tranquilli, è reale.
Come Kafka cambierà la gestione dei dati
Per capire come Kafka cambierà la natura della gestione dei dati, basti pensare ai modi in cui LinkedIn ha cambiato la rete. Trovare i colleghi è diventato molto più facile; rimanere in contatto con le persone ora è un gioco da ragazzi. Kafka farà per i sistemi informativi quello che LinkedIn fa per gli uomini d'affari: mantienili collegati nelle più vaste gamme di questa terra.
Lo spin-off di Confluent è emblematico di qualcosa che potremmo chiamare la Nuova Innovazione, un movimento guidato dal disaccoppiamento dello sviluppo del software e dalla mentalità chiusa, guidato dai creatori della tecnologia open source, alimentato da grandi quantità di capitale di rischio, monetizzato da aziende a scopo di lucro che cercano di rivoluzionare il modo in cui organizzazioni e persone creano, raccolgono, analizzano e sfruttano i dati.
Per citare Franz Kafka, "Da un certo punto in poi, non è più possibile tornare indietro. Questo è il punto che deve essere raggiunto."
Abbiamo superato il Rubicone. Non si può tornare indietro ora.