“Comma-Separated Values (CSV) è uno dei formati di dati più versatili e facili da usare. È un formato dati leggero che consente agli sviluppatori e alle applicazioni di trasferire e analizzare i dati da un'origine all'altra.
I dati CSV archiviano i dati in un formato tabulare in cui ogni colonna è separata da una virgola e un nuovo record viene allocato su una nuova riga. Ciò lo rende un'ottima scelta per l'esportazione di database come database SQL, dati Cassandra e altro ancora.
Pertanto, non sorprende che incontrerai uno scenario in cui devi importare un file CSV nel tuo database.
L'obiettivo di questo tutorial è mostrarti un metodo rapido e semplice per importare un file CSV nel tuo cluster Elasticsearch utilizzando il dashboard di Kibana'.
Entriamo.
Requisiti
Prima di immergerti, assicurati di avere i seguenti requisiti:
- Un cluster Elasticsearch con stato di integrità verde.
- Server Kibana connesso al tuo cluster Elasticsearch.
- Autorizzazioni sufficienti per gestire gli indici nel tuo cluster.
Esempio di file CSV
Come al solito, il primo requisito è il file CSV di origine. È bene assicurarsi che i dati nel file CSV siano ben formattati e che non contengano errori.
A scopo illustrativo, utilizzeremo un set di dati gratuito che contiene film e programmi TV di Amazon Prime.
Apri il tuo browser e vai alla risorsa qui sotto:
https://www.kaggle.com/datasets/shivamb/amazon-prime-movies-and-tv-shows
Segui la procedura per scaricare il set di dati sul tuo computer locale. Puoi estrarre l'archivio scaricato con il comando:
$ decomprimere un~ / Download / archivio.zip
Importa file CSV
Una volta che il tuo file sorgente è pronto, possiamo procedere e discutere come importarlo.
Inizia andando alla dashboard della tua casa Kibana e selezionando l'opzione 'carica un file'.
Individua il file CSV di destinazione che desideri importare nella finestra di avvio.
Seleziona il tuo file di origine e fai clic su Carica.
Consenti a Elasticsearch e Kibana di analizzare il file caricato. Questo analizzerà il file CSV e determinerà il formato dei dati, i campi, i tipi di dati, ecc.
NOTA: a seconda della configurazione del cluster e delle dimensioni dei dati, questo processo potrebbe richiedere del tempo. Assicurarsi che il nodo master risponda per evitare timeout.
Una volta completato il processo, dovresti ottenere un campione del contenuto del tuo file e le statistiche del file analizzate da Elastic.
Puoi personalizzare numerosi parametri, ad esempio il delimitatore, le righe di intestazione, ecc. Ad esempio, possiamo personalizzare l'output sopra per indicare a Elastic che il nostro file CSV contiene file di intestazione.
Possiamo quindi fare clic su applica e rianalizzare i dati. Questo dovrebbe formattare i dati nel formato corretto, compresi i campi.
Successivamente, possiamo fare clic su Importa per procedere alla dashboard importata.
Qui, dobbiamo creare un indice in cui sono archiviati i dati CSV. Puoi assegnare qualsiasi nome supportato al tuo indice.
Se desideri personalizzare le proprietà dell'indice, come il numero di frammenti, repliche, mappature, ecc. Seleziona l'opzione avanzata e modifica le impostazioni come desideri.
Infine, fai clic su Importa e guarda mentre Kibana fa la sua 'magia'. Una volta completato, puoi accedere al tuo indice tramite l'API Elasticsearch o utilizzare il dashboard di Kibana.
E hai finito!!
Conclusione
In questo post, abbiamo trattato il processo di recupero e importazione del tuo set di dati CSV nel tuo cluster Elasticsearch utilizzando il dashboard di Kibana.
Grazie per la lettura e buona codifica!!