30 esempi Grep per amministratori di sistema

L'apprendimento dei linguaggi formali e delle espressioni regolari è un argomento entusiasmante. Imparare grep ha molto di più delle regex. Per iniziare e vedere la bellezza e l'eleganza di grep devi prima vedere alcuni esempi del mondo reale.

Esempi che sono utili e ti semplificano la vita. Ecco 30 casi d'uso e opzioni del genere grep.

1. ps aux | grep

Il ps aux elenca tutti i processi e i loro pid associati. Ma spesso questa lista è troppo lunga per essere esaminata da un essere umano. Convogliando l'output a un comando grep è possibile elencare i processi in esecuzione con un'applicazione molto specifica in mente. Ad esempio, potrebbe essere sshd o nginx o httpd.

2. Grepping dei tuoi indirizzi IP

Nella maggior parte dei sistemi operativi è possibile elencare tutte le interfacce di rete e l'IP assegnato a tale interfaccia utilizzando il comando ifconfig o ip addr. Entrambi questi comandi produrranno molte informazioni aggiuntive. Ma se vuoi stampare solo l'indirizzo IP (diciamo per gli script di shell), puoi usare il comando seguente:

Il comando ip addr ottiene tutti i dettagli (inclusi gli indirizzi IP), viene quindi reindirizzato al secondo comando grep inet che emette solo le righe con inet al loro interno. Questo viene poi convogliato in awk print l'istruzione che stampa la seconda parola in ogni riga (per dirla semplicemente).

P.S: Puoi anche farlo senza grep se conosci awk bene.

3. Guardando i tentativi SSH falliti

Se disponi di un server rivolto a Internet, con un IP pubblico, sarà costantemente bombardato da tentativi SSH e se consenti agli utenti di accedere a SSH basato su password (una politica che non consiglierei) puoi vedere tutti questi tentativi falliti utilizzando il seguente comando grep:

4. Collegamento di Grep a Uniq

A volte, grep produrrà molte informazioni. Nell'esempio sopra, un singolo IP potrebbe aver tentato di entrare nel tuo sistema. Nella maggior parte dei casi, ci sono solo una manciata di questi IP offensivi che devi identificare in modo univoco e inserire nella lista nera.

Il comando uniq dovrebbe stampare solo le righe univoche. L'uniq -f 3 salta i primi tre campi (per trascurare i timestamp che non vengono mai ripetuti) e poi inizia a cercare linee univoche.

5. Grepping per i messaggi di errore

L'uso di Grep per i log di accesso e di errore non è limitato solo a SSH. I server Web (come Nginx) registrano gli errori e i registri di accesso in modo abbastanza meticoloso. Se imposti script di monitoraggio che ti inviano avvisi quando grep 404 restituisce un nuovo valore. Può essere molto utile.

La regex potrebbe non essere 404 ma qualche altro filtro regex solo per i client mobili o solo per i dispositivi Apple che visualizzano una pagina web. Ciò ti consente di avere una visione più approfondita del rendimento della tua app.

6. Elenco dei pacchetti

Per i sistemi basati su Debian, dpkg -l elenca tutti i pacchetti installati sul tuo sistema. Puoi reindirizzarlo in un comando grep per cercare pacchetti appartenenti a un'applicazione specifica. Per esempio:

7. grep -v nomi di file

Per elencare tutte le righe che non farlo contengono un dato pattern, usate il flag -v. È fondamentalmente l'opposto di un normale comando grep.

8. grep -l

Elenca tutti i file che contengono almeno un'occorrenza del modello fornito. Questo è utile quando stai cercando un pattern all'interno di una directory con più file. Stampa solo il nome del file e non la riga specifica con il motivo.

9. Opzione parola singola -w

Il flag -w dice a grep di cercare il modello dato come una parola intera e non solo una sottostringa di una riga. Ad esempio, in precedenza abbiamo eseguito il grep per l'indirizzo IP e il modello inet stampato le linee con entrambi inet e inet6 elencando sia gli indirizzi IPv4 che IPv6. Ma se usassimo -w flagga solo le righe con inet poiché una parola preceduta e seguita da spazi è una corrispondenza valida.

10. Espressione regolare estesa

Scoprirai spesso che le espressioni regolari native di Grep sono un po' limitanti. Nella maggior parte degli script e delle istruzioni troverai l'uso del flag -E e questo ti consentirà di inserire il modello in quella che viene chiamata la modalità estesa.

Ecco i comandi grep e grep -E per cercare le parole Superman e Spiderman.

Come puoi vedere, la versione estesa è molto più facile da leggere.

11. Grep per i tuoi contenitori

Se disponi di un grande cluster di contenitori in esecuzione sul tuo host, puoi eseguirne il grep per nome dell'immagine, stato, porte che stanno esponendo e molti altri attributi. Per esempio,

12. Grep per i tuoi baccelli

Già che siamo in tema di contenitori. Kubernetes spesso tende a lanciare più pod in una determinata distribuzione. Sebbene ogni pod abbia un nome univoco, in un determinato spazio dei nomi, in genere iniziano con il nome della distribuzione. Possiamo grep di questo ed elencare tutti i pod associati a una determinata distribuzione.

13. Grip per Big Data

Spesso la cosiddetta analisi dei Big Data comporta una semplice ricerca, ordinamento e conteggio dei modelli in un determinato set di dati. Le utilità UNIX di basso livello come grep, uniq, wc sono particolarmente brave in questo. Questo post sul blog mostra un bell'esempio di un'attività eseguita in pochi secondi utilizzando grep e altre utility Unix mentre Hadoop ha impiegato quasi mezz'ora.

Ad esempio, questo set di dati ha una dimensione superiore a 1,7 GB. Contiene informazioni su una moltitudine di partite di scacchi, comprese le mosse fatte, chi ha vinto, ecc. Siamo interessati solo ai risultati, quindi eseguiamo il seguente comando:

Ciò ha richiesto circa 15 secondi su un processore a 2 core/4 thread di 4 anni. Quindi la prossima volta che risolverai un problema di big data. Pensa se puoi usare grep invece.

14. grep –color=auto

Questa opzione consente a grep di evidenziare il motivo all'interno della linea in cui è stato trovato.

15. grep -i

La corrispondenza del modello Grep è intrinsecamente sensibile alle maiuscole. Ma se non ti interessa, l'uso del flag -i renderà grep insensibile alle maiuscole.

16. grep -n

Il flag -n mostrerà i numeri di riga in modo da non doverti preoccupare di trovare la stessa riga in seguito.

17. git grep

Git, il sistema di controllo della versione, ha di per sé un comando grep integrato che funziona più o meno come il normale grep. Ma può essere usato per cercare modelli su qualsiasi albero impegnato usando la CLI nativa di git, invece di noiose pipe. Ad esempio, se ti trovi nel ramo principale del tuo repository, puoi eseguire il grep attraverso il repository utilizzando:

18. grep -o

Il flag -o è davvero utile quando si tenta di eseguire il debug di un'espressione regolare. Stamperà solo la parte corrispondente della riga, invece dell'intera riga. Quindi, nel caso, stai ricevendo troppe linee indesiderate per un modello fornito e non puoi capire perché ciò stia accadendo. Puoi usare il flag -o per stampare la sottostringa incriminata e ragionare sulla tua regex a ritroso da lì.

19. grep -x

Il flag -x stamperebbe una riga, se e solo se l'intera riga corrisponde alla regex fornita. Questo è in qualche modo simile al flag -w che stampava una riga se e solo di una parola intera corrispondeva alla regex fornita.

20. grep -T

Quando si ha a che fare con i registri e gli output di uno script di shell, è più che probabile che si incontrino schede rigide per distinguere tra diverse colonne di output. Il flag -T allineerà in modo ordinato queste schede in modo che le colonne siano disposte in modo ordinato, rendendo l'output leggibile dall'uomo.

21. grep -q

Questo sopprime l'output ed esegue silenziosamente il comando grep. Molto utile quando si sostituisce il testo o si esegue grep in uno script daemon.

22. grep -P

Le persone che sono abituate alla sintassi delle espressioni regolari perl possono usare il flag -P per usare esattamente quella. Non devi imparare l'espressione regolare di base, che grep usa per impostazione predefinita.

23. grep -D [AZIONE]

In Unix, quasi tutto può essere trattato come un file. Di conseguenza, qualsiasi dispositivo, socket o flusso di dati FIFO può essere inviato a grep. È possibile utilizzare il flag -D seguito da un'AZIONE (l'azione predefinita è READ). Alcune altre opzioni sono SKIP per saltare silenziosamente dispositivi specifici e RECURSE per passare ricorsivamente attraverso directory e collegamenti simbolici.

24. Ripetizione

Se stai cercando un modello dato che è una ripetizione di un modello più semplice noto, usa le parentesi graffe per indicare il numero di ripetizioni

Questo stampa righe contenenti stringhe lunghe 10 o più cifre.

25. Stenografie di ripetizione

Alcuni caratteri speciali sono riservati a un tipo specifico di ripetizione del motivo. Puoi usarli al posto delle parentesi graffe, se si adattano alle tue esigenze.

? : il modello che precede il punto interrogativo deve corrispondere a zero o una volta.

* : il modello che precede la stella deve corrispondere a zero o più volte.

+ : il modello che precede il segno più deve corrispondere una o più volte.

25. Offset di byte

Se vuoi vedere l'offset in byte delle righe in cui si trova l'espressione corrispondente, puoi usare il flag -b per stampare anche gli offset. Per stampare l'offset solo della parte corrispondente di una linea, puoi usare il flag -b con il flag -o.

Offset significa semplicemente, dopo quanti byte dall'inizio del file inizia la stringa corrispondente.

26. egrep, fgrep e rgerp

Vedrai spesso l'invocazione di egrep, per usare la sintassi estesa delle espressioni regolari di cui abbiamo discusso in precedenza. Tuttavia, questa è una sintassi deprecata e si consiglia di evitare di utilizzarla. Usa invece grep -E. Allo stesso modo, usa grep -F, invece di fgrep e grep -r invece di rgrep.

27. grep -z

A volte l'input di grep non è costituito da righe che terminano con un carattere di nuova riga. Ad esempio, se stai elaborando un elenco di nomi di file, potrebbero provenire da fonti diverse. Il flag -z dice a grep di trattare il carattere NULL come fine di riga. Ciò consente di trattare il flusso in entrata come un normale file di testo.

28. grep -a [nomefile]

Il flag -a dice a grep di trattare il file fornito come se fosse testo normale. Il file potrebbe essere un binario, ma grep tratterà i contenuti all'interno, come se fossero testo.

29. grep -U [nomefile]

Il flag -U dice a grep di trattare i file forniti come se fossero file binari e non di testo. Per impostazione predefinita, grep indovina il tipo di file guardando i primi byte. L'uso di questo flag prevale sul lavoro di ipotesi.

Grep -m NUM

Con file di grandi dimensioni, il grepping per un'espressione può richiedere un'eternità. Tuttavia, se si desidera controllare solo i primi NUM numeri di corrispondenze, è possibile utilizzare il flag -m per eseguire questa operazione. È più veloce e anche l'output è spesso gestibile.

Conclusione

Gran parte del lavoro quotidiano di un amministratore di sistema consiste nel vagliare grandi porzioni di testo. Questi possono essere registri di sicurezza, registri dal tuo server web o di posta, attività dell'utente o anche testo di grandi dimensioni di pagine man. Grep ti offre quel tocco in più di flessibilità quando hai a che fare con questi casi d'uso.

Si spera che i pochi esempi e casi d'uso sopra riportati ti abbiano aiutato a comprendere meglio questo fossile vivente di un software.