Monitorare la dimensione di un filesystem

In Linux per conoscere quanto spazio resta ai filesystems si usa il comando df. Un esempio di output del comando è:

root@mazinga:~# df -lh
Filesystem                 Size  Used Avail Use% Mounted on
rootfs                      20G  3.3G   16G  18% /
udev                        10M     0   10M   0% /dev
tmpfs                       50M  144K   50M   1% /run
/dev/disk/by-label/DOROOT   20G  3.3G   16G  18% /
tmpfs                      5.0M     0  5.0M   0% /run/lock
tmpfs                      100M     0  100M   0% /run/shm
root@mazinga:~#

Se si volesse quindi monitorare lo stato di un particolare mount point si può usare uno script come il seguente:

#!/bin/bash
 
# lo script confronta la percenuale di spazio utilizzata nel filesystem / con $SOGLIA
# se la percentuale supera $SOGLIA invia una mail a $RECIPIENTS
 
# imposto una soglia del 90%
SOGLIA=90
 
# imposto i destinatari della mail
RECIPIENTS="pippo@example.com"
 
now=`date +%y%m%d-%H%M%S`
 
perc_root=`df -Ph -x tmpfs -x rootfs | grep "/$" |  tr -s ' ' '\t' | cut -f5 -s | cut -d '%' -f1`
 
found=false
msg="Analizzatore dell'uso dello spazio su disco (SOGLIA impostata a "${SOGLIA}"):\n\n"
 
if [[ "${perc_root}" -ge "${SOGLIA}" ]] ; then
    found=true
    msg+="Il file system '/' sta utilizzando il "${perc_var}"% del suo spazio disponibile\n"
fi
 
if "${found}" ; then
    echo -e ${msg} | mail -s "Controllo su spazio disco del ${now}" $RECIPIENTS
fi

La parte interessante è il comando che ricava la percentuale da df:

  • la prima parte (df -Ph -x tmpfs -x rootfs) invoca il comando df usando il flag -x che permette di escludere un filesystem e il flag -P che imposta l'output in formato POSIX (i dati dei filesystem sono tutti nella stessa riga);
  • la seconda parte ( grep "/$" ) serve a puntare il filesystem desiderato;
  • la terza parte serve a puntare la colonna desiderata e ripulisce il campo dal carattere % in modo da poterlo usare in un test.

Lo script se messo in cron inizierà ad inviarvi una mail non appena lo spazio utilizzato nel filesystem root arriverà a superare il 90%.

Blog: 

Programmazione: 

Postgres da record set a csv

Oggi mi è capitato di dover ottenere un csv a partire da un record set di chiavi. Supponiamo quindi di avere un'entita che ha una chiave numerica e di voler ottenere un csv con tutte le chiavi.

L'entità è così formata:

test=> \d utente
           Table "public.utente"
 Column |         Type          | Modifiers 
--------+-----------------------+-----------
 id     | numeric(9,0)          | not null
 name   | character varying(50) | 
Indexes:
    "utente_id_key" UNIQUE CONSTRAINT, btree (id)
 
test=> 
test=> select * from utente;
 id |   name   
----+----------
  1 | ciccio
  2 | paperino
  3 | pluto
  4 | minnie
  5 | paperina
(5 rows)
 
test=>

Per avere il csv di tutte le chiavi useremo la seguente query che sfrutta la funzione string_agg:

test=> select string_agg(id::text, ',') as csv from (select id from utente) as foo;
    csv    
-----------
 1,2,3,4,5
(1 row)
 
test=>

Questa e altre funzioni le trovate documentate nel sito di postgres.

Blog: 

Programmazione: 

Backup dei dati su nastro in Linux

Considerata la vasta offerta di spazio disco in cloud, parlare di backup casalingo su nastro potrebbe sembrare anacronistico. Bisogna però considerare che non tutti hanno a disposizione una connessione di rete veloce e con bassa latenza, quindi il trasefrimento di grosse moli di dati risulta ancora oggi un collo di bottiglia non indifferente.

Di seguito descrivo come ho realizzato un piccolo sistema di backup casalingo su nastro usando principalmente devices usati e a buon mercato.

Ho inizialmente rispolverato un vecchio pc dei tempi dell'università nel quale ho inserito una scheda SCSI. Alla scheda SCSI ho collegato un HP Dat-40 trovato usato su ebay, per il quale si trovano ancora cassette nuove sempre su ebay.

Ho quindi installato la debian sul vecchio pc e ho configurato il kernel in modo che il driver st imposti il buffer a 64kb:

 root@goldrake:~# dmesg | grep bufsize
 [   20.258059] st: Version 20101219, fixed bufsize 32768, s/g segs 256
 root@goldrake:~#
 
 # vim /etc/default/grub
     GRUB_CMDLINE_LINUX_DEFAULT="quiet st.buffer_kbs=64"
 # update-grub
 # reboot
 # dmesg | grep bufsize
 [   20.233873] st: Version 20101219, fixed bufsize 65536, s/g segs 256

Questa modifica rende più veloce la lettura/scrittura sul dat. Infatti supponiamo di dover scrivere un file da 2GB, i tempi nel caso di 32K sono:

        $ mkdir temp && cd temp
        $ dd if=/dev/zero of=dati bs=1024k count=2000
        $ find -L . -print0 | cpio --null -ovH crc -C 32768 -O root@goldrake:/dev/st0 --rsh-command=/usr/bin/ssh
 
        real    8m35.567s
        user    0m4.248s
        sys     0m10.189s
 
        $ cd && mkdir temp2 && cd temp2
        $ cpio -ivmud -H crc -C 32768 -I root@goldrake:/dev/st0 --rsh-command=/usr/bin/ssh
 
        real    8m48.068s
        user    0m9.837s
        sys     0m24.074s
 
        $ diff dati ../temp/dati
        $

mentre nel caso dei 64k:

        gtrev@gundam:~/temp$ find -L . -print0 | cpio --null -ovH crc -C 65536 -O root@goldrake:/dev/st0 --rsh-command=/usr/bin/ssh                                    
 
        gtrev@gundam:~/temp$ cd ..
        gtrev@gundam:~$ mkdir temp3
        gtrev@gundam:~$ cd temp3/
        gtrev@gundam:~/temp3$ time cpio -ivmud -H crc -C 65536 -I root@goldrake:/dev/st0 --rsh-command=/usr/bin/ssh
 
        real    7m40.068s
        user    0m9.717s
        sys     0m23.261s
        gtrev@gundam:~/temp3$ diff dati ../temp/dati
        gtrev@gundam:~/temp3$

Poiché la dimensione di una cassetta DAT compatibile con l'HP DAT 40 è di 20GB non compressi, ho definito un filesystem di esattamente 20GB nel server casalingo: questo è il filesystem che viene regolarmente salvato su nastro. Poiché il server è configurato con lvm, devo eseguire le seguenti operazioni per creare il nuovo filesystem:

  • Verifico di avere spazio su disco:
       root@gundam:/# vgdisplay gundam | grep "Free  PE"
         Free  PE / Size       105379 / 411.64 GiB
       root@gundam:/#
  • Creo un nuovo logical volume di nome backup con dimensione 20G:
       root@gundam:/# lvcreate -L20G -nbackup gundam
  • Creo il filesystem ext4 sul LV appena creato:
       root@gundam:/# mkfs.ext4 /dev/gundam/backup
  • Creo la directory dove voglio montare il nuovo filesystem:
       root@gundam:/# mkdir /backup
  • Aggiorno /etc/fstab con la riga:
       /dev/mapper/gundam-backup /backup        ext4    defaults        0       2
  • Monto il filesystem:
       root@gundam:/# mount -a  

A questo punto il backup consiste nell'inserire la cassetta nel dat ed eseguire il seguente comando:

    $ find -L . -print0 | cpio --null -ovH crc -C 65536 -O root@goldrake:/dev/st0 --rsh-command=/usr/bin/ssh

mentre se dobbiamo estrarre i dati dalla cassetta:

    $ cpio -ivmud -H crc -C 65536 -I root@goldrake:/dev/st0 --rsh-command=/usr/bin/ssh

Blog: 

Programmazione: 

Pagine

Subscribe to gtrev RSS