BlogoFlip

En travaux

flipflip — Wed, 02 May 2012 19:44:00 +0200

Le site est en plein changement donc quelques trucs s'affichent de travers ou marchent mal... Patience.

PluXml, formulaire d'authentification

flipflip — Thu, 12 Apr 2012 16:41:00 +0200

Pour un projet j'ai eu besoin de permettre l'authentification des utilisateurs depuis la partie public de PluXml.
Pour l'installation je vous laisse regarder dans le fichier d'aide fourni avec le plugin.

Télécharger : http://www.blogoflip.fr/?static8/mes-plugins-pluxml

Connexion à un domaine depuis un pc hors domaine

flipflip — Tue, 03 Apr 2012 14:52:00 +0200

J'ai été confronté à un problème particulier avec mon contrôleur de domaine. Depuis la migration en Samba 3.5.4 les machines ne faisant pas partie du domaine mais dont les utilisateurs possèdent un compte domaine n'étaient plus reconnu automatiquement.

Dans le fenêtre de demande du nom d'utilisateur / mot de passe il fallait ajouter MonDomain\nom d'utilisateur. Pas très pratique surtout pour certaine application ou il est difficile de mettre en place une gestion de connexion.

Après pas mal de recherche j'ai découvert que c'est un comportement qui a changé depuis Samba 3.4 avec l'option

map untrusted to domain = no

Si vous la passez à yes vous retrouver le comportement d'avant. Plus d'informations : http://www.samba.org/samba/docs/man/manpages-3/smb.conf.5.html#MAPUNTRUSTEDTODOMAIN

OVH HuBic en ligne de commande

flipflip — Tue, 27 Mar 2012 13:44:00 +0200

Après l'article expliquant comment faire des backup sur le FTP offert par OVH je vais vous expliquer comment faire la même chose sur la nouvelle offre HubiC.

Je ne rentrerais pas dans le détail de ce qu'est HubiC, aller sur le site d'OVH pour en savoir plus. Après avoir créé et validé votre compte nous allons partir à la pêche aux informations. L'idée est de récuperer vos identifiants pour accéder à la couche CloudNAS d'OVH. J'ai trouvé deux scripts :

Le premier est en perl et le second en python. J'ai pas réussi à faire fonctionner celui en perl sans installer un tas de paquets donc je suis partie sur la version python.

Télécharger le script

git clone https://bitbucket.org/rangzen/hubicli.git
cd hubicli/
python hubiC.py

Votre nic-handle et votre mot de passe vous est demandé et en réponse vous obtenez :

URL      : https://cloudnas1.ovh.com/6z9affd86ee8486468b17be15938b82a/
Login    : xxxxxx
Password : xxxxxx

mount -t davfs  https://cloudnas1.ovh.com/6z9affd86ee8486468b17be15938b82a/ /mnt
umount /mnt

Pour tester aller

cd /media
mkdir hubic
mount -t davfs  https://cloudnas1.ovh.com/6z9affd86ee8486468b17be15938b82a/ /media/hubic

Renseigner le champs login et password avec les informations donnés par le script. Normalement votre répertoire devrait être monté

Vous avez plus qu'à lancer votre transfert de fichier. J'en ai profité pour faire évoluer mon script de sauvegarde.

La grosse différence entre la méthode ftp et webdav est le temps de transfert. En ftp j'avais de gros ralentissement et certaines commandes systèmes n'étaient pas prise en compte (chown par exemple ou encore conserver les users/groupes envoyé par rsync). En webdav plus de problème.

Sauvegarde sur le ftp d'OVH

flipflip — Sat, 24 Mar 2012 07:08:00 +0100

Avec ces offres serveurs OVH propose un espace de backup gratuitement de 100Go, en tout cas pour la gamme Kimsufi. Cet espace est accessible uniquement par ftp et depuis votre serveur. Le ftp c'est bien mais comment faire pour automatiser les sauvegarde avec la contraintes de ne transférer que ce qui a été modifier et gérer une durée de rétention ? Pas facile à faire en ftp. L'idée est d'utiliser curlftpfs ensuite votre espace ftp sera vue dans un point de montage comme tout autres disques

Sur Debian pour installer curlftpsf c'est

aptitude install curlftpfs

Petit test en console

mkdir /media/backup
curlftpfs login:password@serveur /media/backup

Le point de montage /media/backup correspond à votre espace ftp, vous pouvez en faire ce que vous voulez.

Montage automatique au lancement du serveur

vim /etc/fstab

Ajouter cette ligne en l'adaptant

curlftpfs#login:password@serveur	/media/backup	fuse	rw,user,allow_other,_netdev	0	0

Voila vous avez plus qu'à utiliser votre script de backup ou alors celui que je propose dans l'article Gestion des sauvegardes avec rsync

Mise à jour : Sauvegarder vos données sur HubiC d'OVH.

Taille des répertoires en ligne de commande

flipflip — Tue, 06 Mar 2012 15:46:00 +0100

Juste une petite astuce en passant. J'ai eu besoin de connaitre la taille des répertoires contenue dans une arborescence le tout en ligne de commandes :

cd /var
ls -d */ | xargs du -s | sort -n

Gestion des sauvegardes avec rsync

flipflip — Fri, 27 Jan 2012 12:26:00 +0100

Afin d'optimiser le temps et le volumes de mes sauvegardes j'ai réfléchis à différentes solutions. Jusqu'à présent j'utilisais rsync via un petit script maison et puis j'ai fais des recherches sur rdiff-backup pensant que celui-ci transférait uniquement les blocs de fichier modifié alors que rsync transférait tout la totalité du fichier modifié. Grosse erreur, tout deux transfert uniquement les blocs de fichiers modifier. Donc comment optimiser un petit peu tout ça ?

Grâce au journaux de linuxfr j'ai découvert l'option --link-dest de rsync. Mais avant d'aller plus loin un peu de structure.

Mise à jour :
- 15/04/2012 : possibité d'avoir plusieurs sources de sauvegardes.
- 02/04/2012 : mise à jour de la gestion des dates.
- 27/03/2012 : gestion de la sauvegarde sur ftp d'ovh ou HubiC.

L'idée de départ est d'avoir une gestion de version de backup sur x jours, c'est ce qu'on appel la rétention. Le problème dans ce cas va être le volume de données à gérer. Pour contourner ce problème Linux dispose des "liens en dur" (hard link). Pas forcement créé pour au début mais vachement pratique quand même.
Imaginons :

le répertoire /home/flipflip comme répertoire à sauvegarder
le répertoire /mnt/backup comme répertoire de stockage des sauvegardes

#!/bin/bash
# +--------------------------------
# | Définition des répertoires
# +--------------------------------
BASETARGET="/media/backup"
TARGET="${BASETARGET}/sauvegarde"

# Tableau des répertoires à sauvegarder
SOURCE[0]="/home/USERS/Images"
SOURCE[1]="/home/USERS/Modèles"

# +--------------------------------
# | mode de montage de target
# | valeur possible : ftp, dav
# +--------------------------------
MODE="dav"

# +--------------------------------
# | url du partage webdav 
# | voir : http://www.blogoflip.fr/?article132/ovh-hubic-en-ligne-de-commande
# +--------------------------------
URLDAV="https://cloudnas1.ovh.com/6z9affd86ee8486468b17be15938b82a/"

# +--------------------------------
# | Information méthode ftp
# | voir : http://www.blogoflip.fr/?article131/sauvegarde-sur-le-ftp-d-ovh
# +--------------------------------
USERFTP=
PASSFTP=
HOTEFTP=

RETENTION=5

# Les répertoires de sauvegardes ont pour structure YYYY-MM-DD
OLDDATE=`date +%Y-%m-%d --date '1 days ago'`
DAYDATE=`date +%Y-%m-%d`

remove_old() {
	# Gère la rétention des backups
	LS=`ls -d ${TARGET}/2* | sort | head --lines=-${RETENTION} | xargs rm -rf`
	if [ ${?} -ne 0 ]
	then
		echo "Une erreur c'est produite pendant la rotation des backup"
		exit 1
	fi
}

go_backup() {	
	# La partie intéressante est --link-dest
	# Ce paramêtre créé automatiquement des liens hard si le fichier est identique entre OLD et JOUR
	for BACKUP in "${SOURCE[@]}"
	do
		rsync -ah --progress --delete-after --stats --no-owner --no-group --safe-links --link-dest=${TARGET}/${OLDDATE} ${BACKUP} ${TARGET}/${DAYDATE}/
	done
}

mount_dav() {
	if [ ! -d $HOME/.davfs/secrets ]
	then
		mount -t davfs $URLDAV $BASETARGET
		if [ $? -ne 0 ]
		then
			echo "Erreur pendant le montage"
			exit 1
		fi
	else
		echo "Le fichier $HOME/.davfs/secret n'existe pas"
		echo "Créer le fichier secrets contenant :"
		echo "http://URLWEBDAV login password"
		exit 1
	fi
}

mount_ftp () {
	curlftpfs#$USERFTP:$PASSFTP@$HOTEFTP $BASETARGET
	if [ $? -ne 0 ]
	then
		echo "Une erreur c'est produite pendant le montage"
		exit 1
	fi
	
}

umount_backup () {
        umount $BASETARGET
        if [ $? -ne 0 ]
        then
                echo "Erreur pendant le demontage de $BASETARGET"
                exit 1
        fi
}

case $MODE in
	dav) mount_dav ;;
	ftp) mount_ftp ;;
	*) echo "Erreur de paramétrage du mode" ;;
esac

if [ -d ${TARGET}/${DAYDATE} ]
then
	echo "Le répertoire ${DAYDATE} existe déjà"
	go_backup
else
	go_backup
	remove_old
fi

umount_backup
exit 0

TARGET est le répertoire de stockage des sauvegardes
SOURCE est le répertoire à sauvegarde

JOUR, MOIS, ANNEE vont nous permettre de créer une structure de répertoires sous la forme YYYY-MM-DD. RETENTION correspond au nombre de jours de sauvegarde à conserver en plus du jour de lancement de la sauvegarde.

Le script est découpé en deux fonctions :

remove_old qui supprime les anciennes sauvegardes
go_backup qui lance la sauvegarde

Ensuite une condition toute bête qui test si le répertoire du jour de la sauvegarde existe dans ce cas il lance uniquement la sauvegarde sinon il lance la rotation des sauvegardes et la sauvegarde. Cette condition empêche la suppression des anciennes sauvegardes dans le cas ou vous lancez plusieurs fois par jour la sauvegarde.

Mise en situation

Je suis le 20 du mois, je lance pour la première fois la sauvegarde, mon répertoire SOURCE contient :

drwx------ 2 flipflip flipflip 4096  2 nov.   2010 dir1
-rwx------ 1 flipflip flipflip    0 20 janv. 12:10 fic
-rwx------ 1 flipflip flipflip    0  2 nov.   2010 fic1
-rwx------ 1 flipflip flipflip    0  2 nov.   2010 fic2

Et pour le moment TARGET est vide, je lance la sauvegarde :

ls: impossible d'accéder à /mnt/backup/2*: Aucun fichier ou dossier de ce type
--link-dest arg does not exist: /mnt/backup/2012-01-19
cd+++++++++ ./
>f+++++++++ fic
>f+++++++++ fic1
>f+++++++++ fic2
cd+++++++++ dir1/
>f+++++++++ dir1/ficdir1
>f+++++++++ dir1/ficdir2

Number of files: 7
Number of files transferred: 5
Total file size: 0 bytes
Total transferred file size: 0 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 132
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 340
Total bytes received: 113

sent 340 bytes  received 113 bytes  906.00 bytes/sec
total size is 0  speedup is 0.00

Les deux premiers messages sont normaux puisque c'est la premiere fois qu'on le lance, le répertoire TARGET contient maintenant :

drwx------ 3 flipflip flipflip 4096 20 janv. 12:10 2012-01-20

Et un ls -l dans 2012-01-20 donne :

drwx------ 2 flipflip flipflip 4096  2 nov.   2010 dir1
-rwx------ 1 flipflip flipflip    0 20 janv. 12:10 fic
-rwx------ 1 flipflip flipflip    0  2 nov.   2010 fic1
-rwx------ 1 flipflip flipflip    0  2 nov.   2010 fic2

Jusque la tout va bien. Le lendemain arrive donc nous somme le 21, je travaille sur le fichier fic, il est l'heure de partir je lance la sauvegarde :

cd..t...... ./
>f.st...... fic

Number of files: 7
Number of files transferred: 1
Total file size: 7 bytes
Total transferred file size: 7 bytes
Literal data: 7 bytes
Matched data: 0 bytes
File list size: 132
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 193
Total bytes received: 35

sent 193 bytes  received 35 bytes  456.00 bytes/sec
total size is 7  speedup is 0.03

Seul le fichier fic à été transféré, maintenant le répertoire TARGET contient :

drwx------ 3 flipflip flipflip 4096 20 janv. 12:10 2012-01-20
drwx------ 3 flipflip flipflip 4096 21 janv. 12:15 2012-01-21

ls -l 2012-01-20
drwx------ 2 flipflip flipflip 4096  2 nov.   2010 dir1
-rwx------ 1 flipflip flipflip    0 20 janv. 12:10 fic
-rwx------ 2 flipflip flipflip    0  2 nov.   2010 fic1
-rwx------ 2 flipflip flipflip    0  2 nov.   2010 fic2

ls -l 2012-01-21
drwx------ 2 flipflip flipflip 4096  2 nov.   2010 dir1
-rwx------ 1 flipflip flipflip    7 21 janv. 12:15 fic
-rwx------ 2 flipflip flipflip    0  2 nov.   2010 fic1
-rwx------ 2 flipflip flipflip    0  2 nov.   2010 fic2

dir1, fic1 et fic2 sont des hard link qui occupe bien moins de place que le fichier d'origine. Il y a uniquement fic qui est mis à jour. La semaine continue et nous sommes le 26 normalement le répertoire TARGET devrait ressembler à ça :

drwx------ 3 flipflip flipflip 4096 27 janv. 12:10 2012-01-20
drwx------ 3 flipflip flipflip 4096 27 janv. 12:15 2012-01-21
drwx------ 3 flipflip flipflip 4096 27 janv. 12:15 2012-01-22
drwx------ 3 flipflip flipflip 4096 27 janv. 12:15 2012-01-23
drwx------ 3 flipflip flipflip 4096 27 janv. 12:15 2012-01-24
drwx------ 3 flipflip flipflip 4096 27 janv. 12:15 2012-01-25

J'ai programmé une rétention de 5 jours, je lance la sauvegarde et magie :

drwx------ 3 flipflip flipflip 4096 27 janv. 12:15 2012-01-21
drwx------ 3 flipflip flipflip 4096 27 janv. 12:15 2012-01-22
drwx------ 3 flipflip flipflip 4096 27 janv. 12:15 2012-01-23
drwx------ 3 flipflip flipflip 4096 27 janv. 12:15 2012-01-24
drwx------ 3 flipflip flipflip 4096 27 janv. 12:15 2012-01-25
drwx------ 3 flipflip flipflip 4096 27 janv. 12:15 2012-01-26

La journée du 20 a disparue.

Je vous laisse bricoler les options de rsync

Parser un fichier ini en bash

flipflip — Wed, 21 Dec 2011 14:15:00 +0100

Pour automatiser un traitement j'ai été obligé de trouver un moyen pour parser x fichiers ini contenue dans un répertoire. Avant je devais les déplacer et ensuite récupérer fichier après fichier les valeurs de chaque variable en les attribuant à des variables bash

Voila le résultat :

#!/bin/bash
SPOOLDIR="/www/thecom/www/spool"
LOADDIR="/www/thecom/www/load"

echo "Installation d'agora projet"

function checkValues() {
        VARVALUE=`grep -w $1 $LOADDIR/$2 | cut -d"=" -f2`
        echo "$VARVALUE"
}

for FILE in $SPOOLDIR/*.ini
do
        FILENAME=`basename $FILE`
        mv $FILE $LOADDIR/$FILENAME

        # Lecture du fichier ini
        NOM=`checkValues "nom" $FILENAME`
        PRENOM=`checkValues "prenom" $FILENAME`
        ADRESSE=`checkValues "adresse" $FILENAME`

        echo $NOM
        echo $PRENOM
        echo $ADRESSE
done
exit 0

Par exemple pour

NOM=`checkValues "nom" $FILENAME`

Je veux affecter à la variable NOM la valeur du paramètre ini nom contenue dans $FILENAME.

Tout bête mais bien plus pratique avec l'utilisation d'une fonction, il y a peut être plus simple mais en 5mn c'est tout ce que j'ai trouvé.