Netapsys Blog

Encodage et migration de la base de données de SPIP en UTF-8

Marc-Olivier Croix — Tue, 17 May 2011 17:59:00 +0200

Aujourd'hui, lorsque vous installez un SPIP 2.x, vous avez une belle base de données avec un interclassement "utf8_general_ci" et des données ayant un jeu de caractères en UTF-8.

Avant SPIP 2.x, la base de données se retrouvait avec un interclassement "latin1_swedish_ci" et un jeu de caractères en ISO-8859-1. SPIP offrait la possibilité de convertir les données avec un jeu de caractères en UTF-8 et dès SPIP 1.9, cette conversion était imposée.

Ainsi, nous pouvions avoir un SPIP avec une base de données en UTF-8... Oui, mais faussement en UTF-8. La base et les tables avaient toujours un interclassement "latin1_swedish_ci" et les données avaient reçu un coup de utf8_encode() par SPIP. L'accentuation étaient par conséquent transformée, de telle manière que le "é" était devenu "Ã©" et SPIP passait un coup de utf8_decode() pour que l'accentuation s'affiche correctement, en ayant vérifié au préalable la valeur du "charset" de la table "spip_meta".
Cette conversion n'est pas ce que l'on peut appeler de propre. Elle pouvait provoquer quelques problèmes avec le moteur de recherche où la recherche ne permettait pas de trouver des mots accentués.

Pour avoir une base propre, il faut que les données aient un jeu de caractères en UTF-8, et que la base, ainsi que les tables aient un interclassement "utf8_general_ci". Pour ce faire, il suffit d’exécuter les commandes suivantes :

mysqldump -u{identifiantBase} -p{motdepasseBase} --quote-names --set-charset --default-character-set=latin1 {nomBase} > {nomFichier1}.sql
cat {nomFichier1}.sql |sed -e 's/latin1/utf8/g' > {nomFichier2}.sql
mysql -u{identifiantBase} -p{motdepasseBase} {nomBase} < {nomFichier2}.sql

Une fois que c'est fait, vous n'avez plus rien à faire si votre SPIP est antérieur à un 2.x. Par contre, si vous avez un SPIP 2.x qui est issu d'un SPIP 1.9.x, il vous faut rajouter "mysql_query("SET NAMES 'utf8'");" dans le fichier "connect.php" dans le répertoire "config" pour que l'accentuation s'affiche correctement sur le site.

En fait, lors de la migration d'un SPIP vers un SPIP 2.x, SPIP ne migre pas totalement la table "spip_meta". Il manque des valeurs et c'est pour cette raison qu'il faut rajouter "mysql_query("SET NAMES 'utf8'");".
Si vous voulez vraiment avoir une base SPIP correcte, soit vous prenez la table "spip_meta" d'un SPIP 2.x, ce que je conseille, soit vous rajoutez 3 enregistrements dans cette table :

"charset_sql_base" avec la valeur "utf8"
"charset_collation_sql_base" avec la valeur "utf8_general_ci"
"charset_sql_connexion" avec la valeur "utf8"

Et vous n'aurez pas besoin de "mysql_query("SET NAMES 'utf8'");".

Après cette migration, vous obtenez une belle base de données à la SPIP 2.x.

NB : Bien-entendu, les 3 lignes de code peuvent être utilisées pour le même besoin sur une base de données Mysql autre que SPIP.

Lorsque SPIP joue à cache-cache

Marc-Olivier Croix — Fri, 10 Dec 2010 14:59:00 +0100

Comme vous le savez, SPIP intègre un système de cache. Ce système permet de stocker individuellement chaque page calculée après le passage d'un visiteur. Tous les fichiers mis en cache se retrouvent dans le répertoire « cache » dans « tmp ».
Ce cache est à vider à chaque fois que l’on modifie un squelette ou un plugin pour faire apparaître les modifications. Il faut aussi le faire avant la migration d’un site SPIP sur un autre serveur, pour ne pas avoir un affichage incorrect.

Lors de la migration d’un site SPIP sur un autre serveur, trois étapes sont effectuées. La première consiste à installer la base de données et les fichiers. A la seconde étape, il faut configurer la liaison entre le site et la base de données avec le fichier « connect.php » dans le répertoire « config ». Et en troisième étape, il faut modifier l’adresse du site dans la configuration du site.

C’est à ce moment précis que SPIP joue à cache-cache avec vous ! Une fois l’adresse changée sur la page de configuration, vous vous apercevez que l’adresse n’a pas changée...

Pour essayer de résoudre ce problème, vous allez :

Changer de nouveau l’adresse, sans succès ;
Vérifier dans la base de données l’adresse du site inscrite dans la table « spip_meta », pour vous rendre compte que l’adresse est celle que vous avez saisie ;
Vider le cache, sans succès.

Mais rien n’y fait, vous ne comprenez toujours pas ce qu'il vous arrive. Vous allez même vérifier que le fichier config.php est correct. En fait, dans le répertoire « tmp » se trouve un fichier qui se nomme « meta_cache.php », contenant l’adresse du site. SPIP récupère cette adresse, au lieu de prendre celle dans la base de données…

Ne vous laissez pas prendre par SPIP, pensez au répertoire « tmp » lors d’une migration, à moins que vous souhaitiez retourner en enfance pour jouer à cache-cache…

[Event] Paintball Netapsys 2010 : une journée sportive

Marc-Olivier Croix — Tue, 01 Jun 2010 10:46:00 +0200

Pour la deuxième année consécutive, j’ai organisé au sein de Netapsys Paris un paintball entre collaborateurs ce samedi, subventionné entièrement par Netapsys. Comme l’année dernière, ce fut un réel succès : l’année dernière nous étions 14 et cette année 28 ! Eh oui, vous avez bien lu, nous étions le double. Et c’est bien ce qui fait toute la différence entre les deux, l’année dernière, nous étions mélangé avec un autre groupe tout le long de la journée et cette année, étant plus nombreux, nous avons eu le plaisir de jouer qu’entre nous, de 10h15 à 19h30.

Pour résumer cette journée, nous nous sommes tirés dessus en pleine forêt tout en se planquant, courant, sautant, rampant, … et criant de joie ou de douleur … En voici un petit aperçu : l’heure du rendez-vous avait été fixée à 10h15. Une fois que tout le monde soit arrivé (presque, on en a perdu 1 … il avait fêté la victoire la veille …), nous avons été briefé sur la sécurité et les règles de jeux par notre accompagnateur.

Après cette étape obligatoire, nous nous sommes tous équipés de combinaison, plastron pour les filles, masque, marqueur, billes, et gaz. Puis nous sommes partis sur le premier terrain, puis sur le suivant, ainsi de suite jusqu’à la fin de la journée. A chaque terrain, nous étions en deux équipes luttant les uns contre les autres, la première partie de jeu suivit de la revanche. Nous avons fait 10 parties sur 6 terrains avec pour scénarios : l’élimination de l’équipe adverse, la récupération de drapeau chez l’adversaire tout en gardant le sien, la récupération d’un drapeau au milieu du terrain pour aller le mettre dans son QG, la prise d’un lieu, le chacun pour soit.

Chaque scénario apportait son lot d’adrénaline, mais celui qui fut le plus dur fut de loin celui du « chacun pour soi ». Au lieu de rentrer sur le terrain tous en même temps, nous sommes rentrés au compte-goutte, se planquant chacun de notre côté, puis au go, personne n’était en sécurité, tout le monde était contre tout le monde … avec plus ou moins des alliances temporaires … un vrai « battle royale » ! Ce qui était assez marrant, c’est d’arriver à trouver une planque soi-disant fiable et de voir débarquer plusieurs personnes à la recherche de la leur … ce qui inévitablement amène à des alliances temporaire sans trop avoir le choix.

Un autre scénario qui fut aussi intéressant, fut celui de « la prise d’un lieu ». Ce scénario a été fait sur le terrain que l’organisateur appelait à juste titre « la fosse de l’enfer » … Pour vous la faire au plus simple, une équipe devait défendre une fosse avec pour seules défenses, des petites barricades disposées autour de la fosse et bien évidemment l’autre équipe avait pour objectif de poser le pied dans la fosse. Avez-vous vu « Fort Alamo » ? Ça y ressemblait …

Pour conclure, cette journée a été une réussite, dans la joie, dans les bleus, … et dans les courbatures les jours suivants, mais avec pleins de souvenirs dans la tête pour un moment que l’on a tous partagé ensemble.

SPIP 2.1 : la nouvelle version

Marc-Olivier Croix — Mon, 12 Apr 2010 13:15:00 +0200

Elle est là, après plus d'un an, voici la nouvelle version sortie vendredi dernier : la SPIP 2.1.

Cette version se voit doter de plusieurs améliorations intéressantes, notamment par l’apparition d’un répertoire « extensions » permettant d'activer dès l'installation de SPIP des plugins et non désactivables, ce qui ouvre la voie à des distributions spécifiques de SPIP. Au niveau du développement, elle dispose d’un jeu plus étendu de tests unitaires, ce qui permet de coder de façon plus sure.

Voici les principales améliorations citées sur le site officiel

plus rapide
- meilleure gestion des accès disque
- cache sur les chemins calculés
- améliorations et extension du serveur SQL virtuel
plus sécurisée
- sha256 sur les mots de passe et actions
- vérification du fonctionnement des .htaccess
- détection automatique des mises à jour de SPIP
plus belle
- intégration (comme extension) du plugin « porte-plume » qui améliore grandement l’édition des champs texte et offre une prévisualisation en cours d’édition
- interface graphique par défaut plus légère et élégante
- possibilité de définir des thèmes graphiques (comme par exemple avec le plugin « themes_interface_privee »)
- meilleure gestion de la taille des champs texte (agrandissement conditionnel)
- gestion (configurable et désactivable) de la transparence PNG24 sous MSIE6 sur le site public
- retour des liens « modifier cet article » et « proposer cet article » lors de l’édition des articles
- nouvelle interface de gestion des plugins
- remodelage des procédures de sauvegarde/restauration
- possibilité de créer des URL accentuées en définissant _TRANSLITTERER_URL à « false » (attention à la configuration du serveur)
plus à jour
- compatibilité PHP 5.3
- intégration de la bibliothèque jQuery 1.4.2
- intégration de la bibliothèque pclzip 2.8.2
plus svelte
- premières mises en extensions de fonctionnalités du core : compresseur (js, css, html), porte-plume (barre d’outils), filtres images et couleurs (traitement d’image), safehtml (sécurisation des forums et pétitions), support pour vieux navigateurs
- gestion d’un nouveau répertoire (extensions/) pour y placer ces plugins actifs dès l’installation et non désactivables
plus extensible
- apparition de nouveaux points d’entrée pour les plugins
- remodelage de la gestion des plugins (et répertoire spécifique pour leur gestion : ecrire/plugins)
- les plugins peuvent être installés dans un ou des répertoire(s) supplémentaires si définis par la constante _DIR_PLUGINS_SUPP (facilite leur usage en cas de mutualisation)
- possibilité d’étendre l’aide en ligne pour y intégrer des sections personnalisées et gestion automatique de ses traductions
plus structurée
- mise en œuvre d’une API d’authentification
- amélioration de l’interface LDAP
- refonte de l’API de notification
- homogénéisation des balises #LOGO_ : les paramètres sont désormais passés entre accolades et disparition des « doubles pipes » (#LOGO_xxx||filtre (écriture obsolète mais toutefois encore fonctionnelle)
- apparition de nouvelles balises et fonctions : #BOUTON_ACTION, |balise_img, |couleur_luminance (similaire à |couleur_saturation, mais agissant sur l’intensité lumineuse de la couleur)
- possibilité pour les balises dynamiques (de type #FORMULAIRE_) de manipuler à l’exécution des valeurs qui ne sont connues que durant la compilation
plus facile à débugger
- amélioration du débuggueur désormais capable d’indiquer la ligne fautive dans un squelette
- le débuggueur informe désormais sur l’endroit précis de l’éventuelle mauvaise utilisation des balises dynamiques
- API du débuggueur plus fonctionnelle (possibilités d’appel et de personnalisations accrues)
- amélioration du mode inclure (?var_mode=inclure) affichant les différentes inclusions (intégration avec le plugin Skeleditor permettant de surcharger et d’éditer facilement en ligne des squelettes)
- possibilité de surcharger la fonction spip_log()
plus geek
- le compilateur offre une meilleure séparation entre le phraseur et l’arbre d’abstraction, permettant de créer de nouvelles syntaxes (pour les courageux)
- réapparition d’un décompilateur complet et paramétrable offrant la possibilité de créer et d’expérimenter de nouvelles syntaxes

L'installation en images :

Installation de SPIP 2.1 - étape 0 : Début de l'installation

Installation de SPIP 2.1 - étape 1 : Connexion au SGBD

Installation de SPIP 2.1 - étape 2 : Sélection de la base

Installation de SPIP 2.1 - étape 3 : Création du compte administrateur

Installation de SPIP 2.1 - étape 4 : Confirmation de l'installation avec l'affichage des extensions installées

Interface privée en images :

Interface privée de SPIP 2.1 : Page principale

Interface privée de SPIP 2.1 : Page des plugins avec l'affichage des extensions installées

Interface privée de SPIP 2.1 : Page des plugins en détail

Interface privée de SPIP 2.1 : Page de configuration avancée avec les options supplementaires

Plugin SPIP - Versionning : notre premier plugin offert à la communauté.

Marc-Olivier Croix — Mon, 16 Mar 2009 17:12:00 +0100

Comme vous le savez Spip Agora est mort. Dans le contexte d’une migration de Spip Agora vers SPIP 1.9.2 pour le STIF (Syndicat des Transport d'Ile-de-France), nous avons dû reproduire une fonctionnalité présente dans Spip Agora qui n’existait ni dans Spip par défaut, ni en tant que plugin.

Cette fonctionnalité a été réalisée dans un plugin, ayant pour nom « Versionning ». Ce plugin permet d’offrir une fonctionnalité de versionning des articles, ce qui permet de pouvoir créer une nouvelle version d'un article sans modifier celle qui est en ligne. Les mots clés, documents joints (image ou doc), auteurs sont reproduits à l’identique, lors de la création de la nouvelle version. Ainsi, les deux versions peuvent alors évoluer chacune de leur côté, jusqu’au moment où l'auteur estime opportun de déployer la nouvelle version de l'article à la place de la première version. D’un simple clic sur un bouton approprié, la première version passe en statut "archivé", il y a un échange d’identifiant entre les articles des deux versions, et la nouvelle version de l’article est publiée. Pour ce qui est des anciennes versions, elles sont liées à la nouvelle version.

Nous avons décidé avec l’accord préalable du STIF d’offrir à la communauté SPIP cette réalisation afin de contribuer à notre tour au développement de SPIP et à son succès. Vous pouvez obtenir cette réalisation sur le site « SPIP-Contrib » qui a pour vocation de permettre la mutualisation des ajouts développés par les utilisateurs autour de SPIP. Celle-ci se trouve ici.

Vous l’aurez compris dans le titre du billet, ce n’est pas fini ! Nous n’allons pas nous arrêter en si bon chemin … d’autres plugins seront mis à la disposition de la communauté d’ici peu.