My 2 cents

Awstats sur 1and1

2013-06-09T00:00:00+02:00

Introduction

Cette article va présenter la mise en place d’Awstats sur mon serveur 1and1.

Awstats en deux mots

A quoi ça sert ?

Awstats est un outil d’analyse de logs de connexion afin de produire des données statistiques. Les principaux serveurs Web (Apache, IIS, …) sont pris en compte et les capacités de configuraiton des logs permettent à l’outil de pouvoir analyser pratiquement tous les formats de logs.
Awstats comporte plusieurs fonctionnalités qui en synthèse sont (cf. Awstats Features) :

Nombre de visites / visiteurs uniques
Longueur de la visite et dernière visite
Authentification de l’utilisateur
Représentation par jour de la semaine et par heure (pages, hits, taille pour chaque heure et jour de la semaine)
Domaines/pays des hôtes des visiteurs (pages, hits, taille, 269 domaines/pays détectés, détéction par IP géographique),
Liste des hôtes
Top vues, pages d’entrée et de sortie
Type de fichier
Statistiques sur la compression Web (mod_gzip ou mod_deflate)
Système d’exploitation utilisé (pages, hits, taille par OS, 35 OS détectés),
Navigateur utilisé (pages, hits, taille, par version
Visites des robots (319 robots détectés),
Attaques de vers (5 famille de ver),
Moteur de recherche, phrase et mot clé utilisés pour trouver le site (google, yahoo, altavista, etc…)
erreurs HTTP * …

Exemple de nombre de visites sur les derniers mois :
Exemple de nombre de visites par pays :

Exemple de nombre de visite des robots :
Le projet est toujours maintenu et la dernière version est sortie en mars 2013.

Comment ça marche ?

Awstats est un programme CGI composé de scripts Perl. Les scripts permettent d’anlyser les fichiers de logs et de produire les IHM pour les graphiques.
Les pré-requis sont donc de disposer d’un serveur (Linux ou Windows) avec Perl activé et d’un serveur Web.

Pourquoi Awstats

Beaucoup des services rendus par Awstats sont disponibles dans Google Analytics ou dans le panneau d’administration de mon serveur sur 1and1 (cf. 1and1 Web Statistics). Alors pourquoi ce choix ?
Awstats est un outil Open Source qui permet d’avoir la maîtrise de ce qu’on fait et donc de ce qu’on veut. Il offre comme principal avantage de ne pas s’appuyer sur un outil tiers dont on n’a pas la maîtrise.
Dans le contexte d’une entreprise, en particulier pour ses applicaitons intranet, il n’est souvent pas possible d’utiliser des outils comme Google Analytics. Il est donc judidiceux d’avoir sous la main d’autres outils pour les compenser. J’ai déjà eu l’occasion d’installer et d’utiliser Awstats pour avoir une vision de l’usage d’une application par ses utilisateurs. Ce type d’outil permet d’avoir rapidement une vision des fonctionnalités de l’application qui sont les plus utilisées et donc les plus sensibles.
Awstats se focalise uniquement sur l’anlyse statistiques des données par opposition à l’analyse analytique. Dans le contexte de l’Open Source il existe des outils pour couvrir ce besoin comme par exemple Piwik.

Pré-requis 1and1

Les logs sur 1and1

Sur un serveur Linux mutualisé 1and1, les logs se trouve dans le répertoire ~/logs.
Ces logs ont une durée de vie d’envrion 3 mois. Si on veut pouvoir faire des analyses sur une durée plus longue, il est impératif de transférer les fichiers dans un autre répertoire via un cron par exemple.
Pour la semaine courante qui va du lundi au dimanche, un fichier est produit par jour puis compressé au format gz. Au bout de la troisième semaine, les fichiers sont rassemblés en un unique fichier avec l’identifiant de la semaine :

-rw-r--r-- 1 root      root      5606 Apr 14 22:40 access.log.15.gz
-rw-r--r-- 1 root      root      4651 Apr 21 23:13 access.log.16.gz
-rw-r--r-- 1 root      root      6581 Apr 28 22:42 access.log.17.gz
-rw-r--r-- 1 root      root      6163 May  5 22:41 access.log.18.gz
-rw-r--r-- 1 root      root     11812 May 12 23:04 access.log.19.gz
-rw-r--r-- 1 root      root      5748 May 19 23:09 access.log.20.gz
-rw-r--r-- 1 root      root     15358 May 26 23:49 access.log.21.gz
-rw-r--r-- 1 root      root      9302 May 27 22:57 access.log.22.1.gz
-rw-r--r-- 1 root      root      1489 May 28 22:46 access.log.22.2.gz
-rw-r--r-- 1 root      root      2193 May 29 22:19 access.log.22.3.gz
-rw-r--r-- 1 root      root      2399 May 30 21:50 access.log.22.4.gz
-rw-r--r-- 1 root      root      1845 May 31 23:59 access.log.22.5.gz
-rw-r--r-- 1 root      root      1400 Jun  1 23:17 access.log.22.6.gz
-rw-r--r-- 1 root      root      3015 Jun  2 23:56 access.log.22.7.gz
-rw-r--r-- 1 root      root      5043 Jun  3 23:57 access.log.23.1.gz
-rw-r--r-- 1 root      root      3264 Jun  4 23:30 access.log.23.2.gz
-rw-r--r-- 1 root      root      2784 Jun  5 23:34 access.log.23.3.gz
-rw-r--r-- 1 root      root      2641 Jun  6 23:20 access.log.23.4.gz
-rw-r--r-- 1 root      root      1702 Jun  7 20:47 access.log.23.5.gz
-rw-r--r-- 1 root      root      1938 Jun  8 21:12 access.log.23.6.gz
-rw-r--r-- 1 root      root     11056 Jun  9 18:32 access.log.23.7

Les logs répondent au format suivant (cf. format de logs 1and1):

LogFormat "%h %l %u %t \"%r\" %s %b %v \"%{Referer}i\" \"%{User-agent}i\" \"%{X-Forwarded-For}i\""

Sous-domaine awstats

Il est préférable de créer un nouveau sous-domaine pour les awstats : par exemple awstats.monDomaine.fr.
Dans la console d’administration de 1and1, créez un nouveau sous-domaine pour votre site et modifier la destination pour pointer par exemple vers le répertoire ~/www/awstats/wwwroot.

Installation et Configuration

La documentation présentée en français ici s’inspire fortement de ce tutoriel en anglais.

Dernière version d’Awstats

Récupérer la dernière version d’Awstats sur download Awstats et décompressez-la en local.
Transférer le contenu via FTP dans le répertoire ~/www/awstats/.

Configuration d’Awstats

Connectez-vous via SSH à votre serveur 1and1 et copier le fichier wwwroot/cgi-bin/awstats.model.conf vers wwwroot/cgi-bin/awstats.monDomaine.fr.conf.

LogFile

Editer et remplacer le paramètre LogFile par :

LogFile="gunzip -c $(ls -t ~/logs/access*.gz | head -1) |"

On va prendre le dernier fichier de log zippé dans le répertoire de nos logs Apache.

LogFormat

Modifier le paramètre LogFormat :

LogFormat=%host %other %logname %time1 %methodurl %code %bytesd %virtualname %refererquot %uaquot %otherquot

SiteDomain

Mofidier le paramètre SiteDomain avec votre nom de domaine ou de sous-domaine :

SiteDomain="monDomaine.fr"

HostAliases

Le paramètre HostAliases peut contenir d’autres domaines ou sous-domaines par lesquels votre site est accessible, par exemple :

HostAliases="www.mondomaine.fr site.mondomaine.fr www.site.mondomaine.fr"

DirCgi

Le paramètre DirCGI doit être modifié avec le sous-domaine que nous avons créé pour Awstats :

DirCgi="http://awstats.monDomaine.fr/cgi-bin"

DirData

Le paramètre DirData, répertoire de destination des analyses statistiques doit être modifié :

DirData="../data"

Configuration du cron

Pour q’Awstats puisse analyser chaque jour un nouveau fichier de log, il faut configurer la bonne commande dans le cron. Si on veut lancer l’analyse d’un nouveau fichier tous les jours à 2h10 du matin, on doit ajouter la ligne suivante à notre cron :

10 2 * * * perl ~/www/awstats/wwwroot/cgi-bin/awstats.pl -config=monDomaine.fr -update

Sécuration du répertoire Awstats

La façon la plus rapide pour sécuriser l’accès à notre IHM Awstats est de copier le fichier .htaccess du répertoire ~/logs dans ~/www/awstats/ et de le sécuriser avec la commande :

chmod 404 ~/www/awstats/.htaccess

Connection

La connexion à l’IHM d’Awstats se fait ensuite par l’URL : http://awstats.monDomaine.fr/cgi-bin/awstats.pl&config=monDomaine.fr.

Divers

Rattrapage de journées

Il arrive qu’on ait besoin de rattraper une journée. Pour ce faire la solution simple est d’utiliser le script utilitaire logresolvemerge.pl d’Awstats qu’on trouve dans le répertoire tools de la distribution. Les commandes sont :

perl awstats/tools/logresolvemerge.pl ~/logs/access.log.*.gz > temp.log  
perl awstats/cgi-bin/awstats.pl -config=monDomaine.fr -LogFile=./temp.log -update  
rm temp.log

Conclusion

Il est assez simple d’installer Awstats sur son serveur 1and1 tout comme sur n’importe quel autre serveur.
L’outil permet ensuite d’avoir une vision suffisante des connexions à son site : combien, quand, qui, quel navigateur ..

Ressources

Trucs & Astuces pour Maven sous Windows

2013-05-19T00:00:00+02:00

Introduction

Cet article liste un ensemble de commandes et astuces pour Maven. Comme je travaille la plupart du temps sous Windows, certaines astuces seront liées à cet environnement. Cet article est également un moyen pour moi de garder une liste des commandes que je cherche régulièrement.

Trucs & Astuces

Où se trouve le repository local Maven sous Windows ?

Le repository local Maven se trouve à la racine de son répertoire de profil dans le répertoire .m2

c:\Profiles\NOM_PROFIL.m2\repository

Comment trouver la déclaration d’une dépendance pour une bibliothèque donnée ?

Prenons l’exemple de la bibliothèque Spring que nous voulons utiliser sur notre projet. Pour trouver la déclaration du POM on peut se rendre sur le site du repository central Maven et taper le nom de notre bibliothèque dans le champ de recherche :

On aura donc les résultats suivants pour Spring :

Spring Context
Spring Core
Spring Beans
Spring TestContext Framework - …

Si c’est Spring Core qui nous intéresse nous arriverons sur une page avec la liste des version disponibles :

Un simple clic sur une des versions fournira la bonne déclaration de dépendance à ajouter à son POM :

Comment ajouter un JAR qui n’est pas dans le repository central de Maven ?

Exemple avec les drivers JDBC Oracle, le POM dans le repository Maven est le suivant :

  <dependency>
  	<groupId>com.oracle</groupId>
  	<artifactId>ojdbc14</artifactId>
 	<version>10.2.0.4.0</version>
  </dependency>

Si on ajoute cette dépendance dans un POM, on aura l’erreur suivante sous Eclipse :

Missing artifact com.oracle:ojdbc14:jar:10.2.0.4.0 pom.xml /gri-persistence line 45 Maven Dependency Problem

Si on va jeter un coup d’oeil dans le repository maven en local, en ouvrant le POM de notre artefact, on trouve le bloc suivant :

    <name>Oracle JDBC Driver</name>
    <description>Oracle JDBC driver classes for use with JDK1.4</description>
    <url>http://www.oracle.com/technology/software/tech/java/sqlj_jdbc/index.html</url>

Ce bloc est suivi d’un bloc licence :

	<licenses>
		<license>
			<name>Oracle Technology Network Development and Distribution License Terms</name>
			<url>http://www.oracle.com/technology/software/htdocs/distlic.html</url>
		</license>
	</licenses>

En raison de la licence, le JAR des drivers JDBC d’Oracle ne peut pas être déposé dans le repository central Maven. Par contre rien ne nous empêche de l’ajouter en local.
Pour réaliser cela, il faut se rendre à l’URL spécifiée dans le POM pour télécharger le JAR en question : drivers JDBC Oracle. Une fois le JAR en local (par exemple ojdbc6.jar), on doit taper la commande suivante :

	mvn install:install-file -DgroupId=com.oracle -DartifactId=ojdbc14 -Dversion=10.2.0.4.0 -Dpackaging=jar -Dfile=ojdbc6.jar -DgeneratePom=true

La même chose est à réaliser pour l’artefact JTA en version 1.0.1B :

	mvn install:install-file -DgroupId=javax.transaction -DartifactId=jta -Dversion=1.0.1B -Dpackaging=jar -Dfile=jta-1_0_1B.jar -DgeneratePom=true

Ressources

repository central Maven
Stackoverflow.com

DSM - Design Structure Matrix

2013-05-19T00:00:00+02:00

Introduction

Dans le cadre de mon travail, j’ai été amené à étudier l’outil Lattix. Cet outil permet de créer des matrices de structures de dépendances (Design|Dependency Structure Matrix ou DSM) et de les manipuler. L’objectif d’une DSM est la modélisation de l’architecture d’un projet et la définition de règles pour le maintien de la cohérence de cette architecture. L’analyse demandée portait sur la capacité de l’outil à modéliser un gros projet sous Oracle utilisant beaucoup de schémas et de procédures stockées.
Cet article va décrire mon retour d’expérience sur les DSM et donner un petit aperçu de Lattix.

Démarche

J’avais deux axes à suivre pour mener à bien mon travail :

monter en compétence sur la notion de DSM
monter en compétence sur Lattix

Pour démarrer, j’avais sous la main un projet exemple utilsant une base de donnée Oracle 11g ainsi que la couche Java accédant à cette base au moyen du doublé Spring/Hibernate. Les fichiers à disposition étaient les suivants :

script de création des tablespaces
script de création des users et des droits
dump d’une base de développement
sources Java de la couche persistence avec Spring/Hibernate

L’idée était donc de me documenter sur les DSM et d’utiliser le projet pour manipuler Lattix et voir ce qu’il y avait sous le capot.

DSM

Définition

Le sigle DSM est utilisé pour Design ou Dependency Structure Mattrix. Pour traduire mot à mot l’anglais, je dirais que c’est une matrice de la structure de dépendences d’un système. La DSM est une représentation sous forme de tableau (matrice) des liens entre les composants d’un système. Le champ d’application des DSM n’est pas uniquement l’informatique bien que ce soit ce domaine qui nous intéresse ici (cf. DSM-conference).

La cible

Dans le domaine de l’IT, l’approche DSM couvre les besoins de conception, de maintenance ou d’analyse d’une architecture. Si nous devons modéliser l’architecture d’un système, nous aurons comme premier réflexe l’utilisation d’UML et du diagramme de classes pour des langages objets ou alors nous passerons par un MCD/MPD si nous avons affaire à une base de données. Cette conception nous conduit à des schémas comme : ou comme :
Il n’est pas tout de suite évident d’appréhender tous les liens et les dépendences entre les éléments. L’oeil humain est capable de noter la plus ou moins grande complexité du système mais identifier rapidement quel élément est en lien avec lequel ou lister rapidement tous les liens est bien plus compliqué.
C’est là qu’interviennent des représentations comme la DSM. Celle-ci est capable de synthétiser en un tableau les liens entre chaque élément d’un système et de percevoir la structure du système.

Contenu d’une DSM

Le schéma suivant représente un exemple de DSM :
Une DSM contient les mêmes éléments en abscisses et en ordonnées et ce dans le même ordre. Certaines DSM ne représentent pas le nom de l’élément en colonne mais en général un clic sur un élément du tableau met en évidence l’élément en colonne.
En parcourant la colonne de l’élément A, on note sur chaque ligne les liens de cet élément avec les autres éléments si un entier est présent (on peut avoir un X, cette représentation dépend des produits). Donc dans notre exemple, A possède un lien vers C et G. En parcourant la ligne pour l’élément A, on peut noter tous les éléments qui lui font appel c’est-à-dire B et F dans notre exemple. Donc pour résumer :

colonne Y : une colonne représente tous les éléments qui sont appelés par Y
ligne X : une ligne représente tous les éléments qui font appel à X

Système modulaire

Un système bien conçu doit être découpé en modules (ou composants ou couches suivant la littérature). Les différents modules doivent avoir une adhérence faible avec les autres modules. Par exemple, on pourrait avoir une application avec les modules suivants :

module IHM
module services
module stockage de données
Dans ce découpage, il est déconseillé de créer un lien entre le module IHM et le module stockage de données.
Ce découpage en modules et le découplage entre chacune permet de limiter les impacts en cas de modification de design au sein d’un module. On peut par exemple modifier la façon dont on stocke/accède aux données sans pour autant impacter la partie IHM.
Une fois ces concepts posés, c’est là que l’approche par la DSM est intéressante.

Analyse d’un système, la théorie

L’approche DSM permet d’identifier rapidement les éléments de haut et bas niveau et d’identifier les modules du système étudié. Dans la matrice, les premiers éléments font partie des modules de haut niveau qui ne sont pas accédés par les autres éléments. Les derniers éléments de la liste représentent le coeur de l’application, les classes utilitaires accédées par la plupart des autres modules. On pourrait catégoriser ce module comme le framework coeur de l’application. Seul le triangle inférieur doit posséder des chiffres, dans le cas contraire cela signigie qu’il y a un problème de conception et qu’un refactoring est nécessaire (dépendance cyclique possible). Exemple d’un système découpé en modules fortement couplées :
Voici un autre exemple de système où les modules sont bien découpées et où un module n’accède qu’au module inférieure :

Dans la réalité, même si ce dernier découpage semble idéal, il est bien difficile de l’atteindre.

Analyse d’un système, la pratique

Voici un exemple de DSM pour la bibliothèque springframework :
On constate que le framework est plutôt bien architecturé avec en haut les éléments de haut niveau, en bas le coeur de la bibliothèque avec les packages core et util. Il n’y a pratiquement pas d’entier dans le triangle supérieur.
Voici un autre exemple avec la bibliothète commons-collection de la fondation Apache. Cette fois on peut voir un DSM de la même bibliothèque mais le premier est généré avec Sonar et le second avec Dtangler :

On peut constater que les classes dans le package org.apache.commons.collecions (colonne 8), font appel à beaucoup d’autres packages et sont appelées par tous les éléments de la bibliothèque. De même le package list est appelé par beaucoup d’autres.
Sans avoir à concevoir le modèle de classe en UML on identifie donc très rapidement avec une DSM l’architecture d’une bibliothèque et les points faibles de celle-ci.

Pour aller plus loin

Ce chapitre liste quelques sites par lesquels je suis passé pour m’approprier les notions DSM.

Wikipedia

Comme d’habidute, Wikipedia est la première ressource disponible pour avoir une définition générale du concept : DSM (Wikipedia). La page reste très verbeuse et une présentation plus graphique est nécessaire pour illustrer les concepts.

Lattix

Lattix met à disposition quelques vidéos de démonstration sur son site (Lattix Tuto) qui permettent de comprendre les notions basiques sur les DSM.
Une collaboration entre lattix et un professeur du MIT a conduit à la publication d’un papier sur l’usage des DSM dans la conception d’une architecture : Lattix and MIT. Ce papier n’est plus disponible gratuitement sur le site en question, mais il est encore accessible sur le site de Lattix (oopsla05.pdf). Le suivi des tutoriels vidéos de Lattix et la lecture attentive de la publication du MIT devrait donner une bonne idée des concepts qui se cachent derrière les DSM.

NDepend

C’est sur le site de NDepend que j’ai finalement trouvé les meilleurs schémas explicatifs : DSM par NDepend.
Plusieurs exemples d’architectures modélisées en DSM sont présentées et permettent de mieux comprendre la puissance du DSM pour comprendre, concevoir et maintenir une architecture.

Lattix

Afin de tester le produit, je me suis appuyer sur mon projet exemple avec une base de données Oracle ainsi que sur des projets Java (personnel ou public).
Pour utiliser le produit Lattix il faut obtenir une licence sur le site de l’éditeur.

Les types de projets

Lattix permet de créer des DSM à partir de plusieurs sources :

projets Java (fichiers jar ou classes)
projets Hibernate ou Spring (fichiers de configuration XML)
projets base de données Oracle (connexion directe à la base)
projets .Net - …

Un premier reproche qui peut être fait à Lattix est qu’il ne prend pas les fichiers sources Java en entrée mais les classes compilées ou les fichiers JAR. Cela a été un frein pour des projets dont j’avais une partie des sources mais pas toutes les dépendances. Je ne pouvais pas compiler mes sources et je n’ai donc pas réussi à intégrer le projet dans Lattix.
Un second reproche concerne les projets Oracle. Je n’ai pas réussi à intégrer mon projet à partir du script de création d’un schéma. Il me fallait un accès direct à la base Oracle pour pouvoir mener l’analyse. Cela a donc impliqué de m’installer l’environnement Oracle 11g en local.

Manipulation dynamique

Par rapport à un outil comme Sonar, Lattix permet une manipulation dynamique de la DSM produite. Il est par exemple possible de monter ou descendre les éléments et de voir directement l’impact en terme de métriques. On peut masquer les lignes qui ne nous intéressent pas et également créer des sous-packages et réduire ces nouveaux packages pour augmenter la lisibilité de la matrice.
L’outil aurotirse donc une manipulation dynamique du DSM qui permet réellement de concevoir un nouveau design pour notre système.

Partitionnement

Lattix est capable de partitionner la matrice produite. Derrière le partitionnement se cache des algorithmes qui vont permettre de réaliser des regroupements d’éléments dans la matrice. Avec la création dynamique de packages, il est donc possible de faire des tests de re-arrangement les éléments. La finalité est de réaliser un refactoring d’un système dont les liens ne seraient pas corrects.

Règles

Lattix permet d’ajouter des règles pour maintenir la cohésion du système. Il est par exemple possible de définir deux types de règles :

peut utiliser : permet de dire qu’un élément X peut faire appel à Y
ne peut pas utiliser : permet de dire qu’un élément X ne peut pas faire appel à un élément Y Ces règles sont visualiser graphiquement et les manquements sont mis en évidence.

Conclusion

L’analyse du produit Lattix m’a permis d’aborder et de comprendre l’approche DSM. J’avais déjà été confronté à cette représentation sans y prêter attention avec par exemple Sonar dans le monde Java. L’analyse de l’architecture d’un projet sous Sonar sera maintenant d’autant plus simple et rapide.
Lattix se révèle être un produit assez puissant par rapport à un outil comme Sonar ou Dtangler. Les fonctionnalités de Lattix permettent réellement à un architecte de réaliser son travail en amont comme en aval de la réalisation d’un projet. En amont, il permet de définir des règles pour une architecture et de vérifier que ces règles sont maintenues. En aval, c’est un bon outil pour appréhender un nouveau système inconnu et identifier rapidement les choix de conception et les éventuels problèmes.

Ressources

Jekyll chez 1and1

2013-05-12T00:00:00+02:00

Introduction

J’utilise les services de l’hébergeur 1and1 depuis très longtemps, décembre 2005 pour être précis. J’avais souscrit à l’époque en raison d’une offre très agressive et donc très intéressante. Depuis ce temps, je profite donc de cet hébergeur pour mes différents besoins (forums, sites webs …). J’y possède un serveur mutualisé avec du stockage, des bases de données MySQL, divers noms de domaine. Cet article va décrire l’intégration de Jekyll chez l’hébergeur 1and1.

Domaine

Je possède le nom de domaine twixer.fr et j’ai choisi d’utiliser le sous-domaine dev.twixer.fr pour mon site de blogs. La configuration se fait simplement dans le menu Domaines & Espaces Web : Je fais pointer mon sous-domaine dev.twixer.fr vers le répertoire : /www/site-twixer/_site.

Connexion au serveur 1and1

J’ai un serveur mutualisé sur lequel je peux me connecter via FTP, SSH. Les informations de connexion sont disponibles dans l’espace client de 1and1 : Si vous ne les posséder pas déjà, il faut récupérer les identifiants de connexion SSH pour votre domaine (login et mot de passe) dans cette interface. Attention, il y a un léger temps d’attente pour l’activation du mot de passe. Une fois le login et mot de passe en main, on va pouvoir se connecter via SSH à notre serveur. Personnellement étant sous Windows, j’utilise le client Putty.

Jekyll et 1and1

Sur mon serveur 1and1, j’ai accès à ruby et à Git. J’ai donc fait le choix de générer mon site sur mon serveur 1and1.
Version de ruby :

ruby 1.8.7 (2010-08-16 patchlevel 302) [i486-linux]

Version de git :

git version 1.7.2.5

Installation de Jekyll

Pour installer des gems Ruby chez 1and1, il faut changer le répertoire par défaut de destination des nouvelles gems en raison de problèmes d’écriture dans les répertoires. Il faut donc modifier le fichier .bash_profile en y ajoutant les lignes suivantes :

export PREFIX=~/ruby/gem
export GEM_HOME=$PREFIX/lib/ruby/gems/1.8
export RUBYLIB=$PREFIX/lib/ruby:$PREFIX/lib/site_ruby/1.8
export PATH=$PATH:$PREFIX/lib/ruby/gems/1.8/bin

N’oublier pas de recharger ce fichier avec la commande source .bash_profile. On va donc déposer les nouvelles gems dans un répertoire ./ruby/gem/lib/ruby/gems à la racine de notre arborescence.

Ensuite il faut installer Jekyll de la façon classique :

gem install jekyll
gem install rdiscount

Mon dépôt de gems contient (gem list) :

*** LOCAL GEMS ***

chunky_png (1.2.8)
classifier (1.3.3)
compass (0.12.2)
directory_watcher (1.5.1)
fast-stemmer (1.0.2)
fssm (0.2.10)
jekyll (0.12.1)
kramdown (0.14.2)
liquid (2.5.0)
maruku (0.6.1)
posix-spawn (0.3.6)
pygments.rb (0.3.7)
rake (10.0.4)
rdiscount (2.0.7.2)
sass (3.2.8)
syntax (1.0.0)
yajl-ruby (1.1.0)

Jekyll est donc maintenant installé sur notre serveur 1and1 et nous pouvons générer des sites directement depuis le serveur.

Git et le repository GitHub

Pour récupérer les fichiers de mon site de blogging, rien de plus simple. J’ai créé un répertoire ./www/site-twixer à la racine de mon home afin d’accueillir mon site de blogs. Je me place dans le répertoire ./www et je clone mon repository GitHub :

git clone git@github.com:Twixer/site-twixer.git

Inutile de spéficier un répertoire de destination parce que mon repository se nomme site-twixer et ira bien dans le répertoire attendu.
A partir de là on peut lancer la commande jekyll depuis ./www/site-twixer pour construire notre site qui sera généré dans le répertoire ./www/site-twixer/_site. (cf. la configuration de destination pour le sous-domaine !).

Pour les mises à jour ultérieures du site, il suffit d’utiliser la commande git pull dans le répertoire site-twixer puis relancer la génération du site avec la commande jekyll.

Paramétrages supplémentaires

Erreur 404

Par défaut, les erreurs HTTP 404 de 1and1 sont renvoyées vers une page standard de 1and1. Nous voulons que l’erreur 404 pointe vers la page 404.html de notre site. Pour ce faire, il faut créer un fichier .htaccess dans le répertoire ./www/site-twixer avec la ligne suivante :

ErrorDocument 404 /404.html

On pourrait donc rajouter d’autres pages d’erreur à notre site en n’oubliant pas à chaque fois d’ajouter la ligne correspondante dans ce fichier (400, 500, …).

Conclusion

Nous pouvons donc maintenant générer directement notre site Jekyll sur notre serveur 1and1. Ce fonctionnement nous permet donc de modifier le site depuis n’importe quel endroit tant qu’on le pousse sur le repository GitHub.
Le cycle de vie n’est pas idéal pour l’instant car la modification d’une page sur un poste en local avec un push sur GitHub nous oblige à effectuer des étapes manuelles pour mettre à jour notre site :

connexion via SSH au serveur 1and1
git pull pour récupérer les dernières modifications
jekyll pour générer le sites

Même si elles restent simples, ces opérations devraient être automatisées. Affaire à suivre …

Ressources

1and1
Putty

Jekyll sur Windows

2013-05-09T00:00:00+02:00

Introduction

Après avoir fait le choix de Jekyll pour propulser ce site, il fallait mettre en place un environnement de développement sur mon poste local. Je travaille sur un poste sous Windows. Autant le dire tout de suite, j’ai lutté pour finaliser un environnement stable.
Entre l’installation de la bonne version de Ruby, des gems nécessaires, du choix d’un template Jekyll, la route fut pavée de difficultés et problèmes en tout genre.
Cet article présente les différentes étapes à suivre pour disposer d’un environnement de développement pour générer un site de blogging avec Jekyll.

Environnement technique

J’utilise un poste sous Windows 7 Professionnel SP1 (sytème 64 bits).

Ruby

Jekyll a besoin de ruby pour fonctionner. Pour l’installation j’ai suivi le tutoriel Installation de Jekyll sous Windows. Ce tutoriel est à suivre à la lettre et seule la dernière astuce n’a pas été nécessaire dans mon cas. Les versions de ruby et du devKit que j’ai utilisé sont à récupérer sur RubyInstaller:

Avec ces deux versions et le suivi du tutoriel d’installation, vous aurez un environnement fonctionnel pour Jekyll sous Windows.

Voici mon dépôt de gems avec leur version (commande gem list) :

** LOCAL GEMS **
anemone (0.7.2)
bigdecimal (1.1.0)
chunky_png (1.2.8)
classifier (1.3.3)
colorator (0.1)
commander (4.1.3)
commonjs (0.2.6)
compass (0.12.2)
directory_watcher (1.5.1, 1.4.1)
fast-stemmer (1.0.2)
fssm (0.2.10)
highline (1.6.18)
io-console (0.3)
jekyll (0.12.1)
json (1.5.5)
kramdown (0.14.2)
less (2.3.2)
liquid (2.5.0)
maruku (0.6.1)
minitest (2.5.1)
nokogiri (1.5.9 x86-mingw32)
posix-spawn (0.3.6)
pygments.rb (0.4.2, 0.3.7)
rake (0.9.2.2)
rdiscount (2.0.7.2)
rdoc (3.9.5)
ref (1.0.4)
robotex (1.0.0)
rvm (1.11.3.7)
safe_yaml (0.7.1)
sass (3.2.8)
syntax (1.0.0)
yajl-ruby (1.1.0 x86-mingw32)

Les pièges à éviter

J’ai tenté une installation avec les dernières versions de Ruby et du devKit, respectivement les versions 2.0.0 et 4.7.2, mais j’ai eu des problèmes avec les versions 64 bits.
J’ai également tenté d’installer une version 32 bits de ces versions mais c’est avec les dépendances de Jekyll que j’ai rencontré des problèmes. Jekyll n’est pas compatible avec la dernière version des gems Ruby 2, donc je suis resté sur les versions 1.9.3.

A chaque ouverture d’une fenêtre de commande Windows, il faudra taper les commandes suivantes pour la prise en compte de l’encoding en UTF-8 :

	set LC_ALL=en_US.UTF-8
	set LANG=en_US.UTF-8

Dans le cas contraire, des erreurs pourraient apparaître lors de la création du site avec la commande jekyll.

Git

Le versionning est assuré au moyen de Git. Il faut donc installer Git pour Windows. Dans mon cas j’utilise la version 1.7.9.

Jusqu’à maintenant je n’ai eu l’occasion d’utiliser que SVN comme gestionnaire de sources. La prise en main de Jekyll avec un versionning sous Github m’a permis de me familiariser avec Git.
Je maîtrise les grands concepts de versionning (ajout, commit, commentaires, branches, tags …) mais pour me familiariser avec Git j’ai suivi le tutoriel Git Immersion assez sympa qui permet d’y aller pas à pas. Je conseille à chaque débutant souhaitant comprendre les concepts et la syntaxe des commandes de le suivre au moins une fois.

J’utilise actuellement deux sources de documentation principales :

le manuel Git
le livre Pro Git en ligne

Jekyll

Pour démarrer avec Jekyll, on peut partir de zéro comme le préconise Carl Boettiger. L’apprentissage de zéro permet de n’utiliser que les fonctionnalités dont on a besoin et de maîtriser au fil de l’eau l’outil et les concepts.
Pour ma part, j’ai décidé de partir sur un template existant. Je voulais disposer rapidement d’un site avec une structure, une mise en page et des plugins.

Jekyll-Bootstrap

J’ai choisi de partir sur Jekyll-Bootstrap (JB) pour une première utilisation de Jekyll. JB contient de base les éléments suivants :

fonctionnalités : commentaires, analytics, pages/tags, partage social …
mise en place simple et rapide de thèmes, changement entre thèmes

Pour démarrer avec JB, rien de plus simple. En ligne de commande, taper la commande suivante :

git clone https://github.com/plusjade/jekyll-bootstrap.git DEST_PATH

Les sources pour démarrer se trouvent donc maintenant dans DEST_PATH.
Pour ma part j’utilise GitHub pour héberger mon repository distant de sources. J’y ai créé le repository site-twixer. Pour pouvoir pousser mes fichiers sur mon repository, j’ai suivi les étapes suivantes :

supprimer le répertoire .git dans DEST_PATH/
en ligne de commande :

	git clone git@github.com:Twixer/site-twixer.git DEST_PATH

en ligne de commande et dans le répertoire DEST_PATH :

	git add .  
	git commit -m "add the template Jekyll-Bootstrap"  
	git push

Vous pouvez maintenant ajouter des articles dans le répertoire DEST_PATH/_post. On peut utiliser une commande du rakefile de JB :

rake post title="Hello World"

Un fichier avec le pattern AAAA-MM-JJ-Hello-World.md sera créé dans le répertoire DEST_PATH/_post avec un en-tête YAML déjà initialisé.

Conclusion

Après avoir installé Ruby et la gem Jekyll, Git et le projet Jekyll-Bootstrap, on est prêt à écrire les articles pour son site de blogging. La facilité de création d’un thème pour JB m’a conduit à créer un thème twixer que je compte modifier au fur et à mesure. Le déploiement du site chez mon hébergeur sera abordé dans l’article Jekyll chez 1and1.

Ressources

Ruby
site RubyInstaller pour Windows
Installation de Jekyll sous Windows
Git
Git pour Windows
tutoriel Git Immersion
manuel Git
livre Pro Git en ligne
Jekyll
site officiel de Jekyll
site officiel de Jekyll-Bootstrap

Le cinquième commandement

2013-05-08T00:00:00+02:00

Blog static vs blog dynamic

Pour ce blog, mon besoin était le suivant :

une mise à jour simple des pages
un déploiement simplifié quelque soit l’hébergeur
système de plugins (commentaires, mise en forme, images …)

Mise à jour des pages

Pour avoir déjà été confronté à des blog dynamiques, plusieurs contraintes ne me satisfaisaient pas. Je ne voulais plus m’embarasser d’une base de données pour le stockage des posts. Le stockage dans une base obligeant à passer par une console d’administration pour mettre à jour les articles était une contrainte.

Hébergement

Je n’avais pas d’idée précise quant à l’hébergement final de mon blog. Je possède bien sûr un hébergeur mais je voulais rester souple et pouvoir en changer. Je ne voulais pas non plus être lié à une plateforme de blogging. L’hébergement d’un site statique, fournissant du simple HTML, est celui qui présente le moins de contraintes pour la migration.

Plugins

Enfin, bien que le site soit statique, la possibilité d’inclure des éléments dynamiques comme les commentaires était important.

Jekyll

Mon choix s’est porté sur Jekyll. Jekyll répond aux contraintes que je me suis fixé mais il a en plus d’autres attraits qui m’ont attiré.
En effet, Jekyll est le moteur qui propulse les sites hébergé par Github. J’ai un compte Github depuis longtemps mais je n’ai jamais eu l’occasion de l’utiliser. C’était donc là une bonne occasion de s’y mettre.
Chaque moteur de blogs statiques utilise un langage propre : PHP, Python, Ruby … Jekyll utilise Ruby.
Démarrer avec Jekyll implique de franchir un palier technique plus ou moins important en fonction de son background :

Notions Ruby : installation, langage, système de gems, rakefile …
Jekyll : arborescence, Liquid templating, …
Langage Markdown pour les articles

J’ai trouvé une bonne introduction aux concepts de Jekyll sur Jekyll-Bootstrap. Un article en français qui liste ses avantages et ses inconvénients peut être trouvé sur http://jeremyherve.com.

Cycle de vie

Une fois établi le choix technique du moteur de blogging, il faut également penser au développement et déploiement de son site. Pour ma part, mon cycle de vie est le suivant :

rédaction des articles sur mon poste en local dans un simple éditeur
versionning gérer par Git et poussé sur un repository distant (Github)
récupération de la dernière version sur mon hébergeur

Au commencement ...

2013-05-05T00:00:00+02:00

Hello the World

Enfin ! Depuis le temps que je voulais monter mon site de blogging ! Malheureusement par manque de temps et de réelle motivation l’idée était tombée à l’eau moult fois.
Mais finalement le voici ! Le coup de pousse final m’a été donné suite à ma participation à DevoxxFr 2013 et à la bonne dose de motivation que m’a insuflé cet événement.

Un parcours de veilleur

Je travaille depuis des années dans le monde de l’informatique et dans l’univers des SSII françaises.
Depuis tout ce temps je mène une activité de veille régulière sur les domaines liés à mon activté, proche de mon activité ou tout à fait à l’opposé.
Je suis un grand consommateur de sites d’information IT, forums ou blogs. J’utilise divers outils pour mener cette veille, j’ai démarré avec les simples favoris du navigateur, puis les flux RSS avec Netvibes, Google Reader (RIP) et maintenant j’utilise principalement Twitter tout en conservant mes flux RSS.

Mes principaux sujets d’intérêt liés à mon travail sont :

Java : JEE, les frameworks, les langages JVM
le Web : HMTL (5), le CSS, le Javascript
le décisionnel : les ETL, les outils de reporting
les outils Devops
les méthodologies de développement et en particulier les méthodes agiles (Scrum)

Que de souvenir en déterrant quelques vieux favoris Del.icio.us. A l’époque mes sites de veille était principalement : a19s, Developpez, The server side et quelques autres. Aujourd’hui la donne a changé, l’information est de plus en plus présente et partagée, l’information est même devenue sociale.

La communauté

Mon boulot ne m’a pas amené à travailler activemement sur des projets Open Source ni à contribuer à cet univers très riche. J’ai plutôt été un consommateur qu’un producteur toutes ces années. Je suis pourtant amené dans le cadre de mon travail à créer du code, à concevoir des architectures, à rédigé de la documentation techniques, des tutoriels, des FAQ. Je suis un intégriste de la documentation bien faite et je harcèle souvent mes équipes sur ce sujet. Il est donc temps de partager avec la communauté un peu de mon expérience.

Le contenu

Je n’ai pas encore une idée précise du contenu que je vais pouvoir partager ici. Dans l’ensemble, les sujets tourneront autour de la technique avec des informations, des trucs & astuces, des tutoriels … Comme beaucoup, je me servirai également de ce blog comme d’un aide-mémoire sur des sujets particuliers.

J’ai hésité au début sur la langue à employer sur ce blog, anglais ou français. Finalement pour commencer ce sera le français. Par contre, je ferai souvent des renvois vers des sites anglophones.