Vim est ton ami.

IRC: Wee ou non ?

Jean-Seb — Sun, 25 Dec 2011 19:29:00 +0100

Vous connaissez tous IRC, et principalement Freenode, l'auberge espagnole du Logiciel Libre.
Pour le client à utiliser, c'est une autre histoire…
Pendant des années, j'ai utilisé Irssi. Et puis, un jour…

Un jour j'en ai eu marre d' Irssi.

Irssi est le choix par défaut des utilisateurs Linux pour IRC.
Il faut dire que la concurrence n'est (n'était) pas brillante,
Pourtant, on ne peut pas dire que Irssi soit le parangon du client IRC.

Irssi la branche sur laquelle il est assis

Irssi présente de nombreux défauts, ou tout du moins de sérieuses limitations:
- son horrible fichier de configuration (colorer différement la barre de stats du buffer actif fut un vrai défi).
- un scripting limité à Perl.
- une ergonomie discutable (la configuration par défaut est inutilisable).
- une documentation incomplète et incompréhensible.

C'est vrai, il y a d'autres clients IRC

BitchX : ha-ha-ha, je vous laisse essayer (il y en a qui aiment…).
XChat : qu'il est de bon ton de dénigrer, mais qui a le mérite d'être simple. On en fait vite le tour, cependant.

Voici WeeChat

Certe, je débarque: ce logiciel existe depuis un certain temps.
- 2005 pour les premières versions exploitables.

Il est cependant toujours développé, et comprend de nombreux avantages par rapport à Irssi.
- Une doc claire et complète, et en français qui plus est.
- Une configuration aisée. Toutes les modifications sont applicables sans relancer WeeChat, et peuvent être sauvées depuis celui-ci.
- Une prise en main rapide.
- Scripting avec Lua! Yäh ! Ftaghn Cthulhu Lua ! Et pour le reste d'entre-vous, il y a aussi la possibilité de scripter en Python, en Perl, en Ruby ou en TCL.
- Possibilité d'utiliser un client différent du client ncurses proposé par défaut (pour ceux qui ont honte d'installer XChat).

Premier contact avec WeeChat

Vous retrouverez dans la doc tout ce que je n'ai évidemment pas sorti de nulle part

Comment qu'ça s'installe ?

Boudiou: pacman -S weechat
- Ne vous laissez pas impressionner par le numéro de version (en ce moment: 0.3.6).
- C'est du vrai logiciel libre pleinement fonctionnel, et qui ne cherche pas à en mettre plein la vue avec une numérotation stratosphérique des versions.

Déroulement d'une session typique

Quelques commandes de base devraient vous sortir d'affaire, sans rien avoir à configurer pour commencer.

Commençons par lancer WeeChat:
- weechat-curses

/connect irc.freenode.org : c'est une connexion temporaire, nous verrons plus loin comment la rendre permanente.
/join archlinux-fr : notez la barre des nicks sur le côté. C'est bien, mais ça prend de la place. Mais comme c'est un élément d'interface, c'est désactivable.
À ce stade, il peut être utile de savoir comment se déplacer dans les fenêtres: ALT + flèches curseur
Par défaut, une fenêtre affiche un seul buffer. Par la suite, vous pourrez afficher plusieurs buffers dans une fenêtre avec les commandes split.
- /window splith : splitte horizontalement.
- /window splitv : coupe verticalement.
- Utilisez F7 et F8 pour naviguer dans les splits.
- /window zoom : permet de sortir d'un split (raccourci: alt+z)

N'oubliez pas … /help
- Et pour une commande particulière: /help commande

Raccourcis clavier

En reprenant l'exemple de F7 et F8 pour naviguer dans les splits, on prend conscience de l'impérieuse nécessité de configurer son clavier.
Alt+k (touche) donne la touche et la commande associée.
- Ex: Alt+k F8 affichera: meta2-19~ window -1
- Ceci nous permet de passer au split précédent.

De même, nous pouvons obtenir facilement le code de la combinaison alt+curseur bas:
- Alt+k Alt+curseur bas : meta-meta2-B

Armés de ces informations, nous n'avons plus qu'à associer alt+curseur bas (par exemple) comme nouveau raccourci à window -1
- /key bind meta-meta2-B /window -1

Et pour la flèche du curseur haut associée à alt, je propose de désactiver/activer la barre des pseudos.
- /key bind meta-meta2-A /bar toggle nicklist

À vous de voir pour le reste…
- Sachez que vous pourrez être amené à éditer directement le fichier de configuration contenant les raccourcis.
- Mais uniquement en cas d'erreur bloquante, ou trop compliquée à corriger à coup de /key bind.
- Bref, rien de tout cela ne devrait vous arriver. Le fichier est .weechat/weechat.conf , section key.

Configuration de WeeChat

Une simplicité biblique

/set config.section.option valeur : pour modifier un élément de configuration.
/set config.* : pour voir un sous-ensemble de la configuration (set pour tout voir).
/help config.section.option : raison d'être d'une option précise.
/save : sauve dans un fichier de config l'état actuel de la configuration (la sauvegarde est automatique dans le fichier utilisé par WeeChat).
/reload : recharge la configuration, au cas où vous préféreriez modifier de façon externe les fichiers concernés (en cas de blocage par exemple).
/plugin : voir les extensions chargées (vous devez avoir au minimum l'extension irc).

Exemple: définir une connexion

Nous allons paramétrer une connexion permanente, dont les paramètres seront sauvegardés dans la configuration.
- /server add fn irc.freenode.org : défini un alias fn pour freenode, pour référencer la connexion.
- /set irc.server.fn.nicks VotrePseudo : si il est différent du login, utilisé par défaut. On peut préciser plusieurs pseudos, au cas où le premier serait indisponible sur ce serveur (déja utilisé par exemple, ou interdit).
- /set irc.server.fn.command "/msg nickserv identify xxxxx" : si vous voulez vous authentifier automatiquement.
- save
Et par la suite, pour vous connecter rapidement à freenode en rappellant la connexion sauvée:
- /connect fn
Pour retrouver rapidement la liste des serveurs déja paramétrés:
- /server list

La peinture facile

WeeChat possède des facilités pour la gestion des couleurs.
Tapez /color pour passer dans le buffer des couleurs.
- Vous y trouverez les paires de couleurs utilisées, ainsi que la palette utilisable dans votre terminal (avec alt+c).

Je passe sur la syntaxe pour envoyer des kikoos multicolorés dans les buffers. Vous la trouverez dans la doc.

Nous allons maintenant nous intéresser à la colorisation de l'interface.

Comme vous le savez, un /set peut être suivi d'un joker
- Pour avoir tous les paramètres liés aux couleurs: /set weechat.color.*

Avec ces informations, nous pourrions personnaliser les différents éléments de l'interface.
Pour faire original, je vais simplement changer quelques couleurs peu lisibles sur le fond de mon terminal.
- C'est extrèmement aisé, grâce au buffer color.

Vous avez sans doute remarqué que le nom des intervenants dans un chat est affiché avec des couleurs très variées.
- Les couleurs dépendens de cette variable de configuration, qui a pour valeur par défaut:
- weechat.color.chat_nick_colors = "cyan,magenta,green,brown,lightblue,default,lightcyan,lightmagenta,lightgreen,blue"
- Le choix d'une couleur sur un pseudo se fait grace à un hash sur celui-ci.
- Pour modifier la couleur de son propre pseudo, on utilise la variable weechat.color.chat_nick_self (et pour les conversations en privé, vous avez également weechat.color.chat_nick_other ).

Pour avoir la liste des codes couleurs utilisables, on a deux possibilités:
- /color dans weechat, puis alt+c
- ou depuis un terminal: weechat-curses -c
- Je préfère utiliser /color , suivi d'un e pour afficher la représentation des couleurs utilisées actuellement.

On peut rentrer des noms de couleurs, ou bien directement les codes couleurs obtenus ci-dessus. On peut également préciser des attributs.
On peut également utiliser /color alias pour nommer un code couleur dans WeeChat.

Ouvrez une fenêtre une fenêtre splittée, tapez des commandes de couleur dans l'une, et regardez le résultat dans le buffer color visible dans l'autre.
- Par exemple:
- /set weechat.color.chat_nick_colors = "118:091,232:105,238:219,234:216,152:090,10:20,255:091,118:009"

Les scripts

Lest scripts s'utilisent par le biais des extensions

Un script Weechat n'appelle pas directement les fonctions de l'API WeeChat.
Le script passe par un wrapper qui appelle ensuite l'API. Il y a un wrapper par langage de script.
Ces wrappers font partie des extensions (terminologie WeeChat).
Les extensions se controlent avec la commande plugin (/help plugin).
L'avantage de cette façon de procéder est que les différences entre langages de scripts deviennent minimes. L'inconvénient est qu'il faut écrire un wrapper pour chaque langage concerné, puisque l'accès direct à l'API WeeChat n'est pas la méthode conseillée (bien que l'on puisse surement utiliser quelque chose comme FFI du projet LuaJIT, mais cela sort largement de notre propos).

Installation d'un script existant

Avant d'écrire un script, commençons par en installer un.
J'ai choisi le bip, pour ne rien rater sur IRC.
À propos, avez-vous remarqué l'angoisse diffuse instillée par la possibilité de plus être joignable vingt-quatre heures sur vingt-quatre ? Ou pire, de rater un appel ?
- Les marchands de téléphones ont fondé leur business là dessus.

Vous trouverez le script Perl qui fait bipper dans le dépot WeeChat consacré aux scripts.
- bipper en Perl

Vérifier que l'extension Perl est chargée:
- /plugin list

Si ce n'est pas le cas, c'est probablement parce que Perl n'est pas installé (et on vous comprend).
- Il faudra donc installer Perl, et charger l'extension (pas besoin de quitter WeeChat) : /plugin load perl

Et pour charger le script:
- /perl load ~/.weechat/perl/beep.pl

Tous les scripts sont référencés ici:
- http://www.weechat.org/scripts/

Écriture d'un script minimaliste à l'aide de Lua

Une introduction
Vous aurez également besoin du guide de référence de l'API C de WeeChat

Où se trouve le wrapper Lua ?
- Comme dit précédemment, vous ne chargerez pas vous même le wrapper avec un require dans le script Lua. Vous allez devoir passer par les extensions WeeChat, qui dans ce cas consiste en un wrapper Lua vers l'api C de WeeChat.
- Il faut charger votre script de cette façon depuis WeeChat: /lua load chemin/vers/script.lua
- Attention, pour décharger le script, il faudra passer le nom défini en tant que name dans la fonction weechat.register.

Passons au script proprement dit. Il faut commencer par enregistrer son script.
- weechat.register(name, author, version, license, description, shutdown_function, charset)
- weechat.register("test_lua","jseb","0.1","beerware","pas de desc", nil, "utf-8")

On peut tenter une sortie dans le buffer core de WeeChat (celui qui affiche les messages du programme).
- weechat.print ("","ça marche")
- Notez que le print intégré à Lua, qui écrit sur la sortie standard, est fonctionnel, mais ne vous attendez pas à ce que la sortie suive la logique de votre script. Comme l'exécution du script est séquentielle, vous aurez déja la sortie de vos print, puis la reconstruction de l'écran. Cette méthode est donc déconseillée, hormis pour des messages de diagnostics pour le debug (et autant utiliser weechat.print)

Le script sera exécuté une seule fois, et ensuite il faudra le recharger pour recommencer le traitement. Il peut donc être plus pratique d'ajouter une commande à WeeChat en créant un hook.
Nous allons utiliser la fonction de l'API hook_command.
- Nous pourrions également programmer une temporisation (weechat.hook_timer) ou une commande batch (lancée en fond avec weechat.hook_procees et qui permet peut être l'écriture de coroutines, même si à mon avis weechat.hook_timer sera plus adaptée pour cela).
- Pour le transformer en commande, il faut utiliser weechat.hook_command, en précisant le nom de la commande, son mode d'emploi (pour /help et le nom de la fonction callback dans le script).
- À noter que les paramètres de la fonction callback seront imposés: buffer où a été lancée la commande, paramètres de la commande et data (non utilisé dans le script, tout passe dans la variable qui contient les paramètres).
- Description dans l'API de hook_command

Maintenant que le script est enregistré et transformé en commande, il ne reste plus qu'à transformer en majuscule la chaine passée en paramètre.
- J'utilise pour cela une fonction de la classe string de Lua, qui malheureusement ne fonctionne qu'avec les caractères ascii et ne mettra donc pas en majuscule les accents. J'aurais bien utilisé la fonction weechat_string_toupper, mais elle n'est pas disponible en dehors de l'api et semble d'après l'exemple de la doc ne pas convertir non plus les accents.

Pour afficher dans le buffer en cours, j'utilise une petite astuce. Je demande l'exécution de la commande irc say dans le buffer en cours.
- weechat.command(buffer,"/say "..la_chaine_en_majuscules)

Il aurait été tentant d'utiliser cette commande:
- weechat.print(buffer,str_up)
- mais elle ne ferait qu'afficher la chaine en majuscules dans le buffer actuel, et vos interlocuteurs ne la verrait pas.

Voici le listing complet du script:


~/.weechat/lua$ cat hello.lua 
#!/usr/bin/env lua

--pour faire un /lua reload, il faut soit que le script soit dans autoload, soit spécifier son nom (celui déclaré dans weechat.register, pas le nom de fichier). Autrement, il sera bien déchargé, mais jamais recharge.                        

function hurler_fx(data, buffer, args)
  local str_up = args:upper()
  weechat.command(buffer,"/say "..str_up)
end

--weechat.register(name, author, version, license, description, shutdown_function, charset)
weechat.register("test_lua","auteur","0.1","noware","pas de desc", nil, "utf-8")

hook = weechat.hook_command ("hurler", "script pour hurler dans un buffer",
                             "[chaine à hurler]", "la chaine que vous souhaitez hurler","",
                             "hurler_fx","")

weechat.print ("","le script est chargé")

À tester depuis weechat avec :


/lua load lua/hello.lua 
/hurler et maintenant, tout le monde va m'écouter

NB : je décline toute responsabilité en cas de kick.

Terriblement t'efficace (nanananana nanana)

J'espère vous avoir convaincu de tenter un essai avec WeeChat.
Pour en savoir en plus, je vous renvois à l' excellente documentation
Bon t'chat , lol !
Je remercie FlashCode, l'auteur de WeeChat, pour son excellent soft, et pour avoir bien voulu répondre à quelques-unes de mes questions… sur son canal IRC, bien entendu
- irc.freenode.org : #weechat-fr

Des cookies à accepter sans hésiter !

Jean-Seb — Thu, 24 Nov 2011 20:44:00 +0100

Bonne nouvelle, j'ai enfin réussi à calibrer ma recette de cookies.
Afin d'en faire profiter l'humanité, voici le résultat de longs mois d'expérimentations (c'est pour cela que je ne postais plus rien et que j'ai pris vingt kilos).
Ces cookies là, je vous le garantis, ce ne sont pas les cookies pourris de votre navigateur internet.

Merci à Marie pour la relecture, les suggestions, et les photos.

Introduction

Un magnifique spécimen: le Cookus-chocolatus-classicus

Ingrédients

200g de farine.
1 sachet de levure chimique (bicarbonate).
1 sachet de sucre vanillé.
- le sucre vanillé est facultatif, mais c'est meilleur avec.
70g de cassonade
- ou 60g de sucre en poudre si vraiment vous n'avez pas de cassonade.
60g de chocolat en morceaux.
- ou 60g de pépites de chocolat, ça vous évitera de le faire vous-même.
60g de raisins secs.
60 à 80g de noisettes grillées, selon vos goûts.
1 œuf.
5 cuillères à soupe d'huile de noix.
- qui correspondent à environ 100g. de beurre, si vous n'avez pas d'huile.
5cl d'eau (environ un tiers de verre à moutarde).
- ceci uniquement si vous utilisez de l'huile. L'eau est utilisée pour compenser la différence beurre/huile. Il y a de l'eau dans le beurre, contrairement à l'huile.
1 pincée de sel. Ne l'oubliez pas!

Pré-requis

Cette recette nécessite un peu de patience.
Elle nécessite également quelques ingrédients que vous pourrez préparer à l'avance afin de gagner du temps le moment venu.

Les noisettes

Décortiquez et coupez les noisettes en deux.
Faites revenir à la poêle, sans matière grasse.
Quand les noisettes en contact avec la poêle commencent à brunir, remuez-les pour répartir la cuisson.
Une fois toutes les noisettes brunies, retirez du feu et laissez refroidir.
- Pendant que les noisettes refroidissent, que diriez-vous de commencer le découpage du chocolat ?
Frottez les noisettes entre vos doigts et retirez la pellicule qui se détache la plupart du temps.
Les noisettes grillées peuvent se conserver quelques semaines dans un bocal en verre.
- Dans le cas d'un stockage dépassant quinze jours, goûtez une noisette avant de les utiliser.

Les pépites de chocolat

Le moment idéal pour opérer est pendant le refroidissement des noisettes.
Découpez les carreaux de chocolat en morceaux à l'aide d'un couteau bien aiguisé, sur une planche à découper.
- Avec mon chocolat, j'obtiens neuf morceaux pour chacun des carreaux. Ne vous coupez pas les doigts non plus et restez raisonnables.

Préparation

Dans un saladier

Mélangez farine, levure, sucre vanillé et la pincée de sel.
Ajoutez à la farine les noisettes grillées, les raisins secs et les pépites de chocolat.
Mélangez bien le tout, pour répartir les ingrédients,

Dans un bol

Si vous n'aviez pas d'huile, faites fondre le beurre à feu très doux et en remuant pendant toute la durée de l'opération.
Mesurez les 70g de cassonade, et ajoutez un œuf. Mélangez le tout.
Si vous utilisez de l'huile, ajoutez l'eau. Mélangez bien.
Ajoutez l'huile ou le beurre, et mélangez jusqu'à obtenir une indistincte mélasse.

Merge (bol, saladier)

Versez en trois étapes le contenu du bol dans le saladier, en remuant continuellement.
Quand le mélange présente une agglomération certaine, et qu' il devient difficile à manœuvrer, continuez le pétrissage à la main.
Stoppez quand vous obtenez une boule de pate homogène, dont les morceaux ne se décollent plus.

Le grand cylindre

Découpez une feuille de plastique transparent alimentaire.
Placez la boule de pâte sur cette feuille, en l'étirant en rouleau.
Refermez la feuille sur la pâte. Une fois bien emballée, faites la rouler sur votre plan de travail, de façon à lui donner un aspect circulaire.
Placez le tout au réfrigérateur 1/2h, ou 10mn au congélateur. Cela va donner une certaine tenue à la pâte, afin de faciliter son découpage ultérieur.

Cuisson

Découpez la pâte en cylindres de 1 ou 2cm d'épaisseur.
N'hésitez pas à rassembler le morceau en un monticule cylindrique bien aggloméré, en poussant la circonférence extérieure de vos petits doigts vigoureux.
Placez les cylindres (ou monticules, selon votre degré de finesse) de façon espacée sur du papier cuisson.
Mettre le tout sur une plaque (ou une grille si comme moi, vous n'avez toujours pas de plaque).
Faites cuire 1/4h dans un four préchauffé à 180°.
Renouvellez l'opération découpage/disposition/cuisson jusqu'à épuisement du stock ou de votre patience.
Le secret du gourmand : la pâte se congèle très bien, pour une utilisation ultérieure !

Dégustation

Là, je crois que les explications ne sont plus nécessaires !
Je n'accepte aucune responsabilité quand à une éventuelle prise de poids.
Une dernière photo pour achever de convaincre les plus indécis.

Enfin RAID!

Jean-Seb — Sun, 16 Oct 2011 19:51:00 +0200

Sous ce titre ne se cache pas l'annonce de la fermeture du blog. Que nenni! Lisez plutôt la suite, et tant pis pour la fausse joie.
Que feriez-vous si vous preniez possession de trois disques identiques ?
Mais non! Vous ne les revendriez pas sur Ebay !
Vous vous monteriez un RAID, bien sûr !

Remerciements particuliers à Frédéric Jolliton, qui m'a donné un sérieux coup de main.

Dis papa, le serveur il est tout RAID

Bon pas besoin d'en faire une tartine, ni d'expliquer les différentes formes de RAID.

Ici, je parlerai de deux type de RAID (RAID1 et RAID5), avec trois disques.
- RAID1 : C'est du mirroring. Chaque disque réplique complètement les autres.
- RAID5 : Chaque disque perd 33% de sa capacité, afin d'être en mesure de reconstruire un disque tombé en panne. Il faut bien sûr que deux disques soient en état de marche pour reconstruire le troisième.

Pour ceux qui veulent tout savoir
- excellent article de la doc Arch-Linux
- La doc Arch aborde également le problème du MBR sur les disques modernes, et qui pourrait vous intéresser si vous installer un MS-Windows en RAID. Ceci ne sera pas abordé dans ce billet qui est déja suffisement long comme ça.

La route est droite mais la pente est RAID

Il y a différentes façons d'envisager le RAID.

RAID matériel

Le RAID matériel se matérialise (haha) sous la forme d'une carte d'extension qui supportera des disques SCSI , IDE ou SATA.
Les disques sont reconnus dès le boot par la carte, et le support est transparent pour l'OS qui verra les disques tels que le controleur RAID lui présente.
Pas de bol, c'est souvent associé à du matériel bien propriétaire, avec des disques bien spécifiques. Malheur à vous si vous osez utiliser un disque qui n'est pas absolument identique!
Bien entendu, les disques de votre array ne seront plus disponibles à la vente au moment où ils auront besoin d'être remplacés.
Les processeurs sont aujourd'hui largement plus puissants que les chipsets intégrés des cartes RAID (sauf cartes couteuses pour usages bien spécifiques, voir ci-dessous).
N'espérez pas récupérer vos disques avec un controleur RAID différent de celui d'origine.
Bref, aucun intêret, si ce n'est pour des cas bien spécifiques. Par exemple, dans le cas de grosses unités RAID montées sur une dizaine de disques. Le bus de la carte RAID sera plus efficace.
En réalité, le seul intêret est que le RAID matériel rassure le windozien, pour qui le RAID logiciel évoque la prise en charge foireuse par le bios buggé de sa carte mère Asuxxtoc. Le pauvre homme.

RAID logiciel

Pas besoin de matériel coûteux.
Le kernel Linux est tout a fait adapté au RAID logiciel, et la mise en oeuvre ne pose pas de problèmes particuliers.
On peut mélanger les disques (différents modèles ou constructeurs).
- C'est même mieux de procéder ainsi, car on considère que les disques de même série vont avoir tendance à tomber en panne... en même temps. C'est d'ailleurs ce qu'on appelle la loi des séries.
On peut également mélanger différentes interfaces. Pour mon test, j'avais un disque en IDE, et deux en SATA. (je vous rassure, en prod c'est fait proprement. Les budgets pour la recherche, ce n'est plus ce que c'était, ma bonne dame.)
Vous n'êtes même pas obligés d' utiliser des disques de même taille. Il faut bien sûr qu'ils aient une taille suffisante pour contenir la/les partition(s) RAID.
En résumé, le RAID logiciel est tellement mieux pour les serveurs (je ne parle pas des grosses fermes de disques) qu'à part pour les fatigués de naissance et les pusillanimes, il s'impose de lui même.

Arch : mise en place d'un RAID logiciel

Situation de départ

Vous avez trois disques qui n'ont jamais servis, et vous souhaitez installer une machine sous Arch.
Il faut donc commencer par s'occuper de la mise en place du RAID.
Vous venez de booter sur le CD d'installation de Arch, et le curseur de la ligne de commande clignote impatiemment…

Partionnement

Vous pouvez utiliser cfdisk pour partitionner votre disque, en général disponible par défaut lors des installations.

Voici mon schéma de partionnement, avec trois disques sata (sda,sdb,sdc) :
- sd[a-c]1 : /boot (agrégé en raid1, partition bootable)
- sd[a-c]2 : / (agrégé en raid5)
- sd[a-c]3 : swap (non agrégé, hors raid)

Note: la partition /boot sera marquée avec le flag bootable sur chacun des disques.

Pas la peine de faire trois fois de suite un cfdisk avec les mêmes paramètres.
- Partionnez le premier disque, puis copiez le partitionnement sur les deux autres (assurez-vous d'opérer sur des disques vides).
- Avec sfdisk (et non plus cfdisk), nous allons dupliquer les données.
- sfdisk -d /dev/sda > partitions : pour dumper les infos de partitionnement.
- sfdisk /dev/sdb < partitions : pour écrire sur le second disque le partitionnement du premier.
- Vous pouvez vérifier le partitionnement: fdisk -l /dev/sd[a-c]

Pour info, le dump est une simple description ascii:


[root@archiso arch]# sfdisk -d /dev/sda
# partition table of /dev/sda
unit: sectors

/dev/sda1 : start=       63, size= 48821472, Id=83, bootable
/dev/sda2 : start= 48821535, size=923833890, Id=83
/dev/sda3 : start=972655425, size=  4112640, Id=82
/dev/sda4 : start=        0, size=        0, Id= 0

création des arrays

Nous utilisons mdadm, couteau suisse du Raid.
La lecture de sa manpage n'est pas conseillée, elle est obligatoire.

Pour créer une array en RAID-1 (partition /boot):


mdadm --create /dev/md1 --level=1 --raid-devices=3 /dev/sda1 /dev/sdb1 /dev/sdc1 --metadata=0.90

Pour créer une array en RAID-5 (partition /) :


mdadm --create /dev/md2 --level=5 --raid-devices=3 /dev/sda2 /dev/sdb2 /dev/sdc2

Pour vérifier que tout s'est bien passé, deux possibilités:
- cat /proc/mdstat : le strict minimum.
- Pour avoir plus de détails:


~# mdadm -q --detail /dev/md[1-2]

Dans tous les cas, vous allez voir que les différents disques sont en train de se synchroniser, sauf si vous avez créé des arrays minuscules (dans ce cas, il y a des chances pour que ce soit déja fini).

Un exemple de sortie de /proc/mdstat pendant la reconstruction de l'array en RAID-5 (un gros morceau):


Personalities : [raid1] [raid6] [raid5] [raid4] 
md2 : active raid5 sdc2[3] sdb2[1] sda2[0]
      923833728 blocks level 5, 64k chunk, algorithm 2 [3/2] [UU_]
      [=>...................]  recovery =  9.1% (42417280/461916864) finish=64.2min speed=108744K/sec
      
md1 : active raid1 sdc1[2] sdb1[1] sda1[0]
      24410624 blocks [3/3] [UUU]

Vous pouvez bien sûr utiliser votre RAID pendant la reconstruction (sinon, le RAID n'aurait pas grand intêret).

Montage du RAID

A noter que cette partie pourra vous resservir hors installation, en cas de gros pépin par exemple.

Schéma du partitionnement RAID

Pour chacun des disques:
- sd[a-c]1 : /boot (agrégé en raid1 sur /dev/md1)
- sd[a-c]2 : / (agrégé en raid5 sur /dev/md2)
- sd[a-c]3 : swap (non agrégé, hors raid)

Assemblage des partitions RAID

Normalement, un modprobe sur les modules RAID n'est pas nécessaire (ces modules seront chargés lors de la première utilisation de mdadm).
- Au cas où, voici la liste des modules impliqués : md_mod et raid[456]

Avant de pouvoir mounter le RAID, il faut l'assembler (uniquement si vous venez de rebooter sur un système ne prenant pas encore en charge le RAID au moment du boot).


#Assemblage de la partition boot
[root@archiso ~]# mdadm --assemble /dev/md1 /dev/sda1 /dev/sdb1 /dev/sdc1
mdadm: /dev/md1 has been started with 3 drives.

#Assemblage de la partition home
[root@archiso ~]# mdadm --assemble /dev/md2 /dev/sda2 /dev/sdb2 /dev/sdc2
mdadm: /dev/md2 has been started with 3 drives.

Formatage des partitions

Rappel : md1 correspond à la représentation d'un disque complet.
- On peut rapprocher ce nom de device de sda , qui représente également la totalité du disque.

Ici, on veut utiliser le disque complet, donc on formate sans partitionner le device RAID. Exemple:
- mkfs.ext4 /dev/md1

attention au flag HUGE_FILE lors du formatage , il peut poser problème plus tard et est relativement inutile pour l'instant
- pour les problèmes possibles, voir la section premier boot.
- HUGE_FILE permet le support de fichiers de plus de 2 teraoctets (nous ne sommes pas prêt d'y arriver, tout comme 640Kb should be enough for everyone).

Montage des partitions.

Je n'ai monté que la première partition (root) qui servira à contenir le système.
- La partition "home" n'a pas d'intêret pour l'instant.


#Montage des partitions
[root@archiso ~]# mount /dev/md1 /mnt

Ajout du swap

Le swap est réparti sur les trois disques.

mkswap /dev/sda3 : à faire pour les 3 partitions.

On utilise la même priorité pour les 3 partitions de swap (avec -p 0)
- swapon -p 0 /dev/sda3 /dev/sdb3 /dev/sdc3

A noter que le swap n'est donc pas en RAID, donc en cas de claquage d'un disque, il peut se passer des choses bizarres. Le swap ne sert pratiquement plus de nos jours, mis à part pour l'hibernation. Je préférais vous prévenir afin que vous agissiez en connaissance de cause. Faites le chez vous les enfants, mais ne venez pas vous plaindre ensuite!

Installation et configuration du système

Il faut maintenant installer les paquets.
Dans le cas d'une Arch, il vous faudra au minimum base. Pour le reste, c'est vous qui voyez.
Ça y est ? Tous les paquets sont installés ?
Nous allons poursuivre la configuration en gardant à l'esprit que votre disque n'est pas encore à la racine, mais simplement mounté dans un tmpfs.

Création de la config mdadm


mv /mnt/etc/mdadm.conf /mnt/etc/mdadm.conf.old
mdadm --examine --scan >> /mnt/etc/mdadm.conf

Attention à bien écrire dans le /etc du mount, et non pas dans celui monté en RAM pour l'installation.

Gardez précieusement le fichier mdadm.conf original. Il vous servira plus tard pour compléter la configuration (adressse mail pour le monitoring, etc..)

le double >> pour la redirection dans mdadm.conf, c'est uniquement dans le cas où vous referiez la manip avec un fichier qui a déja servi.

Autres fichiers à éditer

Vous pouvez éditer ces fichiers depuis le menu d'installation de Arch.
- Il s'agit du menu "Install Packages".

Editez au minimum rc.conf pour avoir les locales en français au démarrage.

locale.gen : décommenter la locale choisie dans rc.conf

Si vous voulez utiliser un ramdisk pour charger les modules RAID (plutôt que de recompiler un noyau avec ledit support), c'est le moment de modifier: /etc/mkinitcpio.conf .
- mkinitcpio se lance depuis un environnement chrooté, mais Arch se charge fort bien de cette tâche lorsque vous quittez le menu d'édition des fichiers.

La configuration de pacman fera l'objet d'un billet à part.

N'oubliez pas de changer le mot de passe root.

Sortie de l'installeur

Vous pouvez quitter l'installeur.

N' installez pas Grub depuis le menu Arch. Nous allons le faire depuis le shell, dès que nous aurons chrooté le RAID.

Installation de GRUB

Chroot du RAID

Il nous faut maintenant chrooter pour continuer l'installation


[root@archiso ~]# mount -o bind /dev /mnt/dev
[root@archiso ~]# mount -t proc none /mnt/proc
[root@archiso ~]# chroot /mnt /bin/bash

GRUB sur le premier disque

L' opération est détaillée pour le premier disque.
- Elle sera à refaire pour chacun des disques, afin de pouvoir booter avec n'importe quel disque.

Nous installerons GRUB sur les autres disques après le premier boot.

Il nous faut commencer par ramener les fichiers de GRUB au bon endroit.
- cp -a /usr/lib/grub/i386-pc/* /boot/grub/

Un petit coup d'oeil à /boot/grub/menu.lst afin de nous assurer que les paramètres par défaut sont corrects...
- root est sur /dev/sda3. Ce qui est faux. Correction, avec remplacement par /dev/md1.
- Un autre problème que vous pourriez rencontrer: vous n'avez fait qu'une seule partition racine, avec /boot inclus dedans. Dans ce cas, le noyau est dans /boot, et non pas dans / .
- Voici ma config grub:


timeout   5
default   0
color light-blue/black light-cyan/blue

title  Arch Linux  [/boot/vmlinuz26]
root   (hd0,0)
kernel /boot/vmlinuz26 root=/dev/md1 ro md=1,/dev/sda1,/dev/sdb1,/dev/sdc1
initrd /boot/kernel26.img

Ensuite, nous invoquons grub avec ... grub

Et sous l'interface, nous rendons le premier disque bootable


grub> root (hd0,0)
grub> setup (hd0)
grub> quit

Avant de rebooter

Assurez vous d'avoir changé le password de root, sinon vous ne pourrez pas utiliser ce compte.
Vous pouvez aussi créer un utilisateur : adduser -m toto puis passwd toto

Support par Linux au boot

Support par modules
- Par défaut, votre noyau de distrib a tous les drivers possibles compilés en modules (le noyau serait trop gros avec les drivers compilés en dur).
- Il faudra donc utiliser une image montée en ram juste après le chargement du noyau, pour utiliser les modules RAID.
- Je ne détaille pas cette option ici, mais j'ai préparé un billet que je posterai bientôt pour les gens intéressés.

Support dans le kernel
- Le plus facile est de se compiler un kernel avec le support RAID built-in.
- L'inconvénient est que l'on perd le noyau fourni par sa distribution. Sauf si bien sûr on crée un paquet avec le noyau nouvellement compilé.

Premier boot : alors ça, c'est RAID!

Montage en lecture seule des devices RAID (mdx)

Le boot semble bien se passer, tout va très bien Madame la Marquise ... sauf qu'on déplore un tout petit rien.
Les partitions md0 et md1 sont montées en lecture seule
- EXT4-fs (md0) : Filesystem with huge files cannot be mounted RDWR without CONFIG_LBDAF
Mais à part ça, Madame la Marquise, tout va très bien, tout va très bien.

Résolution 1 : bête et méchante.

Vous pouvez rebooter sur votre CD d'install, ré-assembler le RAID, et recompiler un noyau avec l'option CONFIG_LBDAF
- Cette option sert à supporter les fichiers de plus de 2 Tera-octets.
- Vu que mon RAID est composé de 3*40Go, ceci parait un peu inutile ... nous allons enquêter un peu plus sur ce message.

Résolution 2 : un poil de réflexion.

Nous allons inspecter les systèmes de fichiers (cette erreur ne concernant pas le RAID).

Reboot avec le CD d'install, et ré-assemblage du RAID. Mais cette fois, pas de recompilation du noyau!

tune2fs -l /dev/md1
- nous voyons le flag HUGE_FILE , qui provoque le problème.
- répéter l'opération pour md2 (normalement, c'est la même chose si vos partitions ont été créées de la même façon).

Nous allons enlever le flag HUGE_FILE
- tune2fs -O ^HUGE_FILE /dev/md1
- si nécessaire, répéter l'opération sur les autres unités RAID.
- vérifier que les opérations ont été répercutées (ex: tune2fs -l /dev/md1 )

Lancer un e2fsck sur les devices RAID (ex: e2fsck /dev/md1 )

Si tout est ok, reboot !

Dernières opérations après reboot

GRUB sur le disques supplémentaires

Il ne nous reste plus qu'à installer GRUB sur les disques restants, afin d'avoir trois disques identiques et substituables.

Relancez grub et tapez ces commandes:


grub> device (hd0) /dev/sdb
grub> root (hd0,0)
grub> setup (hd0)
grub> device (hd0) /dev/sdc
grub> root (hd0,0)
grub> setup (hd0)
grub> quit

Sauvegarde de la structure des disques

Afin de reconstruire rapidement un disque raid, il est utile de sauvegarder sa structure.
- Il faudra bien sûr un disque de taille identique ou supérieure pour restaurer.


 sfdisk --dump /dev/sda >sfdisk_sda
 sfdisk --dump /dev/sdb >sfdisk_sdb
 sfdisk --dump /dev/sdc >sfdisk_sdc

A mettre en lieu sûr. La partition raid devrait faire l'affaire.

Pour restaurer, il vous suffira de pratique l'opération inverse.
- sfdisk /dev/sda < sfdisk_sda

Base de monitoring

/proc/mdstat

On commence par utiliser les processus.
Pour l'admin, un cat /proc/mdstat suffit.
- ce n'est pas très pratique pour les scripts.

Le strict minimum peut être obtenu facilement:


cat /proc/mdstat | awk '/^md[0-9]/ { dev=$1 } /\[[U_]+\]/ { match($0,/\[[U_]+\]/,state); print dev ":" state[0] }'

à adapter selon ce que vous souhaitez en faire.
- par exemple, cette sortie pourrait être lue avec beuglement de la machine en cas de détection d'un disque en rade.

mdadm

On peut utiliser tout simplement mdadm.
- Il suffit de le placer en mode monitor.


mdadm -F -m toto@foo.com --scan -1 -t

Signification des flags:
- -F : mode monitor.
- -m : précise le mail où envoyer le rapport.
- scan
- -1 : une seule itération et sort (sans ce flag, lancé en daemon).
- -t

Pour recevoir des emails en cas d'alerte, vous avez un paramètre dans mdadm.conf:
- MAILADDR moi@bigcorp.com

RAID is dead (ou: RAID en rade)

Maintenant, simulons une panne afin de nous assurer que tout est d'équerre.

Où sont les disques ?

Pour commencer, il faut repérer les ports SATA pour retrouver les disques facilement dans le boitier.

Explorons un peu les devices pour retrouver tout ça:
- /sys/block/sda/device -> ../../../0:0:0:0
- qui pointe en fait vers
- /sys/devices/pci0000:00/0000:00:1f.2/host0/target0:0:0/0:0:0:0

Nous en déduisons:
- 1f.2 : controleur sata de sda.
- target : donne le port pour sda.

Pour faire plus court: readlink -f /sys/block/sda/device
- /sys/devices/pci0000:00/0000:00:1f.2/host0/target0:0:0/0:0:0:0

résultat de readlink sur sda, sdb, sdc :


sda: /sys/devices/pci0000:00/0000:00:1f.2/host0/target0:0:0/0:0:0:0
sdb: /sys/devices/pci0000:00/0000:00:1f.2/host0/target0:0:1/0:0:1:0
sdc: /sys/devices/pci0000:00/0000:00:1f.2/host1/target1:0:0/1:0:0:0

Un coup d'oeil sur la carte mère..
- Sur l'epoxy de la carte mère, il est sérigraphié un libellé à côté de chaque port sata: sata-a, sata-b… jusqu'à sata-d pour ma part.
- Ces ports sont reliés à des disques. Une étiquette sur le cordon sata côté disque indique: hd0, hd1, hd2.
- Nous en déduisons assez logiquement que le nommage du controleur sata suit la même progression.

host0 pour les deux premiers, logique au vu du branchement physique.

Logique et Informatique ne riment que dans le dictionnaire.
- Nous pouvons vérifier notre théorie en débranchant le premier disque, machine éteinte.
- Ensuite, nous rallumons la machine en bootant sur le media d'installation ou sur un live-CD (surtout pas sur votre OS à ce stade!).
- Il ne reste plus qu'à vérifier, en faisant la manipulation ci-dessus. Vous devriez retrouver facilement l'emplacement physique du disque déconnecté.

Tout ceci devrait faciliter le remplacement d'un disque grillé, sans avoir besoin de l'horrible méthode essai/erreur.

Simulation d'une panne soft

Les possibilités ne manquent pas, avec option électrocution pour les aventuriers de tous les dangers.
- Pour commencer, j'ai choisi la méthode douce: marquage d'une partition raid en fail, et retrait de celle-ci.

Marquage en fail:


# mdadm -f /dev/md1 /dev/sda1
mdadm: set /dev/sda1 faulty in /dev/md1

Retrait de la partition:


# mdadm -r /dev/md1 /dev/sda1
mdadm: hot removed /dev/sda1 from /dev/md1

Vérification du retrait de sda1 de md1
- La première partition est arrêtée: _UU


# cat /proc/mdstat
Personalities : [raid1] [raid6] [raid5] [raid4]
md2 : active raid5 sdb2[1] sdc2[2] sda2[0]
      923833728 blocks level 5, 64k chunk, algorithm 2 [3/3] [UUU]

md1 : active raid1 sdc1[2] sdb1[1]
      24410624 blocks [3/2] [_UU]

Remise en route du raid
- Auparavant, nous créons un gros fichier sur md1, juste pour rire.
- dd if=/dev/urandom of=garbage count=1M bs=1K

Et nous ajoutons sda1 à l'array md1
- mdadm -a /dev/md1 /dev/sda1

Ça bosse ? Un petit coup d'oeil à mdstat


# mdadm -a /dev/md1 /dev/sda1
mdadm: re-added /dev/sda1

# cat /proc/mdstat
Personalities : [raid1] [raid6] [raid5] [raid4]
md2 : active raid5 sdb2[1] sdc2[2] sda2[0]
      923833728 blocks level 5, 64k chunk, algorithm 2 [3/3] [UUU]

md1 : active raid1 sda1[3] sdc1[2] sdb1[1]
      24410624 blocks [3/2] [_UU]
      [>....................]  recovery =  1.2% (293632/24410624) finish=2.7min speed=146816K/sec

unused devices: <none>

Simulation d'une panne hard

Cette fois, c'est du sérieux. Terminé les marquages fail, place au tournevis.
Éteignons la machine, et retirons le disque correspondant à sda.
Nous en plaçons un autre en remplacement.
- Nous avons vu plus haut comment repérer les disques dans le boitier.

Bien entendu, nous n'avons pas pu sortir proprement de l'array raid le disque grillé.
- Il faut donc rebooter sur un live CD, pour reconstruire l'array.

Pas de bol, le nouveau disque inséré est identifié comme étant sdb (les joies de udev).
- En situation critique, il faudrait donc au plus deux reboots (et les fsck afférents) pour trouver un disque grillé.

Dans mon test de restauration, le disque de remplacement avait une capacité très inférieure aux autres disques. Cela ne gêne pas pour du raid soft, et je me suis contenté de reconstruire la partition système.
- Opérons un fdisk sur un disque faisant partie de l'array, afin de récupérer les valeurs start et end de la ppartition système. Ensuite, nous re-créons la partition sur le disque de remplacement, en utilisant bien sûr les mêmes valeurs.
- Il y a encore plus simple: si vous aviez sauvé les valeurs de vos partitions raid avec sfdisk, vous pouvez faire l'opération inverse pour initialiser le nouveau disque (il faut cependant qu'il soit de capacité identique ou supérieure aux disques déja présents).

Une fois le disque de remplacement paramétré, nous pouvons assembler le raid.
- Nous commençons par intégrer les deux disques corrects.
- C'est un assemblage en mode dégradé (d'où le paramètre --run)


~# mdadm --assemble --run /dev/md1 /dev/sda1 /dev/sdc1

Normalement, nous obtenons: mdadm: /dev/md1 has been started with 2 drives (out of 3)
Un cat /proc/mdstat donne plus de précisions


md1: active raid1 sda1[0] sdc1[2]
     24410624 blocks [3/2] [U_U]

Il ne nous reste plus qu'à ajouter le disque de remplacement à l'array:


~# mdadm --add /dev/md1 /dev/sdb1
~# cat /proc/mdstat # indique que le recovery est en cours.

Le mount du disque RAID est possible, pour vérifier que tout est bien là.
- mount /dev/md1 /mnt

Attention à éditer mdadm.conf et /etc/fstab sur votre array, si vous n'avez pas restauré toutes les partitions!

Rebootons sur notre RAID remis en état.

Voilà.

Si vous avez fait un test et que vous désirez remettre l'ancien disque, enlevé uniquement durant le test:
- bootez sur un live CD.
- agrégez le raid sur les deux disques synchronisés dans le raid.
- ajoutez le disque (même procédure que ci-dessus).

Une astuce pour finir. Vous pouvez très bien faire:


#ici, /dev/sdb1 n'a pas encore été remis dans l'array

~# mdadm --assemble /dev/md1 /dev/sd1 /dev/sdb1 /dev/sdc1
mdadm: /dev/md1 assembled from 2 drives - need all 3 to start it
       (use --run to insist).

~# mdadm --run /dev/md1
mdadm: started /dev/md1

Un cat /proc/mdstat montre que sdb est manquant.
- Il ne reste qu'à ajouter sdb1 à md1, et c'est reparti!

Mais je serai RAID avant qu'il n'ait fini !

Vous avez sans doute remarqué que la reconstruction d'une array pouvait prendre un certain temps.
Heureusement, il y a moyen d'accélérer les choses.

Vous ne voulez rien synchroniser, car vous avez juste déplacé un disque de port SATA sur la carte mère. Ceci peut arriver dans le cas d'un changement de cable par exemple, cable qui sera trop court. Dans ce cas, votre troisième disque contient déja toutes les données et vous n'avez pas besoin de le reconstruire.
- ATTENTION cette option n'est valable que si vous n'avez pas encore monté le RAID que vous voulez reconstruire. Si vous avez booté sur le RAID ou monté vos disques RAID, c'est fichu, cette option n'est plus valable.
- Faites un resync du nouveau disque avec l'option ——assume-clean.

Un cas plus classique de grande lenteur.
- Dans un cas plus réaliste, c'est à dire si vous ajoutez un disque neuf, vous serez obligé de tout reconstruire. Mais même dans ce cas, vous pouvez également accélérer les choses.


~# cat /proc/sys/dev/raid/speed_limit_min
1000
~# cat /proc/sys/dev/raid/speed_limit_max 
200000

Ceci signifie que pour chaque disque, la limite minimale de reconstruction est de 1mo par seconde. Et la limite haute est de 200mo/s.
La limite basse est vraiment peu élevée. On peut l'augmenter.


echo 20000 > /proc/sys/dev/raid/speed_limit_min
 
OU
 
sysctl -w dev.raid.speed_limit_min=20000

Nous passons ainsi à un objectif de 20mo/s.
- Ces modifications sont temporaires. Il faudrait placer le sysctl dans un fichier de démarrage pour les rendre résistantes au reboot.

Nous disposons également de l'option bitmap, qui accélère la reconstruction.


~# mdadm --grow --bitmap=internal /dev/md0

Une fois l'array reconstruite, il faut désactiver l'option.


~# mdadm --grow --bitmap=none /dev/md0

Une autre option susceptible d'accélérer les choses est de mounter les partitions avec l'option noatime
- Cette option n'est pas spécifique au RAID, mais elle accélérera les transactions sur les partitions journalisées avec EXT4.
- fstab : /dev/md1 / ext4 defaults,noatime 0 1 (partition root)
- suivi d'un mount / -o remount
- puis d'un controle avec cat /proc/mounts

Un petit exemple de vitesse avec ces paramètres modifiés (speed_limit_min et bitmap):


~# mdadm --grow --bitmap=internal /dev/md1

~# mdadm -a /dev/md1 /dev/sdc5

# cat /proc/mdstat 

Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] 
md1 : active raid5 sdc5[3] sda5[0] sdb5[1]
      1718745088 blocks level 5, 512k chunk, algorithm 2 [3/2] [UU_]
      [>....................]  recovery =  0.5% (4840064/859372544) finish=150.8min speed=94402K/sec
      bitmap: 3/7 pages [12KB], 65536KB chunk

Better RAID than dead

Sur ce, j'arrête les jeux de mots faciles. Avant que tout cela ne ressemble au style des admins BSD.
Merci d'avoir pris le temps de lire ce long billet (oserais-je parler d'article ?). J'ai passé encore plus de temps à l'écrire.
Dernière chose: j'ai utilisé mes notes provenant de l'installation de deux machines. Il se peut que certains devices vers la fin ne correspondent plus à ceux du début. J'ai tout relu et corrigé, bien sûr, mais certains détails ont pu m'échapper.

RTFM

Jean-Seb — Tue, 15 Mar 2011 00:17:00 +0100

RTFM! Qui n'a jamais entendu cette injonction, tant laconique que définitive, à la suite d'une innocente question ?
Alors on lance man... et les pages de manuel s'accumulent dans les terminaux.
Mais il existe une solution.
Dans tous les moments de la vie, Vim est votre ami.

Apprendre à lire

man, classique

man est lancé depuis le terminal actif, puis fermé pour utiliser la commande.
- Bien entendu, juste après la fermeture, la moitié des paramètres est déja oubliée.

man, séparé

Vous utilisez un autre terminal, et vous lancez man au sein de celui-ci.
- Le terminal principal reste libre, et vous gardez le manuel ouvert à l'endroit qui vous intéresse.
- Cette façon de faire est un peu meilleure, mais les terminaux ont tendance à se multiplier, voire s'empiler (sous X).

man avec Vim

Vim possède depuis plusieurs années déja le support des tabs.
- Chaque tab correspond à une zone de saisie différente au sein de Vim.
- A ne pas confondre avec le mode splitté de la zone de saisie (:help split).
- Très pratique pour l'édition multiple de sources.

Pour tester les tabs:
- Lancez Vim.
- Et en mode commande: :tabnew

Pour avoir la liste de toutes les possibilités associées aux tabs:
- :help tabs

Nous allons utiliser les tabs afin d'ouvrir chaque nouvelle page de man dans un nouveau tab.

Contrôle de Vim à distance

Tout cela est bien beau...

Vous allez me dire (et vous aurez bien raison) que tout cela est bien beau.
Et vous ajouterez (toujours avec raison) qu'encore faudrait-il avoir la possibilité de contrôler une instance de Vim depuis le shell.
Comme vous vous en doutez, on peut. A la seule condition que Vim ait été compilé avec l'option clientserver
- Le paquet officiel de Arch comporte cette option. Utilisateurs Ubuntu, ne pleurez pas, vous bénéficiez du même traitement de faveur.
- Les vrais mecs sous Gentoo n'ont plus qu'à recompiler avec le bon flag. Quand aux Slackers, ils ont d'autres soucis: Pango vient de se téléscoper Cairo après une mise à jour douteuse, et plus rien ne fonctionne.

Vim! Lève toi et marche!

Il faut lancer Vim en mode serveur, avec un nom d'instance pour le repérer par la suite:
- Afin de bien appuyer le propos, finiderire est utilisé comme nom d'instance.
- vim --servername finiderire

Et ensuite, on ouvre un fichier dans l'instance finiderire.
- gvim --servername finiderire --remote-tab /etc/passwd

A noter l'option --remote-tab-silent qui ne provoquera pas d'avertissement de Vim si l'instance est créée en même que l'ouverture de la tab.
- Nous allons utiliser cette option pour notre pager, afin d'éviter de tester l'existence de l'instance pour la première ouverture.

Et pour tout voir sans rien payer:
- :help remote

Communication man/Vim

MANPAGER

$MANPAGER est une variable d'environnement du shell qui permet d'indiquer quel pager utiliser pour ouvrir une page man.
- Il faudra penser à l'initialiser avec le nom et l'emplacement de notre script, une fois celui-ci au point.

Pour le moment, nous lançons man avec l'option -P qui a une priorité supérieur à $MANPAGER.
- Pour avoir le comportement par défaut de man (ouverture dans le terminal de la page de manuel):
- man -P "less -s" ls

Les opérations à réaliser

On commence par récupérer la sortie de man avec un simple cat:
- man -P "cat " ls >/tmp/man.$$

Récupération de la page dans Vim:
- gvim --servername finiderire --remote-tab-silent /tmp/man.$$

Effacement du fichier temporaire:
- rm /tmp/man.$$

Script final

Voici un script plus complet.


#!/bin/bash

pageman=/tmp/$$.man

rm -f /tmp/*.man

cat | col -b -x > $pageman

man_asked=/tmp/"$(head -1 $pageman | sed 's/\(^[^\ \(]\+\).*/\1/')".man
mv "$pageman" "$man_asked"

gvim -R -c 'set ft=man nomod nolist nonumber guioptions="-T -m"' -font "Terminus (TTF) 12" -c 'map q :q!<CR>' --servername finiderire --remote-tab-silent $man_asked

Et voici les explications

Effacer les anciens fichiers man en entrée du script.
- On ne peut pas le faire en sortie du script, car il n'y aurait plus rien dans Vim.
- rm -f /tmp/*.man

Formatter la sortie de man.
- cat | col -b -x > $pageman

Récupérer le nom de la page de manuel demandée.
- Cela sert à générer le nom du fichier, afin d'afficher le nom de la commande dans la tab.


 man_asked=/tmp/"$(head -1 $pageman | sed 's/\(^[^\ \(]\+\).*/\1/')".man

Et le gros morceau: le lancement de Vim.
- passer en read-only : -R
- indiquer que le type de fichier est une page man, pour la coloration syntaxique: set ft=man
- diverses commandes pour désactiver les préférences du .vimrc : nomod nolist nonumber
- supprimer la toolbar et le menu pour gagner de la place: guioptions="-T -m"
- changer la fonte par défaut: font "Terminus (TTF) 12". Cette fonte est disponible dans les paquets Arch.
- permettre de quitter la page avec un simple appui sur la touche q : map q :q!<CR>. Et si vous modifiâtes par erreur le buffer, vous sortirez sans confirmation.
- Et enfin, ouvrir la page man dans l'instance finiderire, dans une tab portant le nom de la commande demandée.

N'oubliez pas d'ajouter dans votre .bashrc (pour les utilisateurs de bash, bien sûr)
- export MANPAGER=/path/vers/votre/script

Améliorations possibles

Dans ce script, j'utilise gvim, qui est la version X de Vim.
- Vim peut également être lancé avec ou sans l'option -g, selon que vous désirez ou non la version X.
- En d'autres termes, gvim est un alias pour vim -g
- Vous pourrez donc modifier le script pour lancer en mode console vim, et passer en mode gvim si l'environnement graphique est détecté.

Une autre amélioration possible serait de nommer les tabs sans l'astuce du mv.
- Vous pouvez initialiser Vim en précisant le nom du tab : :help setting-guilabel.
- C'est d'ailleurs la façon la plus propre de procéder. Je n'ai découvert cette possibilité qu'après avoir écrit le script, à la relecture de ce billet.
- Cette modification est donc laissée à titre d'exercice au lecteur.

Une modification sympathique serait d'intercepter le double clic de la souris, qui surligne un mot sous Vim, afin de lancer la page man correspondante.
- Vous pouvez bien sûr d'ores et déja faire :!man foo depuis Vim pour ouvrir la manpage foo.
- Il serait cependant plus agréable de le faire d'un simple (double) clic.

RTFM, RTFB

Si d'aventure vous goûtez au RTFM! sur un forum, consolez-vous en pensant que ça arrive même aux meilleurs.
- Et si vraiment vous êtes vexé, consolez-vous en pensant que vous avez désormais le plus beau pager de la galaxie pour lire les pages man.

Voilà.

Et n'oubliez pas, RTFB !
- Read The Finest Blog, bien entendu.

Unison : o c mal

Jean-Seb — Wed, 08 Dec 2010 22:43:00 +0100

Les habitués de mon blog et de ma rigueur langagière doivent déja frémir en voyant ce titre !
Est-il devenu fou ? Le blog a t-il été piraté ? Cède t-il aux sirènes du jeunisme triomphant ?
Nenni ma foi, et je ne puis que vous encourager à poursuivre.

Justifications

De l'origine d'Unison

Unison est écrit en OCaml, langage fort respectable à mi chemin entre le procédural et le fonctionnel.
La communauté OCamlienne est pour l'essentiel française. Elle se situe pour la plupart dans les locaux de l'INRIA. Elle communique en anglais via le channel IRC éponyme sur Freenode.
OCaml est pour le moment en phase de transition majeure. Le temps que les platres soient essuyés, méfiez-vous de la version 3.12 .
Par ricochet, Unison recontre quelques problèmes (distribution Arch Linux) avec OCaml. D'où le titre.
- A noter que ce problème ne touche pas Gentoo. Utilisateurs de Arch, continuez à lire. Utilisateurs de Gentoo, continuez à compiler.
- En fait, ça fonctionne sous Gentoo car OCaml 3.12 n'est pas encore en stable dans portage, donc les problèmes ne sont pas encore apparus.

Description des symptomes

Unison existe en trois versions, du moins sous Linux:
- texte (pratique pour tester, mais peu agréable à l'usage).
- gtk (moche).
- gtk2 (la version par défaut).

La version texte fonctionne toujours, c'est celle à privilégier pour vérifier le bon fonctionnement d'une connexion distante.

Le sujet a déja été abordé dans ce fabuleux blog, rappelons simplement que la communication peut se faire en clair ou avec SSH.

Le script qui esquive le problème

Unison va devoir être lancé via un script

Contenu du script:


~$ cat ./unison2.32
mon_host=desktop_jseb_arch
unison_local=unison-gtk2
#unison_local=unison-gtk

echo "lancement de Unison avec ces paramètres :"
echo "UNISONLOCALHOSTNAME=$mon_host $unison_version"
UNISONLOCALHOSTNAME=$mon_host ltrace -L $unison_local -servercmd=unison-2.32 -contactquietly

Quelques explications

Le "contactquietly" permet d'avoir le focus sur le terminal, plutot que sur une inutile boite de dialogue.

Le patch de Jérome Vouillon

https://bugs.archlinux.org/task/20877?getfile=5824
- J'ai eu du mal à le trouver, je le joins en fichier à ce billet par précaution.

Soyons fou, à l'unison

Si ça continue, je vais créer un tag Unison.
Et assurer le SAV également.

Chauds les marrons! La duplication sans chataignes

Jean-Seb — Wed, 24 Nov 2010 19:48:00 +0100

Vous avez installé Linux sur un disque, tout est bien configuré, et parfait dans le meilleur des mondes.
Seulement voila: vous avez décidé de répliquer votre installation sur un plus gros disque. Ou pourquoi pas, un plus petit (SSD).
Contrainte supplémentaire: vous voulez le faire à chaud, pour bénéficier de votre environnement (et continuer à surfer pendant l'opération).

La grande réplication

Ce que nous avons

Un disque dur /dev/sda avec deux partitions ext4, et une partition swap.
- Les partitions ext4 contiennent respectivement / et le contenu de /home.
- La partition swap est utilisée pour l'hibernation.

Ce que nous voudrions que cela devienne

Nous venons de monter un second disque dur, reconnu comme /dev/sdb
- Ce disque va servir à répliquer le premier disque dur.
- Il est partitionné avec deux partitions ext4, et une partition de swap.
- Ses partitions n'ont bien sûr pas la même taille que le premier (le but n'est pas de faire une réplication à l'identique, mais bien de gagner de la place!).

En résumé

Nous voulons copier sda vers sdb.
- sda1 = /
- sda2 = /home

Procédons !

Nous venons de booter sur le disque servant de base à la réplication (sda).
- Pour l'instant, sdb ne contient rien (je pars toutefois du principe que fdisk est déja passé par là).

Formatage des partitions sur sdb


mkfs.ext4 /dev/sdb1 -L arch_root
mkfs.ext4 /dev/sdb2 -L arch_home

Il est important de nommer les partitions (argument -L), car cela permet ensuite de se passer des noms de devices.
- fstab utilisera les noms de partitions pour le mount.

Montage des partitions de destination


mount /dev/sdb1 /media/hd
mkdir /media/hd/home
mount /dev/sdb2 /media/hd/home

A adapter selon vos goûts (et votre schéma de partitionnement) bien entendu.

Re-montage de la partition système en cours d'utilisation

Pourquoi re-monter une partition forcément déja montée, puisqu'en cours d'utilisation ?
- Parce qu'on ne peut pas faire un cp -a / /media/hd directement.
- En effet, il y aurait copie récursive lorsque cp arriverait sur /media/hd du premier disque.

Il faut donc remounter / avec:


mount -o bind / /mnt/root

le but du mount -o bind est de donner accès a la partition root brute (sans aucun mount, ni /proc monté).
Elle reste bien sûr montée sur / par ailleurs (fort heureusement).

La copie peut débuter


cp -a /mnt/root/* /media/hd/

Comme dit précédemment, ça ne copie pas /home. Il est toujours monté à son emplacement d'origine.

Nous allons donc le copier à son tour.


cp -a /home/* /media/hd/home/
(puis, eventuellement:)
chown jseb.jseb /media/hd/home/jseb

Cooooopie, c'est fiiiiini ...

Avant de démonter, nous créons un fichier à la racine du nouveau disque pour le repérer plus facilement dans grub.


touch /media/hd/nouveau_disque

Cette astuce va nous permettre de ne pas commettre d'impair avec grub.

On peut ensuite démonter les partitions.


umount /media/hd/home
umount /media/hd

Fignolagisation

Cet horrible néologisme qui raye l'émail n'avait que pour but de réveiller les lecteurs assoupis pendant la copie.
- En effet, tout n'est pas fini: nous voulons que ce disque soit bootable, et que l'hibernation soit toujours fonctionnelle.
Avez-vous vérifié que la partition destination système avait le flag bootable, au fait ?

fstab

Tout d'abord, occupons nous du fstab présent sur le disque de destination.
Si vous n'avez pas changé les noms et les emplacements de vos points de montage, vous pouvez laisser telles les entrée concernées.
Il vous faudra cependant au moins modifier l'entrée pour la swap, dont l'id va changer.
Vous devriez avoir quelque chose dans ce genre (j'ai isolé ce qui nous intéresse, le vrai fstab est plus long):


LABEL=arch_root / ext4 defaults 0 1
LABEL=arch_home /home ext4 defaults 0 1
#pour monter automatiquement le swap d'après son UUID (et non plus le premier trouvé dans l'ordre d'énumération des devices)
UUID=5e6d9679-16dc-48f7-889b-2c7181c01e15 swap  swap defaults          0      0

Quelques explications à propos du swap et son identification par l'UUID.
- Si on reboote avec l'ancien disque branché, et que le swap n'a pas été précisé dans la config, le premier trouvé (quel que soit le device) sera utilisé.
- On ne peut pas utiliser les lettres de device (sda, sdb ..) pour indiquer où se trouve le swap, car le nommage est dynamique et ne tombera pas forcément sur le device précisé dans la config.
- Il faut utiliser l'UUID de la nouvelle partition de swap, obtenu avec "mkswap".
- Si vous n'avez pas noté l'UUID du disque au moment de la création du swap, vous pourrez le retrouver ici: /dev/disk/by-uuid

Configuration du pingouin gelé

Les fichiers de configuration de TuxOnIce se trouvent généralement ici: /etc/hibernate/

Dans tuxonice.conf, vous devriez ajouter l'uuid de votre nouveau swap.
- Ceci évitera l'utilisation du swap de votre ancien disque, si celui-ci est trouvé en premier.


SuspendDevice swap:UUID=5e6d9679-16dc-48f7-889b-2c7181c01e15

Ne modifiez pas l'emplacement du swap pour l'hibernation dans la configuration du kernel, cela ne concerne pas TuxOnIce.
- Donc pas la peine de recompiler un noyau.

grub

Contenu potentiel de menu.lst


# /boot/grub/menu.lst:

title  2.6.36-ToI JSeb
root   (hd0,0)
#kernel /boot/vmlinuz26 root=/dev/disk/by-label/arch_root ro VGA=ask
kernel /boot/vmlinuz26 root=/dev/disk/by-label/arch_root ro resume=swap:UUID=5e6d9679-16dc-48f7-889b-2c7181c01e15 VGA=ask
initrd /boot/kernel26.img

On remarquera que le root pointe sur mon premier disque.
La copie s'est faite vers sdb (dans l'ordre des énumérations).
- Ce n'est pas grave: sdb devient tout simplement sda.
- Vu que les devices ne sont pas utilisés dans la suite du boot (repérage par nom de partition et par UUID pour le swap), tout fonctionne.

Ensuite, lancez grub en root.


grub> find /nouveau_disque
 (hd1,0)

grub> root (hd1,0)
 Filesystem type is ext2fs, partition type 0x83

grub> setup (hd1)

A noter l'astuce du find, sur le fichier précédemment créé à la racine.
- Ceci permet de repérer à coup sûr le disque.

Voila, grub est installé sur le MBR.
- pour installer sur sdb1 , ce que certains préfèrent , il aurait fallu faire:
- setup (hd1,0)

C'est dans la boite

Que dire de plus ?
reboot ! Et croisez les doigts, on ne sait jamais.

Arch, le kernel et la marmotte

Jean-Seb — Thu, 11 Nov 2010 19:34:00 +0100

Vous venez de compiler un noyau personnalisé pour votre Arch.
Vous pourriez le copier à la main - et perdre le suivi de version des paquets Arch.
Que fait la marmotte avec le beau noyau de Arch ?
Elle l'emballe dans le paquet!

La saison des marmottes

kernel perso

Nous voulons donc nous compiler un noyau personnalisé, et l'empaqueter proprement.
Afin d'ajouter un peu d'intérêt à la chose, nous allons aborder un cas que les noyaux génériques de Arch ne couvrent pas.
- Il s'agit d'ajouter au noyau le patche TuxOnIce, afin de permettre l'hibernation.
- Dans AUR, il y a bien un build s'occupant de cette tâche. Il ne fonctionne hélas pas du tout. Je vous laisse vous référer aux rapports de bugs Arch pour plus de précisions (c'est à dire que vous apprendrez qu'il est urgent d'attendre une nouvelle version du noyau).
- Les impatients devront donc compiler eux-même leur noyau. C'est ce que nous allons faire, et nous en profiterons au passage pour expérimenter une ou deux nouvelles pratiques.

Vous avez tous une carte 3D ? Sous Linux, NVidia est malheureusement le passage obligé. Nous ajouterons donc la création d'un paquet contenant les derniers drivers propriétaires.

Dans ce billet, je n'aborde que les grandes lignes des manipulations générales, et je n'entre dans les détails que pour les spécificités Arch.
- Par exemple, si vous ne savez pas patcher les sources du kernel avec TuxOnIce, lisez la documentation du site web du projet.

Et la marmotte ?

Je viens de voir passer la marmotte, et elle trainait un gros édredon. Il ne va pas falloir trop compter sur elle.
En d'autres termes, vous allez devoir faire le paquet vous même.

Préparation

Récupération des sources

Récupérez le dernier noyau stable sur kernel.org.
- Pour l'instant, il s'agit du 2.6.36.
Les sources sont placées dans /usr/src.
- Certaines personnes vous diront de les mettre dans votre home. Ignorez les.
N'oubliez pas de faire un lien symbolique /usr/src/linux pointant vers votre répertoire de sources kernel.
- ln -s linux-2.6.36 linux

Récupérez le patch de TuxOnIce, et placez le dans le répertoire du kernel à préparer.

Configuration du kernel

Commencez par patcher le kernel avec TuxOnIce.
- patch -p1 < tuxonice.patch

Supprimez les reliques et scories éventuelles. A faire même si vous venez de désarchiver les sources.
- make mrproper

Ensuite, il s'agit de choisir soigneusement les options du noyau (n'oubliez pas l'hibernation, ça serait bête)
- make menuconfig
- Si vous voulez hiberner en utilisant le swap, pas la peine de préciser l'emplacement de celui-ci dans les options touchant à l'hibernation du kernel (cela ne concerne pas TuxOnIce, mais le support interne du noyau pour l'hibernation. Son utilisation est déconseillée.).
- La configuration part dans les fichier .config, qui est effacé à chaque make mrproper. N'oubliez pas de le sauver sous un autre nom, on ne sait jamais.

Définition du paquet Arch

makepkg utilise deux fichiers de configuration, qui seront nommés ainsi pour l'occasion:
- PKGBUILD : pour la construction du paquet.
- kernel26.install : pour l'installation du paquet.

J'ai repris les deux fichiers du wiki Arch (mes modifications sont mineures) :
- un peu de lecture qui ne fera pas de mal

PKGBUILD

Vous n'aurez pas grand chose à modifier.
- En fait, je n'ai modifié que le nom du paquet, et le numéro de version du kernel.


pkgname=kernel26-jseb
basekernel=2.6.36
pkgver=2.6.36

kernel26.install

J'ai simplement changé ces deux lignes:


KERNEL_VERSION="2.6.36"
LOCAL_VERSION=""

Compilation

Pour les sensibles avec plusieurs coeurs

Si vous avez un processeur multicoeur, ne lancez pas directement makepkg .
- Faites plutôt un make -j n+1 , où n est le nombre de cpu disponibles (qu'il s'agisse de CPU physiques, de cores, ou de threads).
- Par exemple, pour un quad-core classique: make -j 5.
- pour un Xeon 5520 (quad-core, deux threads par core): make -j 9.

Les insensibles peuvent commencer ici

Lancez makepkg qui va créer le paquet.
- Si vous avez préparé la compilation comme décrit ci dessus, ça sera rapide: GCC n'aura plus qu'à linker les fichiers objets.
- Dans le cas contraire, il faudra être plus patient. Mais si vous n'avez pas inclus n'importe quoi dans le noyau, la compilation ne devrait pas dépasser dix minutes.

Installation du noyau

pacman -U chemin/du/paquet/kernel-bidule.xz
Ajoutez à la config de grub une entrée pour votre nouveau noyau, puis rebootez.
Ca boote encore ? Parfait!

Test de l'hibernation

Vérifiez que l'hibernation fonctionne depuis la console:
- n'oubliez pas d'installer le script d'hibernation si ce n'est déja fait:
- pacman -S hibernate-script

Après vous être assuré que la méthode employée est bien le suspend2disk, vous pouvez lancer la commande hibernate.
- Je ne détaille pas non plus la configuration de TuxOnIce, la doc est fort bien faite et il n'y a pas grand chose à raconter.
- Assurez-vous toutefois d'activer la compression.
- Si vous utilisez le swap pour le suspend2disk, plus besoin de préciser l'emplacement en paramètre du noyau, dans grub.

Il ne reste plus qu' à installer le driver nvidia pour pouvoir lancer X.

Haine vidia

Les drivers proprios nvidia, c'est toujours un grand moment d'émotion.
- Ne nous plaignons pas, ils fournissent des drivers corrects, eux (suivez mon regard, je ne vise personne).

Simplifions-nous la vie

Pour éviter d'y passer trop de temps, je me suis contenté de récupérer le build de nvidia-ice (situé dans AUR).
- yaourt -G nvidia-ice

Il n'y a pas grand chose à modifier dans PKGBUILD :
- la version du kernel.
- les dépendances : j'ai enlevé la dépendance sur le kernel, mais j'aurais pu tout aussi bien modifier le nom. Votre avis peut varier.


#!# pkgname=nvidia-ice
pkgname=nvidia-jseb

#!#_kernver='2.6.35-ice'
_kernver='2.6.36'

 (...)

#!#depends=("kernel26-ice" "nvidia-utils=${pkgver}")
depends=("nvidia-utils=${pkgver}")

Même principe pour nvidia-ice.install : modifier la variable KERNEL_VERSION si nécessaire.

Je voudrais vous en dire plus, mais j'ai effacé mon répertoire de build après avoir déplacé le paquet (un réflexe idiot).
- Je pense toutefois qu'il n'y avait pas grand chose de plus à raconter.

Pour finir, lancez makepkg dans le répertoire contenant le pkgbuild.
- Si tout s'est bien déroulé, vous avez un magnifique paquet nvidia prêt à être installé avec:
- pacman -U votre_driver_nvidia.xz

Test final (préparez l'oreiller)

Vous devriez maintenant être sous X.

Une console root, un hibernate ...

C'est terminé. Et ça marche!

Retirons-nous sur la pointe des pieds, afin de ne pas réveiller la marmotte qui a commencé son hibernation.

Back to the basic: un vent d'été de novembre

Jean-Seb — Fri, 05 Nov 2010 19:15:00 +0100

En ce moment, il fait chaud, et pourtant nous sommes début novembre.
Les bizarreries de la météo (blizzard, vous avez dit blizzard ?).
Celà m'a fait penser qu'il restait un article de cet été non posté.
Plutôt qu'attendre l'année prochaine, le voici.
Prenez celà comme le dernier soupir d'un bel été qui n'est plus que souvenir, avant la rentrée dans l'hiver froid, impitoyable, interminable! MUHAHAHAAAA!
MàJ 6 nov. 2010 : quelques précisions sur le partage de fichiers avec le système hôte.

Foin des considérations météorologiques

La dernière fois, nous parlions du développement sur vieux micro avec un cross assembler.
Cette fois-ci, pour nous reposer un peu, nous allons parler basic.
Mais oui, le basic : beginner awfully silly idiotic code. Enfin, un truc dans dans ce goût là.
Il y a vingt ans, les courageux précurseurs n'avaient souvent que ça à se mettre sous la dent.
Me croirez-vous si je vous dit que certaines personnes ne s'en sont jamais remises et continuent à le pratiquer ?
Afin de vous sensibiliser aux arcanes de ce qui touche désormais à la psychiatrie, je vous ai concocté une façon plus humaine d'aborder le problème.

OpenMSX members only

Attention, c'est pour OpenMSX, mais ça doit être transposable facilement à BlueMSX.
En fait, je suis même persuadé que BlueMSX est capable lui aussi d'écrire des fichiers dans le système de fichiers de l'ordinateur hôte.

Le basic MSX

tokens

Le basic du MSX est tokenisé. Quand on sauve un programme basic, les instructions apparaissent sous la forme d'un code hexa, qui représente une instruction. C'est ce qu'on appelle un token.
Cela permet de gagner de la place dans le fichier et en mémoire.

On peut sauver depuis le basic un fichier au format ascii (c'est à dire sans les tokens), avec:
- save "foo.bas",a

Le ",a" est important, c'est ce qui signale qu'on veut de l'ascii.
- Autrement, on n'aurait qu'une bouillie binaire représentant les tokens.

Pour le charger, toujours depuis le basic bien sûr:
- load "foo.bas"

Création d'un programme basic en dehors du MSX

On peut donc charger des fichiers ascii contenant des instructions basic.
- Attention à ne pas oublier les numéros de ligne quand on tape le programme dans un éditeur externe!

Il faut que les lignes se terminent par le CR/LF propre à MS-Dos.
- Le jeu de caractère ne doit pas être trop évolué (pas d'UTF-8). Latin1 fait l'affaire.
Si vous tapez vos sources depuis MS-Windows, pas de problèmes de ce côté là, cet OS fait partie de la famille des CR/LF. En digne héritier de MS-Dos.
Si vous utilisez un OS de conception plus moderne (Unix sous toutes ses saveur par exemple) il faudra convertir vos LF en CR/LF.

Voici l'automatisation de la manoeuvre pour Vim, l'éditeur des gens qui font pas semblant. Ajoutez ceci dans le .vimrc :


autocmd BufNewFile,BufRead *.[Bb][Aa][Ss] set ff=dos fileencoding=latin1

Ceci fonctionnera avec les fichiers qui ont une extension ".bas" (peu importe la casse, il y a la regexp pour ça).
Les fichiers seront automatiquement sauvés avec le format de fin de ligne MS-Dos, et dans un charset que le MSX comprend.

Communication simplifiée avec le système hôte

Les utilisateurs d'émulateurs se compliquent souvent la vie avec tout un système d'émulation de disquettes ou de disque dur.
Le plus simple (quand la machine et l'émulateur le permettent, ce qui est le cas ici) est de partager ses fichiers avec le système hôte.

Par exemple, pour partager /home/jseb/msx/coding avec le msx émulé :


openmsx -machine nms8245 -diska /home/jseb/msx/coding

La commande files depuis l'écran de saisie basic du MSX permet de lister les fichiers partagés entre le système hôte et le MSX émulé.
- Toutes les manipulations de fichier habituelles sont bien sûr possibles depuis le msx (load, save , bload ...)

Le paramètre machine nms8245 est là car je n'utilise pas tout le temps la même machine, et qu'il n'y en a pas de configuré par défaut.
- Selon votre configuration, vous pouvez vous en passer (si le cbios démarre par défaut, vous n'avez pas de machine de configurée).

L'utilitaire diskmanipulator de OpenMSX est à réserver aux manipulations d'iso de disquettes.
- Il est idéal pour transférer les fichiers vers un vrai msx, et s'utilise depuis la console d'OpenMSX.

Les numéros de lignes

Reste le problème des numéros de lignes pour le basic.
Ces vieux basic imposent une référence permanente aux séquences d'instructions. Cette référence est symbolisée par des numéros de lignes, sans autre rêgle qu'une progression constante et croissante.
Taper du code en commençant chaque ligne par un numéro croissant, c'est pénible.
- Sans parler des erreurs de renumérotations!
- Et que faire quand on n'a plus de numéros de lignes disponibles, et qu'on voudrait encore insérer une ligne dans cet ensemble ?

Le script magique

Voici un script qui permet de numéroter un programme basic de 10 en 10.
Les lignes commençant avec un numéro de ligne sont renumérotées, et quand il n'y n'y a pas de numéro de ligne, il est ajouté. En prime, les espaces et tabulations inutiles de début de ligne sont supprimées.
Les lignes vides sont ignorées.
Les références à des lignes existantes sont bien sûr traitées, sous réserve que les lignes référencées soient déja numérotées.
- On peut donc se contenter de numéroter ces lignes uniquement lors de la saisie.
- Le cas de "on k goto" suivi de plusieurs numéros de lignes est traité.
Les cas de lignes contenant des sauts multiples est traité.
- On peut en effet rencontrer des constructions barbares de ce type:
- gosub 20 : goto 10
- Beurk certes, mais le cas est géré.

Attention, si vous utilisez MS-Windows: vérifiez vos terminaisons de lignes pour éventuellement adapter le script si vos outils écrivent un 0xD 0xA comme terminateur. Ceci dépendra des choix par défaut de votre environnement d'origine: depuis un shell émulant Unix, ou depuis un programme utilisant directement l'api MS-Windows.


#!/bin/bash
# ce script vient de www.finiderire.com
# le blog pour les gens qui en ont dans le chausson.

if [ x"$1" == x"" ]; then
   echo $0 "[fichier à renuméroter]"
   exit 1;
fi

#simple précaution, un accident est très vite arrivé
cp "$1" "$1".bak 

#conversion au format Unix \n (Dos \r\n pose problème à awk)
#également, espacement des nombres séparés par virgule (cas de "on goto")
sed 's/\r$//;s/\([0-9]\)\ *,\ *\([0-9]\)/\1 , \2/g' < "$1" > "$1".tmp
mv "$1".tmp $1

#pour l'astuce de la relecture du fichier, voir awk/multipass.awk
awk 'NR!=FNR && !reset { l=0; reset=1; } #renumérote de zéro (2nde passe)

     #enlever espaces et tabs de début de ligne, si pas de numérotation
     NR!=FNR { sub (/^[\t\ ]+/,"",$0) }

     #renumérotation des goto/gosub (la seconde passe sert à ça)
     NR!=FNR && tolower($0) ~ /.*go(to|sub).*/ {
        for (i=1; i<=NF; i++) {
           #si pattern go(to|sub) détecté, prochaine colonne est un nbr
           if ($i ~ /.*go(to|sub).*/) { next_is_nbr=1 }
           # si on avait un goto/gosub juste avant ...
           if ($i ~ /[0-9]+/ && next_is_nbr) {
              $i = t[$i] #récupère index sur nouveau label
              if ( $i == "" ) $i="NaN" #si problème
              if ( $(i+1) != "," ) next_is_nbr=0; #cas de "on k goto ..."
           }
        }
     }

     #passe 1 et 2, on doit numéroter à chaque fois.
     /^[0-9]+/ { #un numéro de ligne est présent
     if (l || l==0) {l+=10} else {l=$1};
        l=l-(l%10);
        c=l;

      #par contre, on ne printe que lors de la passe 2
        if (NR!=FNR) {
           for (i=2; i<=NF; i++) { c=c " " $i; }
           print c
        } else {
        t[$1]=l; if ($1>max) max=$1
     }
    }
    

     /^[^0-9]/ && !/^\n?$/ { #pas de numéro de ligne, ni de ligne vide
        l+=10; l=l-(l%10);
        #on ne printe que lors de la passe 2
        if (NR!=FNR) {
          print l " " $0;
        }
       }


#    END { print "énumération"; for (i=0; i<=max; i++) print i " "t[i] }
    ' "$1" "$1" > "$1".tmp

#et on reconverti en \r\n, tout en supprimant les espaces désormais inutiles
sed 's/$/\r/;s/\([0-9]\) , \([0-9]\)/\1,\2/g' < "$1".tmp > "$1"
rm "$1".tmp

La compréhension du script est laissée à la sagacité du lecteur.
- Pour les lecteurs dont la sagacité s'agace, il y a les commentaires judicieusement placés devant ce qui mérite d'être commenté.

C'est la fin de l'été, mais pour le reste ?

Si vous en voulez encore, appuyez sur "commentaire" (1€ par appel).
Mais même si vous en voulez encore, je vous préviens qu'il vous faudra être fort.
- Le manque de temps fait que je risque de me concentrer sur des billets plus utiles pour les gens qui vivent dans la modernité.
- Et oui... finiderire pour les vieux trucs. Rendez-vous aux prochaines vacances !
Si vous avez simplement quelque chose à ajouter, ne vous privez pas. Et fermez la porte en partant, le temps commence à fraichir.

Git tari ? Oh!

Jean-Seb — Sun, 03 Oct 2010 21:46:00 +0200

Un nouveau billet sur l'intarissable Git
Et en avant la musique!
Note : cet article a été écrit en collaboration avec Frédéric Jolliton

Résumé de l'épisode précédent

La configuration et les commandes de bases de Git ont déjà été abordées.
- C'est ici que ça se passe

Cette fois, nous nous penchons sur l' utilisation de Git au quotidien.

repo sera l'abréviation de repository dans la suite du texte.

Déterrons le SSH de guerre

Vous voulez héberger un repo Git.
Si possible, vous souhaiteriez le repo Git hébergé ne nécessite pas un énième binaire troué et des heures de configuration ?
- Utilisez ssh, au moins il n 'y aura que ça à mettre à jour.

Vous ne le ferez qu'une fois

Créez un groupe git qui servira pour les droits d'accès de vos utilisateurs.
- groupadd git

Créez un home pour le/les repo(s) à héberger.
- mkdir /home/git

Modifiez les droits et les propriétaires.


boss # chown votrelogin.git /home/git
boss # chmod 770 /home/git

boss # ls /home/git -lhd
drwxrwx--- 3 jseb git 4,0K aoû 19 17:50 /home/git

Vous êtes le propriétaire de /home/git, et les utilisateurs abilités seront dans le groupe git.

Éditez le fichier /etc/shells et ajoutez une entrée avec l'emplacement de git-shell
- Ce fichier donne la liste des shells autorisés par le système.
- git-shell est un shell restreint qui permet uniquement l'utilisation de git.
- Les utilisateurs que vous créerez utiliseront ce shell.

A faire pour chaque utilisateur

Notre utilisateur sera le fameux toto.


useradd -d /home/git/ -G git -m -s /usr/bin/git-shell toto

-d /home/git : home de l'utilisateur.
-G git : il fait partie du groupe git.
-m : créer le home si il n'existe pas déja (et y copie /etc/skels/)
-s /usr/bin/git-shell : shell restreint de l'utilisateur.

Eventuellement, permettez à l'utilisateur d'utiliser ssh.
- Ce n'est pas obligatoire, et dépend de votre config sshd.
- sshd_config : AllowUsers toto

Si vous utilisez l'authentification interactive, n'oubliez pas de donner un mot de passe à votre utilisateur.

Faire un test de login.
- ssh doit vous envoyer paître.


$ ssh toto@192.168.1.1
Password:
Last login: Thu Aug 20 19:23:37 CEST 2009 from 192.168.1.42 on ssh
fatal: What do you think I am? A shell?
Connection to 192.168.1.1 closed.

C'est normal, git-shell ne permets pas ce genre de choses.

Création d'une repo bare

Une repo bare, c'est une repo dont vous ne verrez jamais le contenu directement.

Elle sert juste à distribuer des fichiers entre les utilisateurs.

Par exemple, les commandes checkout ne fonctionneront pas.

Côté serveur ssh

mkdir repo

cd repo

git init --bare


$ git init --bare
Initialized empty Git repository in /home/gitfoogit/

$ ls
config  description  HEAD  hooks  info  objects  refs

ls liste des fichiers qui sont normalement dans .git
Pas la peine de faire un git branch -a, il n'y a pas de branches.

Côté client


$ git remote add repo_remote ssh://jseb@192.168.1.1/home/git/repo

$ git push repo_remote mmap

On ajoute le serveur à la liste des repositories.
- Par la suite, on y fera référence sous le nom de repo_remote
- repo_remote est donc le nom du serveur (voir .git/config)

Une fois le serveur ajouté, on pushe les modifications.
- mmap est le nom de la branche que j'ai poussé sur le serveur.

Clonage par un utilisateur

Maintenant que les sources ont été pushées dans le repo, n'importe quel utilisateur peut y accéder.


$ git clone ssh://toto@192.168.1.1/home/git/repo
Initialized empty Git repository in /tmp/votre_repo/.git/
Password:
remote: Counting objects: 21, done.
remote: Compressing remote: objects: 100% (13/13), done.
remote: Total 21 (delta 7), reused 21 (delta 7)
Receiving objects: 100% (21/21), 432.15 KiB, done.
Resolving deltas: 100% (7/7), done.
Warning: Remote HEAD refers to nonexistent ref, unable to checkout.

Le repo est presque disponible pour toto.
- La dernière ligne indique qu'aucune branche n'est disponible.

Nous allons merger ce qui a été récupéré.


$ git branch -a
  origin/mmap

$ git merge origin/mmap

$ git branch -a
* master
  origin/mmap

La première commande récupère le nom de la branche qui a été clonée.
- origin est le nom par défaut du repo distant (voir .git/config)

La seconde effectue le merge.

La troisième vérifie qu'une branche est maintenant disponible.

Éventuellement, on peut renommer la branche master en mmap
- git branch -m master mmap

Le repo du guerrier

N'hésitez pas à poster vos méthodes et remarques, ainsi que tout ce qui concerne votre utilisation de Git au quotidien.

Il y aura surement d'autres billets sur Git, d'ailleurs je crée derechef le tag.
- Hop!

Vos plus belles recherches

Jean-Seb — Fri, 01 Oct 2010 20:48:00 +0200

Aujourd'hui, pour le bla-bla annuel, nous allons parler de vous.
Cela fait déja deux ans que le billet annuel m'est consacré, il est temps de changer.
Autrement, les mauvaises langues vont soutenir que ce blog ne parle que de moi.

Merci Google.

Mais comment parler de vous, mes chers visiteurs, alors que je ne vous connais que par les quelques commentaires récoltés sur mes billets ?
C'est bien simple, je vais m'inspirer des stats, et publier vos plus belles recherches Google.
Qui dit plus belles doit comprendre plus drôles. La majorité des recherches sont assez sérieuses, et bien dans l'esprit de rigueur de ce blog.
Mais il reste les perles, les OVNIs, les erreurs !

Nos grands gagnants par catégorie

Le puni.

requête : enlever cette version de Windows n'est pas authentique
commentaire
- Nous avons affaire à un apprenti pirate qui s'est complètement trompé de site. Ici, Monsieur, nous ne piratons pas Windows. Nous apprenons à nous en passer.
- A noter que la requête émanait de Bing, le moteur de recherche Microsoft. Peut être l'apprenti pirate a t-il été transféré ici en guise de punition ?

Le technicien de surfaces.

requête : recette du vim
commentaire
- Pour le coup, j'ai appris quelque chose. Vim n'est pas seulement le Meilleur Editeur du monde, mais également un produit nettoyant.
- La parité est loin d'être respectée sur Internet. Notre éditeur préféré a un net avantage dans les moteurs de recherche, et il faut surement être patient pour trouver la composition du produit de nettoyage.
- J'ai eu une typo dans une recherche, qui du coup devient amusante: ouvrir les fichier a la suie vim.
- Pour celui-ci, je peux répondre: vim toto.{c,h} puis :ball dans Vim pour ouvrir tous les buffers. Enfin, je suppose que c'est ce que voulait ce visiteur.

Le paranoïaque.

requete : test qui est ton ami
commentaire
- Ce blog est ouvert à tout le monde, sans distinction de sexe, race, religion ou famille politique.
- J'espère que ce visiteur à l'âme meurtrie aura trouvé réconfort et pardon en ces pages.

Le Jules.

requête : Je suis né pendant les ides de mars
commentaire
- Probablement une grosse déception pour le requêteur, qui est tombé sur mon billet à propos des IDEs (écrit en mars, d'où le titre complet).
- Il voudra bien pardonner mon humour un peu particulier, qui contribue à noyer le poisson de cette nouvelle Babel qu'est Internet.

L'enthousiaste.

requête : le disc wouah
commentaire
- Avec une faute d'orthographe en prime, mais nous pardonnerons volontiers un enthousiasme (presque) communicatif.
- Celà dit, je n'ai aucune idée de ce que pouvait bien chercher ce visiteur. Ni de ce qu'il a trouvé, d'ailleurs.

Le paradoxe.

requête : aucun texte ne s'affiche dans l'interface graphique
commentaire
- Encore un qui veut le beurre, l'argent du beurre, et la main de la cremière.

Le bricoleur.

requête : plomberie facile
commentaire
- J'ai régulièrement cette requête, qui amène vers un texte sur le traitement des fuites mémoires avec mtrace.
- Ces visiteurs ne reviennent jamais, sans doute morts noyés avant d'avoir eu le temps de faire une seconde recherche.

La valeur sûre.

requête : problème accents doxygen
commentaire
- Cette requête revient depuis bientôt trois ans. Elle fait partie des meubles, pour ainsi dire.
- Réjouissez vous, la réponse est dans ce blog. Je vous laisse admirer les lieux, prenez votre temps, et revenez me voir.

La récursivité en action

Pour conclure, j'espère que vous n'êtes pas arrivé sur cette page en faisant une des recherches citée dans ce billet.
Merci de votre visite, et à l'année prochaine pour un nouveau bla-bla.

Installation en milieu hostile

Jean-Seb — Thu, 23 Sep 2010 21:24:00 +0200

Certaines installations d'OS se font en milieu hostile.
Les réseaux au trafic douteux et à la sécurité incertaine ne sont pas qu'une légende pour vendre des abonnements à MISC.
Pourtant, les distributions Linux ont beaucoup de mal à s'installer sans connexion réseau.
AARRRHHH. Mais comment faire alors ?
MàJ 24/09/2010 : ajout astuce ip link

Pour qui ?

Ces notes ont été réalisées à partir d'une installation de Arch.
Linux proposant peu ou prou les mêmes outils de base dans ses différentes saveurs, vous devriez pouvoir adapter sans difficulté à une autre distribution.

Principe

Définir un réseau séparé

Vous placer sur un réseau séparé, c'est simple comme un ifconfig.
Là où tout cela se complique, c'est quand vous voudrez accéder à votre passerelle depuis le réseau séparé.
D'autre part, on voudrait quand même bien accéder à la machine en cours d'installation avec ssh.
Ces points légitimes étant soulevés, passons à la configuration du réseau alternatif.

Topographie

Nous avons une machine que nous souhaitons installer.
Nous avons une autre machine, déja installée et configurée, et avec une adresse réseau de prod. Cette machine se connectera en ssh vers la machine à installer. Elle servira également de passerelle internet.

Configuration

Mais où est eth0 ?!

Une petite astuce pour commencer : vous pouvez avoir pas mal de cartes réseau sur votre machine (4 pour ma part), et trouver celle qui a un cable branché peut devenir un casse-tête.
Un casse-tête, mais uniquement quand on ne connait pas la commande ip link . Haha! On fait moins le malin maintenant!

On commence doucement

Le principe est donc de créer un réseau séparé du réseau habituel, le temps de l'installation.
- Nous allons donc nous placer sur le réseau 192.168.42.0. La machine à installer aura l'adresse hote 42 :
- ip addr add 192.168.42.42/24 dev eth0

Ensuite, il faut intégrer la machine qui fera tourner le client ssh sur le même réseau.
- Cette machine va hériter de l'ip: 192.168.42.66
- Par ailleurs, elle est déjà présente sur le réseau habituel 192.168.1.0
- ip addr add 192.168.42.66/24 dev eth0 : l'interface réseau a maintenant deux adresses IP.

Tentez un ping d'une machine vers l'autre.
Ca fonctionne ? Bravo. Sinon, lisez la suite (de toutes façons, lisez la suite).

Ca se complique (très légèrement)

en cas de non réponse: vérifiez les paramètres de votre firewall (avec tcpdump).

Éventuellement, ajouter dans les rêgles du firewall de la passerelle:


 ## Pour la communication entre reseaux 192.168.42.0 et 192.168.1.0
  iptables -I FORWARD -s 192.168.1.0/24 -d 192.168.42.0/24 -j ACCEPT
  iptables -I FORWARD -d 192.168.1.0/24 -s 192.168.42.0/24 -j ACCEPT

 ## Pour rentrer sur la passerelle et acceder a ses services depuis le reseau 192.168.42.0
    iptables -A INPUT -i $INTERNAL_INTERFACE -s 192.168.42.0/24 -j ACCEPT

Connexion par ssh

Important

Sur la machine à installer (bien entendu) , changez le mot de passe root.
En cas de problèmes, n'oubliez pas de lire les logs, en particulier "auth.log".

configuration sur la machine à installer

Permettez le login root dans sshd_config , et l'authentification avec un password tunnelé:
- PermitRootLogin yes
- PasswordAuthentication yes

Ajoutez sshd:192.168.42.0/255.255.255.0 dans /etc/hosts.allow.

Lancez le daemon sshd.
- Sous Arch, on le lance comme ça:
- /etc/rc.d/sshd start

Connectez-vous avec ssh depuis la passerelle.

Passerelle et resolv.conf

Maintenant que la connexion ssh est prête, il n'y a plus qu'à ajouter l'accès internet.

Si la passerelle internet tourne sur la machine 42.66, c'est facile:
- ip r a via 192.168.42.66 dev eth0

Ajoutez également dans /etc/resolv.conf le(s) adresse(s) DNS.

Poursuivez l'installation

Maintenant, il ne vous reste qu'à continuer de manière classique l'installation.
La tâche de ce billet s'achève donc ici, tandis que la votre commence.

Ce sont les vacances: en avant toute vers le retro !

Jean-Seb — Tue, 24 Aug 2010 01:03:00 +0200

Eh oui, ce sont les vacances... enfin, il parait.
Et vu qu'il pleut, vous lisez ce blog au lieu d'aller à la plage.
Pire encore, vous lisez ce blog au bureau en pensant à vos collègues partis à la plage.
Réjouissez-vous, je vous ai mitonné quelques loisirs récréatifs afin de bronzer avec les radiations de votre moniteur.
Voici le premier épisode d'une petite série détente.

Retro-computing et MSX

Le retro computing ?

Ne me dites pas que vous n'avez jamais entendu parler du retro-computing!
- Il s'agit de la madeleine de Proust pour les gens qui ont passé leur belle jeunesse sur des micro-ordinateurs tels que MSX, Commodore, Atari, Amstrad...

Il y a des tas de moyen de s'amuser avec ces vieilleries, notamment par le biais des émulateurs.

Ces micros font certe pâle figure de nos jours, mais ils sont relativement faciles à programmer, grâce à la doc abondante que l'on trouve sur internet.
- Ils peuvent donc faire office de récréation mentale bien plus stimulante qu'un bête sudoku, entre deux développements fatigants.
- On peut également pratiquer cette discipline simplement pour s'amuser. Mais faire les choses pour s'amuser est assez mal vu de nos jours. Je vous laisserai donc le choix de chercher d'autres justifications rationnelles.

Le MSX

Pourquoi le MSX ?

Pourquoi programmer un MSX plutôt qu'un micro 32 bits de l'époque ?
- Tout simplement parce que le MSX est relativement simple avec son Z80 (8 bits). Avec un peu d'expérience de la programmation et des architectures, vous pouvez espérer avoir des résultats intéressants en moins d'une semaine. Si vos vacances sont plus longues, vous vous amuserez donc encore plus.
- Les micros 32 bits (68000 par exemple) sont plus puissants, mais nécessitent plus de connaissances et sortent un peu du cadre fixé par ce billet (s'amuser avec des choses simples).
- D'autre part, le challenge est très présent. Avec un Z80 à 3,58Mhz, chaque cycle compte!

Très bref historique du MSX

Je vais vous présenter succintement le MSX.
- Vous trouverez tout un tas d'articles sur le net, ainsi que des forums spécialisés, y compris en français.

En deux mots, le MSX a été une tentative de standardisation de la micro-informatique par les japonais (société Ascii Corporation), associés pour l'occasion avec Microsoft (pour le basic).
La norme MSX fut déclinée en plusieurs vagues:
- le MSX (appellé plus tard MSX 1)
- le MSX 2.
- En France, ça s'arrête là avec l'abandon de la commercialisation des modèles. Mais il y eu encore le MSX 2+, puis le MSX TurboR.
Tous les MSX furent basés sur un socle technique commun (pour la standardisation).
Ils furent vendus par d'innombrables marques (Sanyo, Philips, Sony, Canon, pour ne citer que les plus connues). Le microprocesseur était un Z80 pour toute la gamme. Seuls les MSX Turbo-R embarquaient un Z80 et un R800 (le R800 était un Z80 amélioré 16 bits, fonctionnant à 7 Mhz).
Au sein de la norme, il y eu quelques évolutions, notamment musicales: certaines cartouches de jeux étaient proposées avec un circuit sonore monté sur la cartouche (le SCC). Le SCC étendait les capacités sonores du MSX à 8 voies. D'autres extensions proposaient de la synthèse FM à un prix plutot concurrentiel pour l'époque (cartouche FM PAC).

Le MSX a péri face aux Amiga et autres Atari ST, supérieurs techniquement.
De cette période faste, il nous reste de beaux souvenirs, et la possibilité de retrouver les programmes de l'époque grâce aux émulateurs.
Il reste également quelques juteuses franchises, telles que Metal Gear ou Castlevania, qui ont débuté sur MSX.

Au fait, que signifie MSX ?

Microsoft SuXx ?

Pour en savoir plus

Topo Wikipedia court et clair
Wiki traduit à la hache du japonais, mais c'est une mine: Data Lullar

Mise en place des outils de développement

La base

Nous allons utiliser les outils modernes mis à notre disposition, avec Linux en tant qu' OS hôte.

Les principes et scripts sont transposables assez facilement à MS-Windows.
- Pour ce dernier, je vous conseille d'installer au plus vite un environnement Posix.
- Vous avez le choix entre Cygwin et MSYS/Mingw (j'ai une petite préférence pour ce dernier couple).
- Je signalerai par une note les adaptations à faire sous MS-Windows.

Choix de l'émulateur

Sous Unix, le choix est rapide: hors OpenMSX, point de salut.
- http://openmsx.sourceforge.net
Sous MS-Windows, vous pouvez utiliser MSX Blue qui a très bonne réputation (mais n'est pas multiplateformes).

Je supposerai que OpenMSX est correctement installé, et qu'il tourne avec un vrai bios MSX.
- En effet, par défaut il tourne avec C-Bios, qui émule les fonctions Bios, mais ne donne pas accès au basic.
- Ceci étant génant (le basic nous servira toujours un peu), mieux vaut un vrai bios d'origine.

La doc est ici: http://openmsx.sourceforge.net/docs.ph

Choix de l'éditeur texte

Vim. Des questions ?
- En fait, vous pouvez utiliser ce que vous voulez, même Emacs.
- Il faut juste que l'éditeur soit capable de traiter les fichier avec le format de ligne msdos (0xd 0xa).
- Vim et Emacs ont été porté sur les plateformes les plus exotiques. C'est donc un investissement dont vous toucherez les intêrets pendant de longues années.

Et le cross-assembler ?

Le principe est d'utiliser un cross-compilateur sur votre système hôte, et de fournir les fichiers compilés à l'émulateur.
Ceci permet d'automatiser au maximum toutes les manipulations :
- Le cycle édition / compilation / test / debuggage doit se faire naturellement, et ne pas être soumis à des manipulations continuelles.

Nous allons commencer par choisir un cross-assembler, l'automatisation du cycle de production sera abordée par la suite.

L'utilisateur MS-Windows utilise généralement tniASM.
- Tout le monde aime ce cross-assembler, et son mainteneur est encore vivant et présent sur IRC.
- Malheureusement, ce n'est pas porté sous Linux.
- On le trouve ici http://tniasm.tni.nl

Par contre , pour Linux... aie aie aie!
- Je ne pensais pas avoir autant de mal avec les cross-assemblers Z80 sous Linux.
- Sans plus attendre, passons au gros morceau.

Choix du cross-assembler Z80 pour Linux

Voici les résultat de plusieurs jours d'expérimentations.
- J'ai volontairement omis les cross-assemblers qui me paraissaient vraiment morts (ex: ZASM).
- Si j'en ai oublié des moins morts, merci de le signaler.

ASmsx

Je commence par celui dont je n'ai pas trouvé le site officiel.
Les sources ne semblent pas disponibles, du moins dans les archives que j'ai récupéré.
Il semble même ne pas y avoir de version autre que MS-Windows.
Il permet de réaliser facilement des ROMs avec les différents mappers MSX.

Pasmo

Pasmo semble déconseillé.
Il comporte quelques bizarreries, notamment la nécessité de commencer le code par la directive org. Ce qui donne org $C000-7 pour sauter le stub qui vient ensuite.
Mais certains projets l'utilisent, comme le C-BIOS.
- J'ai discuté avec quelques personnes gravitant autour du projet C-BIOS, ça n'a pas l'air d'être le fol enthousiasme. Plutôt un choix par défaut.

Je n'ai donc pas évalué Pasmo, certain de trouver mieux ailleurs.
- La suite de mes recherches me laisse à penser que je l'ai peut être éliminé un peu vite.

Sjasm

Grandeur et décadence de Sjasm

Sjasm semble jouir d'un crédit assez étonnant dans la communauté msx.
En fait, les anciennes versions étaient fonctionnelles, mais les plus récentes sont une vraie catastrophe.
Je vais développer, pour ne pas être accusé de taper sans raison sur un bon produit, ou de ne rien comprendre à la programmation.
Sjasm peut s'utiliser à partir d'un binaire (qui semble fonctionner), ou a partir des sources.
Je préfère compiler quand les sources sont disponibles, cela donne souvent de meilleurs résultats.
- Il s'agit ici de la version 0.42b8

Compilation de Sjasm 0.42b8

make donne des erreurs (je passe charitablement sur les warnings), notamment:
- datastructures.h:50: erreur: ‘memcpy’ was not declared in this scope
- (erreur répétée plusieurs fois dans ce même entête)

Explication: memcpy est considéré comme une fonction membre de Data.
- Data(byte *n_data,int n_size) : _data(0), _size(n_size), _maxsize(n_size) { _resize(n_size); memcpy(_data,n_data,n_size); }
- Ce n'est bien sûr pas le cas. Habituellement, memcpy est déclaré dans string.h.
- Faut-il faire un include de ce fichier au début de l'entête fautif ?
- memcpy n'est utilisé que dans datastructures.h, ainsi qu'un appel dans datastructures.cpp.
- voici son prototype: void *memcpy (void *dest, const void *src, size_t n);
- la véritable fonction memcpy renvoie un pointeur sur *dest

J'ai ajouté memcpy dans la classe Data (au début avant même le constructeur, dans les membres public bien sûr) :
- void *memcpy (byte *dest, byte *src, size_t n);
- et je l'ai défini ainsi dans datastructures.cpp:


void * Data::memcpy (byte *dest, byte *src, size_t n)
{
  for (int i=0; i<n; i++) dest[i]=src[i];
  return dest;
}

Toujours dans datastructures.c, on a ensuite une référence inconnue à memset (également déclaré dans string.h)
- void *memset (void *s, int c, size_t n);
- comprendre: rempli *s 'n' fois avec c
* C'était la seule référence. J'ai remplacé par une simple boucle.


//memset(_data+_size,0,nsize-_size);
 for (int i=0; i<nsize-_size; i++) _data[_size+i]=0;

Erreur suivante:
- errors.cpp:58: erreur: ‘exit’ was not declared in this scope
- toujours un include à ajouter:
- #include <cstdlib> (et non pas stdlib.h) dans errors.cpp (après le include "sjasm.h")

Et maintenant, il manque stdio
- fileio.cpp:37: erreur: ‘fopen’ was not declared in this scope
- (puis ensuite fclose, fseek, ftell, fwrite. En gros, tout la bande des I/O de stdio.h). On se demande à quoi sert de faire du C++ si c'est pour reprendre toute la librairie standard du C.
- On inclut #include <cstdio> (et non pas stdio.h) juste après le include sjasm.h au début de fileio.cpp.

Erreur suivante: valeur absolue
- rawsource.cpp:449: erreur: ‘abs’ was not declared in this scope
- prototype dans stdlib.h : int abs (int j);
- Ca calcule une valeur absolue. Bon, on va le faire nous même.


  int absolute=_offset%al;
  if (absolute<0) absolute=-absolute;
  if (_offset%al) _offset+=al-absolute; //abs(_offset%al);

Celui là, il est joli: reader.cpp:73: erreur: ‘malloc’ was not declared in this scope
- effectivement, il y a bien un malloc t: if (b.length()+1>64) bp=p=(char*)malloc(b.length()+1);
- Bon un free doit trainer quelque part, au milieu des delete.
- Vérifions tout de suite (grep free *). Ah tiens... non. memory leak en perspective ?
- #include <cstdlib> , après le #include "sjasm.h" (la routine quoi)

Allez , c'est le dernier:


sjasm.cpp:134: erreur: ‘exit’ was not declared in this scope
sjasm.cpp:145: erreur: ‘exit’ was not declared in this scope

Allez, include cstdlib again.

Et voila. L'exécutable sjasm est construit.

Il compile bien au moins ? Petit test...

Ca a l'air de fonctionner.

Patch pour Sjasm 0.42b8

J'ai donc écrit un patch que vous pourrez appliquer directement sur les sources du 0.42b8 si le coeur vous en dit.

diff -urNb sjasmsrc42b8 sjasmsrc42b8.jseb >sjasm42b8.patch
- Le résultat est un peu long pour être publié ici, je l'ai inclus sous forme de fichier.

Pour appliquer le patch:
- Placez-vous dans le répertoire des sources de Sjasm, et copiez-y le patch
- Lancez la commande patch : patch -p1 < sjasm42b8.patch

Une fois les fichiers patchés, vous pouvez lancer make (ne faites pas attention aux warnings, je n'ai pas corrigé cette partie).

Sjasmplus

Voyons voir Sjasmplus, qui est un fork d'une ancienne version de Sjasm.
Houlala, sur le site officiel, il y a un lien pour les recommended text editors.
- Ok, ni Vim, ni Emacs, ni même Ultraedit. Ca commence bien. Je n'ai même pas envie de reprendre les sources pour tout dire.

Allez, courage.
- Bon alors, il y a une stable, et une version de dev. La version de dev n'inclue pas le scripting avec Lua.
- Je reprends la stable, on verra la version de dev plus tard, éventuellement.

La version stable est la 1.06 (3 aout 2006)

Je lance la compilation.
- A première vue, autant de warnings que chez son petit frère Sjasm.
- Ah, et voici les premières erreurs:


Sjasm.cpp:167: erreur: ‘MAXPATHLEN’ was not declared in this scope
Sjasm.cpp:199: erreur: ‘zoekpad’ was not declared in this scope

Là j'avoue, je n'ai pas trop cherché.
- car c'est alors que je suis tombé sur ça:


#ifdef WIN32
int main(int argc, char *argv[]) {
#else
int main(int argc, char **argv) {

Il se faisait tard, j'ai laissé tomber.

Je me demande à quoi pensait le type qui a écrit ça.

z80-asm

z80-asm, avec un tiret dans le titre
- Je précise pour le tiret, car il a un homonyme sans tiret (qui est le prochain abordé).

z80-asm semble complet : il inclut même un moniteur/debugger interactif à l'ancienne (dans un terminal avec interface façon ncurses).
- http://wwwhomes.uni-bielefeld.de/achim/z80-asm.html

Le problème est sa rigidité syntaxique.
- Il ne veut pas des instructions db de mon programme de test.
- Il faut remplacer les db par des defb, les dw par des defw, etc...
- Les strings ne sont admises qu'avec une déclaration defm (defb ne passera pas).

Pour illustrer ce problème, cette déclaration sera refusée:


LABEL: defb "Hello",13,10,0

Et il faudra l'écrire comme ceci:


LABEL: defm 'Hello chput'
       defb 13,10,0

Attention, pour avoir l'aide, c'est -h. Et non pas --help ou -help.
Si vous ne précisez pas de fichier de sortie, la syntaxe du programme sera vérifiée, mais vous aurez le message: No code generated même si vous n'avez pas d'erreur.

Par défaut, z80-asm rajoute un header qui empêche toute exécution par le msx, et il prend au pied de la lettre la directive org $c000 en générant un binaire de 48 Ko!


jseb ~/msx $ hexdump -C test-z80-asm.bin
00000000  5a 38 30 41 53 4d 1a 0a  00 00 fe 00 c0 1b c0 00  |Z80ASM..........|
00000010  c0 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000020  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
0000c000  00 00 00 00 00 00 00 00  00 00 21 0d c0 7e 23 a7  |..........!..~#.|
0000c010  c8 cd a2 00 18 f7 c9 48  65 6c 6c 6f 20 63 68 70  |.......Hello chp|
0000c020  75 74 0d 0a 00                                    |ut...|
0000c025

Pour les informations sur le header, voir dans la doc: z80-file.5 (ou man z80-file si vous avez installé les pages man).
- En gros, il faut enlever les 10 premiers octets.

Pour comparaison, le même programme généré avec Sjasm.


jseb ~/msx $ hexdump -C sjasm.bin
00000000  fe 00 c0 1b c0 00 c0 21  0d c0 7e 23 a7 c8 cd a2  |.......!..~#....|
00000010  00 18 f7 c9 48 65 6c 6c  6f 20 63 68 70 75 74 0d  |....Hello chput.|
00000020  0a 00                                             |..|
00000022

Je n'ai pas trouvé la façon d'enlever l'entête dans le manuel de z80asm.
- Du coup, je l'ai fait moi même avec un coup de dd.
- dd if=test2.bin of=raw.bin ibs=1 skip=10
- Mais ne vous fatiguez même pas à essayer. Le code ne s'exécutera bien sûr pas dans l'émulateur.

Dommage, cet assembleur semblait un bon candidat, abstraction faite de sa syntaxe rigide.
- Le package possède également un moniteur, déja évoqué ci-dessus.
- Cela dit, rien ne vous empêche d'utiliser le moniteur et de compiler avec un autre cross-assembler.

z80asm

Un bon petit cross-assembler, un peu limité mais à l'approche facile.
Le nom ressemble fortement au précédent, et se différencie par l'absence de tiret (ça devient subtil).
- Mais cette fois, nous avons affaire à un produit plus utilisable

Il a été développé par un possesseur de msx: Bas Wijnen (son pseudo est Sheveks)
- http://savannah.nongnu.org/projects/z80asm

Bonne surprise, le code source compile sans erreurs ni warnings.

Certaines fonctionnalités sont absentes:
- Exemple tiré du manuel: rlc r,(ix+nn) and friends don't work
- Cela ne me parait pas bien grave, et il y a toujours possibilité de faire une macro pour assembler directement l'instruction en écrivant les octets des instructions avec une séquence db.

Côté directives, c'est le minimum syndical: defb/db, defwdw, ds/defs , include, if/else/endif.
- Pas de macros ni de incbin pour ajouter directement des fichiers binaires.
- Pour incbin, ce n'est pas bien grave. On peut transformer des données binaires en db/dw, et les inclure avec la directive include.

La doc est ici: http://www.nongnu.org/z80asm/

Mon programme de test a été assemblé sans problèmes, sans adaptations syntaxiques, et a parfaitement fonctionné sous OpenMSX.
Bien que limité, z80asm semble être un bon choix pour le programmeur pressé de faire ses premiers programmes.

WLA DX : le meilleur pour la fin

Des caractéristiques alléchantes

C'est un projet vivant avec des patches récents (aout 2010).
Ce cross-assembler supporte d'autres processeurs que le Z80 (6502, 6510 ...)
- Pour ne rien vous cacher, la désignation complète est Yet Another GB-Z80/Z80/6502/65C02/6510/65816/HUC6280/SPC-700 Multi Platform Cross Assembler Package.

A noter que la compilation et le link sont séparés, ce qui permet de linker des objets entre eux, ou des libs.
- Cette séparation des commandes parait aller de soi, mais elle est absente des cross-assemblers que j'ai testé jusqu'à présent.
- Pour plus de détails, référez-vous aux sections compiling et linking dans le README (section 9 et 10).

Les possibilités offertes par les directives disponibles sont impressionantes.
- Attention, il y a quelques pièges que je détaillerai plus loin.

La doc n'est pas toujours très claire, mais elle est complète.
- Il ne faudra pas hésiter à faire quelques allers-retours dans la doc. Les informations sont parfois un peu éparpillées.

Compilation de WLA DX

Compilateur et linkers étant séparés, il va falloir procéder en deux temps.

La dernière version sur le site de Ville Helin (son auteur) est la 9.5 (aout 2008).
- Les anciennes versions sont sur le site de l'auteur:
- http://www.villehelin.com/wla.html

Depuis, il est hébergé sur sourceforge.
- Le mieux est de récupérer les derniers commits avec subversion depuis le repository:
- svn co https://wladx.svn.sourceforge.net/svnroot/wladx wladx

Il faut ensuite aller dans le répertoire makefiles, et choisir celui qui nous intéresse.
- Dans notre cas, il s'agit bien sûr de makefile.unix.z80

Copier ce makefile dans le répertoire des sources du compilateur (répertoire racine \"wladx\").
- Modifiez le pour virer le flag -O3 et mettre un -O2 à la place.

make clean && make -f makefile.unix.z80
- Le make clean est là au cas où une autre architecture aurait été compilée auparavant.
- Ainsi, le define -DZ80 sera bien pris en compte.

Pas de warnings inquiétants à signaler (n'oublions pas que les flags sont assez durs: -ansi -pedantic -Wall ! )
- Lancez l'exécutable obtenu (wla-z80).
- La première ligne doit indiquer qu'il s'agit de la version Z80 :


/tmp/wladx$ ./wla-z80 

WLA Z80 Macro Assembler v9.5

Si vous obtenez la ligne ci-dessus, le compilateur est prêt.

Il reste à s'occuper du linker, qui lui est commun à tous les compilateurs supportés par WLA.
- Le linker se trouve dans le sous-répertoire wlalink

Il faut modifier wlalink/makefile.unix sur deux points:
- Remplacer -O3 par -O2 (comme pour le compilateur).
- Remplacer $(LD) par $(CC) (sinon la compilation plante lors du link sur la libc).

Vous pouvez maintenant faire un:
- make clean && make -f makefile.unix
- L'exécutable obtenu se nomme wlalink


/tmp/wladx/wlalink$ ./wlalink                                                  e

WLALINK GB-Z80/Z80/6502/65C02/6510/65816/HUC6280/SPC-700 WLA Macro Assembler Linker v5.7

Et voila, le linker est prêt également.

Test de WLA DX

WLA DX a une approche assez originale qui peut dérouter au premier abord.

Avant toutes choses, lecture (même rapide) obligatoire du README (91ko!) qui fait office de documentation principale.

Voici un programme de démonstration adapté à WLA DX, avec quelques explications.

; test.asm - for testing WLA cross compiler.
; jseb @ finiderire . com

.MEMORYMAP
SLOTSIZE $FFFF
DEFAULTSLOT 0
SLOT 0 $0
.ENDME

.ROMBANKMAP
BANKSTOTAL 1
BANKSIZE $FFFF
BANKS 1
.ENDRO

.section "BANKHEADER"
  .db $fe
  .dw start,end,start; 
.ends

.BANK 0 SLOT 0
.ORG $C000 

start:
     LD HL,label
aff: LD A,(HL)
     INC HL
     AND A
     RET Z
     CALL $A2 ; CHPUT
     JR aff
     RET

label: .DB "Hello, World",13,10,0
end: .equ $-1

Au début du programme, vous remarquez quelques directives:
- .MEMORYMAP et .ROMBANKMAP
- Elles servent à définir la structure des roms. Ici, j'ai fait au plus simple (un seul slot, une seule banque, la totalité de l'espace adressable par un Z80 assigné sur le même slot).

BANKHEADER est plus intéressant, et nécessaire pour écrire le stub de notre programme.
- les octets contenus dans BANKHEADER seront simplement ajoutés au début de l'objet, et ne provoqueront pas de décalage dans le calcul d'adressage à la compilation. Dans la doc, il est même précisé que c'est une option très utile pour le MSX (tu m'étonnes).

Le .BANK 0 SLOT 0 ne semble pas obligatoire, car notre cas est très simple. Mais dans d'autre cas, il peut être utile de spécifier la BANK ou le SLOT. J'ai donc laissé cette directive pour attirer votre attention sur son existence.

A propos de BANK et de SLOT, la terminologie employée ici n'ait aucun rapport avec le memory mapping du MSX , même si les mots sont identiques.

Avant de nous lancer dans la compilation et le link, un gris piège est à signaler:
- .equ est un alias pour .define
- c'est à dire: .define : Assigns a number or a string to a definition label.
- Dans l'exemple en dessous, on met donc start à zéro! Ce n'est pas le comportement habituel qui serait d'assigner la valeur de start à exec.
- exec: .equ start ;en réalité, met start à zéro !!
- Il semble qu'on ne puisse pas assigner de valeur à une étiquette en utilisant la valeur d'une autre étiquette. Par contre, on peut faire ça: exec: .equ $C000
- Ce qui n'a pas un grand interet (voire même peut être dangereux si on change la valeur de .ORG )

Pour la compilation :
- wla-z80 -o test.asm
- le flag -o sert à demander la génération d'un fichier objet.
- le nom du fichier objet est par défaut celui du fichier source avec l'extension .o

Pour le link :
- wlalink -b test.group test.bin
- le flag -b est important, car par défaut, c'est -r qui est utilisé. Et le flag -r sert à créer une rom.
- Le fichier test.group contient différents paramètres, dont le nom des fichiers objets à utiliser pour le link (voir la doc).
- Ici, le fichier test.group contient ceci:


[objects]
test.o

Il est réduit ici à sa plus simple expression.

Voilà un tour rapide de WLA. Vous en savez assez pour lire la doc et pouvoir m'expliquer comment générer une ROM avec ce compilateur!

Le cas des macro cross-assemblers

macro quoi ?

Un macro cross assembler est un cross compilateur classique, mais qui fonctionne avec un système de macros.
Les macros sont des regroupements d' instructions (ici, les mnémoniques), sous une seule instruction afin de faciliter la lecture.
Une macro sert à automatiser l'insertion d'un bloc d'instruction.
Le support par le compilateur des macros peut être plus ou moins étendu:
- Cela peut aller du simple remplacement de texte (comme une fonction inline) à l'intégration de la gestion des opérateurs arithmétiques et logiques.

Notez qu'il existe bien sûr des macro assemblers dédiés à la plateforme hôte. Ils ne sont donc pas cross-compilers.

Les macro-assemblers permettent d'introduire un peu de haut niveau dans le monde aride de l'assembleur.
- Le revers de la médaille peut être une génération de code bien foireuse, surtout pour des projets amateurs peu suivis.

Le macro cross-assembler AS

AS rentre dans le club très fermé décrit ci-dessus.
Son support des macros est suffisament étendu pour justifier un traitement à part.
Vous le trouverez ici:
- http://john.ccac.rwth-aachen.de:8000/as/

Voici un exemple de sa syntaxe


dbstr   macro   arg
        if      strlen(arg) > 1
         db     substr(arg, 0, strlen(arg) - 1)
        endif
        if      strlen(arg) > 0
         db     charfromstr(arg, strlen(arg) - 1) | 80h
        endif
        endm

Il m'a l'air ma foi fort intéressant...
- mais j'avoue que je commence à me lasser de tous ces tests.

Mes choix de cross-assemblers

Il faut bien choisir, alors voici mes préférés.

WLA DX, le meilleur et le plus exigeant

WLA DX est de loin le meilleur cross compiler que j'ai pu tester. Il y a un monde entre lui, et Sjasm par exemple.

Ses avantages:
- Le compilateur et le linker sont séparés, ce qui est une très bonne chose.
- Il compile sans warning inquiétants, ni erreurs, avec des flags qui ne pardonnent pourtant pas.
- La doc est bien fournie.
- Il est maintenu et réellement multi-plateformes, signe d'une bonne conception.
- Le code est en C, preuve de bon goût (mieux vaut écrire du C rustique et fonctionnel que du C++ qui compile à peine).
- Seule une relative complexité pourrait vous conduire à lui préférer z80asm (celui de Sheveks).

Ses inconvénients:
- Une façon de faire aux antipodes de la simplicité.
- Une doc pas toujours très claire.
- Nécessite surement un peu d'expérience en programmation pour être apprécié.

z80asm, rustique mais efficace

Celui-ci est simple, mais n'a posé de problèmes ni à la compilation, ni à l'utilisation.
D'autres part, il a été développé spécifiquement pour être utilisé avec un MSX.
- Cependant, contrairement à ASmsx, il ne permet pas de créer facilement des ROMs.
- Seuls quelques fichiers d'équivalences spécifiques aux MSX sont fournis.
Sa rusticité (peu de directives disponibles) ne doit pas faire oublier sa facilité d'emploi.

Sjasm 0.42b8, le pari

Avec Sjasm, vous avez un cross-assembler relativement séduisant sur le papier.
Ses sources font cependant assez peur, et le patch que je vous propose pour le compiler ne corrige que les erreurs bloquants la compilation.
Une fois que j'ai réussi à le compiler, mes programmes de tests sont passés sans problèmes.
A tester donc, pour les plus joueurs d'entre-vous.

Et pour les Windoziens, c'est tniASM

tniASM semble pas mal... pour MS-Windows.
- je continue à tanner son auteur sur IRC pour une version OpenSource.

Fini pour aujourd'hui

Le prochain sujet abordé sera l'échange de données avec l'émulateur, et l'édition facile d'un programme basic.
D'ici là, vous avez le temps de digérer ce billet un peu long.
- Vous pouvez même retourner sur la plage, le temps que j'écrive tout ça, les nuages sont partis.

Votre propre expérience des cross-assemblers m'intéresse! N'hésitez pas à poster vos remarques et ajouts.

Oukiléleclavier ? Oukellélasouris ? (ou: la bonne blague de Xorg)

Jean-Seb — Wed, 05 May 2010 18:47:00 +0200

Je me suis aperçu qu'il manquait un tag à mes billets.
Comment caractériser toutes ces nuisances qui gachent la vie de l'honnête administrateur système ?
J'inaugure dès à présent le tag pénible avec Xorg

Situation de départ

Le but était de faire 'une mise à jour de Xorg sous Gentoo.
- Pour ma part, il s'agissait de passer le serveur Xorg de la version 1.3 à la version 1.6.5.

Avis aux mécréants utilisateurs d'autres unixeries que Gentoo : continuez à lire, ceci concerne au moins également FreeBSD et Arch-Linux.

Echauffement

Installer Xorg implique souvent la mise à jour d'autres paquets.
Avant même le passage au paquet xorg-server, nous rencontrons une erreur.
La libpciaccess (en update) essaie d'installer un exécutable (scanpci) mais refuse de remplacer la version précédente.
- Cet exécutable provoque un conflit, car c'est un autre ebuild qui a construit la version précédente.
- On ne peut donc pas le supprimer sans réfléchir, car cela risquerait de casser l'autre ebuild.

Laissez tomber la méthode de résolution suggérée dans les messages, et faites plutôt:
- equery b scanpci : vous obtenez le nom du paquet qui contient l'ancienne version à remplacer.
- Il s'agissait du Xorg que vous tentez d'updater. Ma méthode (votre avis peut varier) : emerge -C xorg-server

Une fois ceci rêglé, vous pouvez relancer la mise à jour de xorg-server.

Plus de clavier, plus de souris

Pour le reste, la compilation, se passe plutôt bien.
Un emerge -va nvidia-drivers plus tard, Xorg démarre enfin.
Et là, plus de souris (huho) ni de clavier (haha).

Rendez moi mon clavier! (et ma souris aussi!)

Sortie de Xorg

Alors là, attention, c'est technique.
- Appuyez pendant 5 secondes sur le bouton marche/arrêt du PC.
- Si vous avez ACPI dans le noyau avec un script sur le bouton marche/arrêt, vous êtes sauvé et la solution déplorable de la ligne du dessus ne sera pas nécessaire.
- Les heureux utilisateurs d'un réseau local pourront également faire un ssh sur la machine coincée. Beaucoup plus propre, mais nécessite un cable réseau et un autre PC (et un daemon sshd sur la machine bloquée).

Divination avec les logs

Après le reboot, et en supposant que vous n'avez pas eu de problème de journalisation, vous vous retrouvez à nouveau devant la console.
- Si vous n'avez pas de chance, X est relancé aussi sec. Dans ce cas, il va falloir changer le niveau de démarrage de votre Linux.

Dans le log de Xorg, nous trouvons la source du problème (je ne vous montre que la partie concernant le clavier, la même chose est observable pour la souris):


$~  less /var/log/Xorg.0.log
(II) LoadModule: "kbd"
(II) Loading /usr/lib/xorg/modules/input//kbd_drv.so
(II) Module kbd: vendor="X.Org Foundation"
        compiled for 1.3.0, module version = 1.1.0
        Module class: X.Org XInput Driver
        ABI class: X.Org XInput driver, version 0.7
(EE) module ABI major version (0) doesn't match the server's version (4)
(II) UnloadModule: "kbd"
(II) Unloading /usr/lib/xorg/modules/input//kbd_drv.so
(EE) Failed to load module "kbd" (module requirement mismatch, 0)

Parenthèse pour les paresseux

Si vous n'avez pas fait de mise à jour de Xorg depuis vraiment très longtemps, il se peut que vous ayez un autre problème.
En effet, dans la config de Xorg, les devices ont changé de nom à un moment donné.
Vérifiez donc que votre clavier et votre souris ont bien le driver convenable.


Section "InputDevice"

    Identifier  "Keyboard1"
    Driver      "kbd"

(snip)
    Identifier  "Mouse1"
    Driver      "mouse"

Je ne saurais en dire plus à ce sujet, car je n'ai que de vagues souvenirs de ce problème.
- De toutes façons, le problème a dû disparaitre de lui-même, depuis le temps. (l'optimisme est rare de nos jours, sachons le cultiver.)

Revenons à nos moutons

Il vous manque simplement deux mises à jour, oubliées par emerge.
emerge -va xf86-input-keyboard
emerge -va xf86-input-mouse

A noter que le problème se posera probablement également avec votre joystick, votre tablette graphique, et autres périphériques d'entrée.
- Un simple eix xf86-input vous en convaincra aisément.

Keyboard not found. Press F1 to continue.

J'ai profité de mon clavier retrouvé pour écrire ce billet.
Comme je ne vais pas non plus tout faire, je vous laisse écrire les commentaires.

MPD : le stream était presque parfait

Jean-Seb — Wed, 28 Apr 2010 00:11:00 +0200

Aujourd'hui, ce sont mes aventures pour streamer de la musique avec mpd.
Car mpd est beau, mpd est grand, mpd streame!
Merci à Frédéric Jolliton pour le coup de main lors de la mise au point. (et il a relu et clarifié, en plus)
MàJ 13 mai 2010 : gagner trois ko de bande passante avec shh

Résumé des épisodes précédents

Ce n'était pas forcément le plus intéressant, mais le premier billet est ici:
- MPD - musique par le daemon

Le streaming n'était pas le sujet de ce billet. Dans ma grande bonté, j'en refais donc un complet.

Comprenons-nous bien

Ce titre légèrement menaçant fait un peu vendeur de savonnettes dé-régulées cherchant à forcer l'entrée de votre habitation. Cette fois, il ne s'agit que d' une nécessaire introduction à ce qu'est réellement mpd.

De l'avantage du stream

Pourquoi écouter un stream , et ne pas décoder en local ?
- Vous ne compilerez qu'une fois le player.
- Vous ne dupliquez pas vos fichiers, vous n'avez pas besoin de les promener sur une clé usb ou un disque externe.
- Vous allez faire l'envie de vos voisins (en général, cet argument suffit à emporter la décision).

mpd n'est pas forcément ce que l'on croit

mpd est un player dont la sortie sonore se fait en local par défaut (c'est à dire, sur la machine où mpd est lancé).
- Les clients de mpd, tels que ncmpc ou gmpc (client Gnome) ne sont rien d'autre que des télécommandes pour mpd.
- Aucun d'entre eux ne permet d'écouter un stream.
- Ils ne savent qu'envoyer des commandes au daemon mpd.

Un client mpd est une télécommande ... donc cela signifie que seul le PC faisant tourner le serveur est en mesure de sortir du son, et que tous les clients associés à mpd ne servent qu'à contrôler celui-ci à distance ?
- Exactement ! Je n'aurais su mieux le dire !

mais mpd peut streamer

Néanmoins, si les clients spécifiques à mpd ne peuvent que le contrôler, mpd est capable de différents rendus.
- Les sorties locales, avec la configuration OSS , Alsa ou ... null (qui est bien un rendu local)
- Des sorties streamées, avec entre autres un serveur shoutcast, ou son serveur interne httpd.

Nous allons utiliser le serveur intégré à mpd, qui streame sans fioritures, tel une web-radio.

Dès à présent, il est utile de préciser que nous allons utiliser deux ports.
- Le port de commande de mpd, sur lequel nous pouvons connecter un client, ou lancer un telnet.
- Le port utilisé par mpd pour servir le stream. Celui-ci n'est actif que quand de la musique est jouée. Il est fermé dès que la musique est stoppée.

Préparation et configuration de mpd

Flags de compilation Gentoo


media-sound/mpd -alsa -ffmpeg mikmod musepack ogg vorbis lame

Votre avis concernant ffmpeg pourra varier, mais j'ai préféré limiter les temps de compilation sur une machine un peu limitée.
J'ai bien sûr retiré toute référence à Alsa (OSS étant inactif par défaut), vu que la machine hébergeant le serveur n'a même pas de carte son.

Création des répertoires nécessaires

mpd peut être lancé par un utilisateur lambda.
- Vous devriez mettre sa configuration dans le home de celui-ci, et ajuster le paramètre user dans le fichier de configuration.

Fichier de configuration

Voici mon fichier de configuration.
- Je n'ai pas inclu tout ce qui ne sert pas, reportez vous au fichier /etc/mpd.conf pour plus de précisions.
- Pour vos essais, vous pouvez simplifier la situation en ne mettant pas de mot de passe, par exemple.


music_directory  "/home/toto/music"
playlist_directory  "/home/toto/mpd/playlists"
db_file  "/home/toto/mpd/database"
log_file  "/home/toto/mpd/mpd.log"
pid_file  "/home/toto/mpd/mpd.pid"
state_file  "/home/toto/mpd/state"
user  "toto"
bind_to_address  "0.0.0.0"
port  "1234"
password  "password@read,add,control,admin"
default_permissions  "" #pas de bras, pas de chocolat.

input {
        plugin "curl"
}

audio_output {
        type  "httpd"
       name  "My HTTP Stream"
        encoder  "lame"  # optional, vorbis or lame
        port  "5678"
        bitrate  "128"  # do not define if quality is defined
        format  "44100:16:1"
}
filesystem_charset "UTF-8"

bind_to_address : ne mettez surtout pas localhost ou 127.0.0.1 :
- Cela provoquerait un bind de mpd sur l'interface loopback. Toute connexion externe serait alors impossible.
- A la place de 0.0.0.0 on peut mettre l'IP d'une carte réseau. Par exemple pour une machine directement sur le net (avec une IP publique) on veut pas forcément rendre mpd accessible. Alors qu'en mettant l'IP de la machine sur le LAN (disons 192.168.1.1) ça ne sera accessible que sur le réseau local.

default_permissions : pour vos essais en connexion anonyme (sans mot de passe), vous pouvez mettre les permissions à fond avec read,add,control,admin.

Premier lancement

Placez quelques fichiers musicaux dans le répertoire définit comme music_directory dans le fichier de configuration.

Le premier lancement se fera en local, avec l'utilisateur configuré dans mpd.conf

Au passage, nous allons créer la base de données.
- Par la suite, la commande update sera envoyée par un client mpd.


toto@serveur ~$ mpd --create-db

En cas d'erreur, ou de modification de la base, vous pouvez tuer le serveur avec :
- kill $(pidof mpd)

Par la suite, vous pourrez utiliser les scripts Gentoo (ou de votre distrib) pour demander le démarrage de mpd au boot.

Test rapide avec telnet

Plus qu'à tenter un telnet sur le port de votre serveur

Vous pouvez trouver toutes les commandes comprises par mpd ici:
- commandes mpd


toto@serveur ~/.ncmpc $ telnet localhost 1234
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
OK MPD 0.15.0
status
volume: -1
repeat: 0
random: 0
single: 0
consume: 0
playlist: 3
playlistlength: 0
xfade: 0
state: stop
OK
close
Connection closed by foreign host.

status vous permettra d'obtenir rapidement confirmation du fonctionnement de mpd.
- Même si la simple réussite de la connexion telnet devrait suffire.

Pour fermer proprement la session, utilisez close.

mpc dépanne certes bien...

Maintenant que le daemon mpd fonctionne, il est temps de tester avec un logiciel un peu plus évolué, et à distance.
- Je vous conseille de rester sur le réseau local de mpd, ceci limitera les ports à ouvrir dans le firewall, et vous pourrez toujours vous passer d'authentification.

L'informatique aime les acronymes, et les doublons aussi.
- mpc = music player client
- ne confondez pas avec les vieux fichiers musepack (extension mpc) que l'on peut jouer avec mpd.

mpc est un utilitaire indispensable pour vous éviter des telnet rapidement saoulants sur le port du daemon mpd.

Je vous laisse faire man mpc , le fonctionnement est trivial.

...mais ncmpc est toujours le plus beau

Maintenant que tout semble bien tourner, il est temps de passer au client qui ne nous quittera plus.
Avec un nom à coucher dehors, ncmpc est néanmoins le plus agréable des clients mpd.
Interprétation personnelle du nom:
- nc = ncurses
- mpc = music player client

Version dans Portage (avril 2010)

0.14
- un peu vieille, mais que voulez-vous ...

Flags Gentoo


media-sound/ncmpc artist-screen colors help-screen key-screen lyrics-screen search-screen song-screen

Beaucoup de possibilités dans les versions récentes de ncmpc , y compris la possibilité d'afficher les paroles des chansons.
- J'ai activé toutes les options, ça ne mange pas de pain (ni de ressources).

Erreur possible à la compilation de ncmpc


match.c:43: attention : implicit declaration of function ‘g_regex_match_simple’
match.c:45: erreur: ‘G_REGEX_CASELESS’ undeclared (first use in this function)

Dans ce cas, il faut mettre à jour votre glib (pas la glibc , je parle bien de la glib tout court) et recommencer l'emerge de ncmpc.

Fichier de configuration de ncmpc

Il se trouve dans ~/ncmpc/config
Celui-ci est donné juste pour information. Je n'ai pas encore pris le temps de fignoler.


port = 1234
password = "password"
scroll = yes
scroll-sep = " ***** "
enable-colors = yes
color background = black
color list = brightwhite

Diagnostics

Lancez la lecture d'un fichier avec mpc, ncmpc, telnet, ou ce que vous voudrez.
- Ceci doit produire l'envoi du stream sur le port défini pour httpd dans la configuration de mpd.
- Le port stream ne sera ouvert que pendant la génération d'un stream.


toto@serveur ~$ netstat -pln | grep mpd
tcp        0      0 0.0.0.0:1234            0.0.0.0:*               LISTEN      3694/mpd
tcp        0      0 0.0.0.0:5678            0.0.0.0:*               LISTEN      3694/mpd

Les ports utilisés sont ceux définis dans mpd.conf
- Le port de commande de mpd est 1234.
- Le stream est joué sur 5678.

La config du pauvre, mais qui marche tellement bien

Et encore j'avais un titre plus long pour cette partie, mais il faut savoir rester raisonnable.

Nous allons utiliser un tunnel ssh dans lequel nous ferons passer le flux.
- Ceci nous évitera de partager nos disques avec la terre entière, ce qui serait non seulement illégal, mais très consommateur en bande passante.

Tunnel ssh

Ce n'est pas le sujet de ce billet, je vous donne donc la commande pour créer un tunnel ssh.
- Il y a pas mal d'explications à ce sujet un peu partout, les curieux devraient trouver leur compte facilement.
- Sous MS-Windows, vous pouvez créer facilement des tunnels avec Putty.

pour créer un tunnel ssh entre votre machine et le serveur mpd


ssh -C -L 5678:localhost:5678 a.b.c.d

5678 : port configuré sur mpd pour exporter le stream httpd (ce n'est pas le port de commande de mpd)
localhost : car vous allez vous connecter sur votre machine pour la redirection de port.
a.b.c.d : ip de la machine distante faisant tourner mpd.

En prime, vous récupérez un shell où vous pourrez lancer ncmpc pour controler mpd.

mpd

Exporte le flux httpd.
Les façons de le lancer ont été vues plus haut:
- en user : mpd
- au démarrage : voir la doc de votre distrib. Avec Gentoo, vous pourrez utiliser /etc/init.d/mpd start

ncmpc

à installer sur le serveur pour controler mpd
- on peut également l'installer sur le client (dans ce cas, pensez à définir un login/password et à ouvrir le port de commande mpd dans le firewall).

mplayer

Reçoit le stream et assure son rendu.
mplayer http://192.168.1.1:5678
- 192.168.1.1 est l'ip de la machine faisant tourner mpd.
- 5678 est le numéro de port utilisé pour envoyer le stream.

Inconvénients de la config du pauvre (mais qui marche tellement bien)

Je ne vous le cache pas, il y a quelques inconvénients.

Overhead du tunnel

Si vous êtes vraiment court côté débit, sachez qu'un flux à 128kbs (minimum pour une qualité acceptable) vous pompe 16ko/s de bande passante.
- Avec le tunneling, vous allez passer à environ 22ko/s de moyenne.
Je n'ai pas testé avec quelque chose de plus compliqué, à base de OpenVPN par exemple.
- Si quelqu'un l'a fait, qu'il n'hésite pas à partager son expérience.

Pour gagner un peu de bande passante sur la session SSH, vous pouvez passer l'option -N à la connexion.
- Cette option désactive le shell interactif et ne fait qu'établir le tunnel.
- Vous ne pourrez donc plus controler la playlist directement, mais pour un streaming tout simple, cela suffit. Vous gagnez environ trois Ko/s.

Latence

C'est inhérent au streaming. Pour assurer une liaison sans saccades, tout est bufferisé.
- Les modifications côté serveurs (changement de chanson, ou arrêt pur et simple) mettront quelques secondes avant d'être répercutées à votre client.

Quand à l'avance/retour rapide dans un morceau, mieux vaut oublier tout de suite.

Une idée pourrait être de réduire la taille du buffer , sur une liaison de bonne qualité bien entendu.

Allez, c'est pas si mal finalement

De toutes façons, vous n'auriez guère mieux avec un serveur shoutcast, alors pourquoi se compliquer la vie ?

Allez hop. Et profitez-en pour mettre Audacious à la poubelle avant de sortir.

La plomberie facile avec mtrace

Jean-Seb — Mon, 22 Feb 2010 21:37:00 +0100

Le C et les fuites mémoires, c'est comme une vieille complainte sentimentale.
Avec mtrace, et sa couche maxi-absorbante, finissez-en avec l'incontinence de vos programmes.
mtrace n'est pas disponible en pharmacie, uniquement dans les bonnes libc.

Ma mémoire prend la fuite!

Je ne vous fait pas une tartine sur les problèmes de gestion mémoire en C.
- Si vous avez approché un compilateur C un jour de votre vie, vous savez de quoi je parle.

Pour prévenir les problèmes de fuite mémoire, il existe plusieurs méthodes.

Je ne fais rien

Ne rigolez pas, un OS bien conçu est censé vous rendre la mémoire à la sortie de votre programme.
Bon alors, on fait comme ça ?
- Non, on ne fait pas comme ça. On passe toujours un coup de balai avant de quitter un programme, question de savoir-vivre et d'éducation.
- Il y a également le fait qu'on ne sait jamais vraiment où le programme finira par tourner, ni si l'OS réussira réellement à récuperer toute la mémoire.

J'écris mon gestionnaire mémoire

Allez, on l'a tous fait un jour ou l'autre.
- Ou comment finir avec un wrapper de malloc/free plus ou moins élaboré, qui génère de jolies listes d'alllocations/libérations.
Ce n'est pas forcément une mauvaise idée. C'est surtout délicat à gérer pour toutes sortes de raisons (je ne développe pas, si vous ne comprenez pas, essayez de faire le votre).
L'insensé tenant vraiment à explorer la Voie de l'Insomnie pourra toujours commencer par : man malloc_hook.

J'utilise mtrace

Et c'est la prise de conscience sur un titre judicieusement choisi.

mtrace, principe et utilisation

Prérequis

Une libc GNU.
Un compilateur GNU.

Principe

Le principe consiste à intercepter les appels à malloc et à free, et à tenir registre des allocations/libérations de mémoire.
Pour cela, vous initialiserez le wrapper de la libc avec mtrace() , et vous appellerez en sortie muntrace().

Utilisation

Il suffit d'inclure mcheck.h et vous pourrez utiliser les deux fonctions requises.
- mtrace : avant tout malloc().
- muntrace : après le dernier free().

Vous aurez également besoin d'une variable shell, pour indiquer où écrire le fichier de log.
- export MALLOC_TRACE = /path/to/log.txt

Une autre variable shell peut être utilisée: MALLOC_CHECK
- Normalement, son usage est d'indiquer le niveau de log.
- export MALLOC_CHECK = 2 : fait planter le programme si erreur malloc (je tenais à vous faire partager cette découverte).

Un script Perl (mtrace) pour mettre en forme le fichier de log.

L'exemple tant attendu

Source pour nos essais

/* mtrace.c */

#include <stdio.h>
#include <stdlib.h>
#include <mcheck.h>

int main(void)
{
  mtrace();

  char *freed = malloc(1024);
  char *leaked = malloc(1024);

  if (freed) free(freed);

  muntrace();
  return 0;
}

Pour compiler ce source, rien de spécial.
- gcc -g -Wall mtrace.c -o mtrace
- N'oubliez pas -g pour avoir les symboles dans la sortie de mtrace.

Et pour le lancer:
- MALLOC_TRACE=/tmp/mtrace.log ./mtrace
- Le prompt revient, pas de plantages, donc, pas de problèmes.
- Vraiment ?

Utilisation du script Perl mtrace

Tout d'abord, voyons à quoi ressemble le fichier log.


~test$ cat /tmp/mtrace.log 
= Start
@ ./mtrace:[0x40060f] + 0x1ea7460 0x400
@ ./mtrace:[0x40061d] + 0x1ea7870 0x400
@ ./mtrace:[0x400631] - 0x1ea7460
= End

De ce qui précède, on peut deviner aisément que le bloc mémoire situé à 0x1ea7870 n'a pas été libéré.
- Nous allons cependant rendre plus parlant ce fichier.

Le script mtrace s'invoque avec en paramètres l'exécutable à analyser (pour ses symboles), et le fichier log.


~test$ MALLOC_TRACE="/tmp/mtrace.log" mtrace ./mtrace /tmp/mtrace.log 

Memory not freed:
-----------------
           Address     Size     Caller
0x0000000001cb6870    0x400  at /home/jseb/test/mtrace.c:12

Voila qui est plus parlant.
- La ligne indiquée correspond au malloc() sans free() correspondant.

mtrace n'est cependant pas Dieu le Père Tout Puissant

mtrace ne vous protégera bien sûr pas des écrasements mémoire durant l'exécution de votre programme.
De même, les problèmes de gestion mémoire ne seront pas détectés. Il peut cependant vous signaler des free multiples.
Sa facilité d'emploi devrait toutefois inciter tout codeur un tant soit peu consciencieux à l'utiliser.
Une alternative consiste à laisser tomber malloc et free, mais je laisse ça aux gens qui ont des problèmes de mémoire.

Unison et MSYS sont dans le même bateau

Jean-Seb — Mon, 21 Dec 2009 19:07:00 +0100

Vous utilisez MS-Windows, comme des millions d'autre victimes (et moi, et moi, et moi).
Vous utilisez également MSYS (comme... euh... moi.)
Mais avec MSYS, Unison (le synchroniseur de fichiers) est rétif.
MSYS va apprendre que l'ordinateur est fait pour servir l'homme, et non l'inverse (muhaHAHAHAA!)

Il y a ce qu'on a ...

Ce qu'on a

Pour le moment, nous pouvons utiliser uniquement Unison sous la forme d'un serveur lancé avec la commande
- unison --socket <port en écoute>

Le client Unison est le même programme, mais lancé avec des paramètres différents. Il sera utilisé depuis une autre machine pour se connecter à son serveur.

Ce n'est pas une bonne solution, pour trois raisons:
- Il faut lancer Unison en écoute le serveur à chaque utilisation, ou pire, le laisser tourner en permanence en écoute.
- Les communications ne sont pas chiffrées.
- Il n'y a pas d'authentification, et changer de port pour l'écoute du serveur n'est qu'un pis-aller.

Ce qu'on aimerait que ça devienne

Utiliser le mode commandes ssh de Unison, qui lance lui même le serveur, et fait transiter les données dans un canal crypté.
- Les inconvénients de la situation où Unison est figé en écoute sont supprimés.

Configuration logicielle

openssh de MSYS

Ma version de openssh est la 4.7
- Sans vouloir gâcher un long suspense, nous n'utiliserons pas openssh, mais plink de putty.
- Je laisse toutefois mon cheminement avec openssh. Un courageux pourra peut être compléter dans les commentaires.

putty 0.59

Uniquement pour utiliser plink (mais putty est également un excellent émulateur de terminal).
- La version 0.60 est disponible sur le site officiel.

Unison en interface texte

Il s'agit de la version 2.27
Pour nos tests, nous allons utiliser la version interface texte de Unison.
- Le passage à l'interface graphique de Unison sera abordé à la fin de cet article.

Profil pour les tests

Le client d'où est lancé la commande est un banal Windows.
Le serveur est un banal Linux, avec Unison correctement installé. (ip: 192.168.1.1)
Un fichier profile se trouvera dans votre home, dans le sous-répertoire .unison
Exemple de fichier profile valide, situé dans ~/.unison/default.prf


# Unison preferences file
root = c:\msys\home\jseb\coding
root = ssh://jseb@192.168.1.1//home/jseb/coding

Vous remarquerez que l'encodage des répertoires côté Windows se fait avec des antislashes, ce qui est logique quand on réfléchit trente secondes.
- Je dis ça, car mon premier essai m'a pris exactement vingt neuf secondes.

Premier lancement

Unison est lancé avec les paramètres suivants:
- ./"Unison-2.27.57 Text.exe" -debug verbose

Je passe le début du log. La fin est intéressante:


Contacting server...
[remote] Shell connection: ssh (ssh, -l, jseb, 192.168.1.1, -e, none, unison, -server)
Uncaught exception Unix.Unix_error(20, "create_process", "ssh")

On dirait un problème avec ssh, pas vrai Holmes ?
- Watson, vous m'étonnerez toujours.

Utiliser ssh avec Unison

Vérification (sur l'air de ne négligeons aucune possibilité)

La commande ssh existe pourtant dans MSYS.
Première chose, s'assurer de son bon fonctionnement.


$ ssh jseb@192.168.1.1 ls
Password: 
(et une jolie liste de fichiers s'affiche)

Pas de problèmes de ce côté là.
Les paramètres passés par Unison ne sont probablement pas compris par ssh.

Voyons voir ces paramètres...

Pour rappel, voici la chaine de paramètres utilisée par Unison (vu dans les logs plus haut)
- ssh, -l, jseb, 192.168.1.1, -e, none, unison, -server

Nous allons faire un essai à la main


$ ssh jseb@192.168.1.1 unison -server
Password: 
bash: unison: command not found

Ahah! Effectivement, Unison ne s'appelle pas Unison sur mon serveur, pour des raisons historiques (aheeeem!).
- Son vrai petit nom est unison-2.27

Hola! Stop! Je vous ai vu! Pas de renommage du binaire sur le serveur, espèce de sauvage!
- Le fichier profile peut se configurer afin de préciser la commande à lancer.
- Il suffit d'ajouter: servercmd = unison-2.27 dans le profil.

Avec les nouveaux paramètres...

On relance Unison, toujours en mode debug


$ ./Unison-2.27.57\ Text.exe -debug verbose
 (...)
[remote] Shell connection: ssh (ssh, -l, jseb, 192.168.1.1, -e, none, unison-2.27, -server)
Uncaught exception Unix.Unix_error(20, "create_process", "ssh")

C'est un peu mieux, mais ce n'est toujours pas ça.

Passer différemment les paramètres à ssh

Tout ça sent à plein nez un problème de paramètres passés n'importe comment à ssh.
Nous savons comment nous voulons les passer (ligne de commande ci-dessus).
Unison est un programme bien fait, il permet de spécifier la commande ssh.
Il suffit d'utiliser sshcmd dans le profil.
Nous ajoutons donc:
- sshcmd = c:\msys\home\jseb\.unison\sshcmd.bat

Bien sûr, il faut un fichier sshcmd qui va contenir la commande ssh correctement paramétrée.
- A des fins de test, nous utilisons une commande qui va afficher les paramètres passés.

sshcmd.bat contient donc pour l'instant:
- @echo 0=%0 1=%1 2=%2 3=%3 4=%4 5=%5 6=%6 7=%7 8=%8 9=%9
- Notez l'arobase au début de la commande, c'est obligatoire.

Plus qu'à relancer Unison pour voir ce que cela donne.


$ ./Unison-2.27.57\ Text.exe 
Contacting server...
Fatal error: Received unexpected header from the server:
 expected "Unison 2.27\n" but received "0=c:\\msys\\home\\jseb\.unison\\sshcmd.bat 1=-l 2=jseb 3=192.168.1.1 4=-e 5=none 6=unison-2.27 7=-server 8= 9=\013\n", which differs at "0".

Les paramètres importants sont donc le second et le troisième (le nom d'utilisateur et l'ip), ainsi que le sixième et le septième (commande

Nous pouvons tout de suite modifier la commande ssh.
sshcmd.bat devient donc:
- @c:\msys\bin\ssh -l %2 %3 -e none %6 %7

Et alors ? Rien à tirer de openssh

Quand on relance Unison, la connexion reste en attente et ssh tourne dans le vide sur le poste client.

Il y a bien du dialogue avec le serveur, une écoute avec tcpdump le montre.

Il s'agit d'un problème d'attente du mot de passe ssh, qui n'est pas transmis sur le shell msys par ssh.

Nous pourrions tenter des générer une clé privé et de nous connecter sans mot de passe, mais je trouve cette solution dangereuse.
- Vous n'êtes pas obligé d'être d'accord. Vous pourriez stocker votre clé privé sur une clé USB qui ne vous quitterait pas, résolvant les problèmes de stockage de la clé sur un ordinateur en accès libre.

Pour ma part, j'ai une approche différente : utiliser plink en lieu et place de openssh.

Attention aux essais avec openssh et unison. Quand ssh reste dans un état bloqué, un ctrl+c rend la main au shell, mais ssh reste en mémoire. Pensez à le tuer avec le gestionnaire des tâches.

plink, mon sauveur

plink ?

plink est un utilitaire livré avec putty (un émulateur de terminal déja évoqué ci-dessus).
Son fonctionnement est analogue à la fonction ssh, il peut même servir pour des sessions interactives.

En avant avec plink

Pour l'utiliser, il suffit de modifier le fichier sshcmd.bat et d'adapter les paramètres.
- Voici le nouveau contenu du fichier:


REM fichier sshcmd.bat
REM %2 = nom d'utilisateur , %7 = mot de passe ssh
REM %3 = ip serveur, %8 = unison-2.27, %9 = -server

@C:\putty\plink -ssh -l %2 -pw %7 %3 %8 %9

-pw : ce paramètre sert à spécifier un mot de passe en ligne de commande, et à éviter le lock rencontré avec OpenSSH.

Il faut préciser que la commande ssh aura des arguments, on lance donc Unison avec ces paramètres:
- ./"Unison-2.27.57 Text.exe" -sshargs "-pw mot_de_passe"

Si vous rencontrez des problèmes, vous pouvez relancer la commande ci-dessus en debug verbose.
- ./"Unison-2.27.57 Text.exe" -sshargs "-pw mot_de_passe" -debug verbose
- Il s'agira probablement d'un problème d'ordre de paramètres (vérifiez bien la chaine de connexion ssh).

Bon et cette interface ?

L'interface texte est pratique, mais l'interface GTK est encore plus pratique.
- Oui je sais. clic clic clic. Bon. Personne n'est parfait.

Si vous avez la lib GTK installée, passer à l'interface graphique de Unison ne devrait pas poser trop de problèmes.

Il suffit de préciser son path dans le script d'invocation de Unison.

Voici un exemple de script, que j'ai appellé unison, et que j'ai placé dans le /bin de msys.


#!/bin/sh
#nom de ce script: /bin/unison

stty -echo
echo -n "entrez votre mot de passe: "
read p
stty echo

#echo $PATH
"$unison_gtk" -sshargs "-pw $p"

Vous remarquerez qu'on passe le mot de passe dans une variable, après l'avoir demandé au lancement.
- L'écho local du clavier est bloqué pendant la saisie, au cas où un malfaisant vous regarderait taper.
- Un script plus complet (pour ceux qui comme moi n'ont pas GTK dans le PATH) est proposé à la fin de cet article.

Synchro : ok

A ce stade, vous êtes normalement un codeur heureux.

Terminé les fichiers qui se promènent en clair sur le réseau.

Et pour ceux qui n'aiment ni lire, ni comprendre, voici le résumé du résumé.

Le profil

Il se trouve dans ~/.unison/votre_profil_unison.prf
- C'est ici qu'on précise le nom de l'exécutable Unison côté serveur, ainsi que la commande de remplacement ssh.
- Par défaut, Unison utilise le profil nommé default.prf


# Unison preferences file
servercmd = unison-2.27
sshcmd = c:\msys\home\jseb\.unison\sshcmd.bat@@
root = c:\msys\home\jseb\coding
root = ssh://jseb@192.168.1.1//home/jseb/coding

La commande de remplacement ssh

Ce batch MS-DOS est invoqué par Unison, qui utilise le contenu du paramètre sshcmd, défini dans le profil.
- N'oubliez pas l'arobase avant la commande.


@C:\putty\plink -ssh -l %2 -pw %7 %3 %8 %9

Script de lancement (avec support GTK)

Placez le dans votre path, ou dans /bin, il s'y trouvera fort bien.


#!/bin/sh
#nom de ce script: /bin/unison

stty -echo
echo -n "entrez votre mot de passe: "
read p
stty echo

#attention , pas d'espace autour de '=' dans une affectation!
unison_gtk="/c/Unison-2.27.57/Unison-2.27.57 Gtk+.exe"
lib_gtk="/c/Program Files/Fichiers communs/GTK/2.0/bin/"
PATH="$PATH":"$lib_gtk"

#les gens qui ont une espace dans leur mot de passe protègeront la variable $p :
# -sshargs "-pw \"$p\""
# Merci Fred pour la remarque.
"$unison_gtk" -sshargs "-pw $p"

Du neuf sans œufs

Jean-Seb — Sat, 03 Oct 2009 11:41:00 +0200

Un gâteau ?
Oui, mais celui-ci, il a quelque chose de plus en moins.

Le gâteau sans œufs

Certaines personnes sont allergiques aux œufs, les malheureux.
Ce n'est pas mon cas, mais je n'en avais plus à portée de main.
Une recherche internet, et une correction des valeurs saupoudrée de personnalisation... voici le résultat.

Évoquons les ingrédients.

Ingrédients (pour 4 à 6 personnes) :

200 g de farine
1 pincée de sel
150 g de sucre en poudre
150 g de chocolat en morceaux
120 g de beurre
20 cl de lait
1 sachet de levure dite chimique (en fait, c'est du bicarbonate)
1 boite de fruits en conserve

Saladier, mélanger, und so weiter

Dans un saladier, verser la farine, le sel, la levure et le sucre. Mélanger.

Faire fondre le beurre et le chocolat dans une casserole, avec un peu d'eau au fond (pour éviter que cela n'attache).

Ajouter le lait dans la casserole, bien mélanger.
- Ne vous inquiétez pas, le mélange n'est pas très miscible mais ça ne porte pas à conséquences.

Ajouter le contenu de la casserole en trois fois dans le saladier. Mélanger à chaque étape.
- A la dernière étape, vous devez obtenir un mélange lisse et onctueux.
- La spirale tracée par la cuillère dans la pâte doit évoquer le nombre d'or. Continuez à mélanger si ce n'est pas le cas.

Badigeonnez un plat en pyrex avec de l'huile (un filet suffit).

Versez dans le plat en pyrex le contenu du saladier.

Placez les fruits en conserve soigneusement égouttés dans le plat.
- N'hésitez pas à appuyer un peu sur ceux-ci, pour faciliter l'immersion (noyé dans une mer de chocolat ! Quel destin à la fois horrible et tentant !)

Bon ça y est ? On peut mettre au four ?

Mettre dans le four préchauffé à 200°.

Cuisson: 30mn à 200°, puis éventuellement 5mn à 180°.
- Vérifiez la cuisson à 30mn!

Vous pouvez vérifier la cuisson en enfoncant la lame d'un couteau au centre du gâteau.
- Elle doit ressortir sans emporter de la pate avec elle.

La poule qui a fait l'œuf ou l'œuf qui fit la poule ?

Je remercie mes collègues qui ont bien voulu servir de cobayes.
- Et qui ont aimé ça (c'est pour ça que je les remercie).

OSS4 : Alsa ne répond plus.

Jean-Seb — Thu, 17 Sep 2009 20:17:00 +0200

Plus fort que OSS-117 et Alsa réunis.
Voici ... OSS4 !
Et dire qu'on l'enterrait déja dans l'indifférence générale.

Alsa prête le flanc à la critique

OSS4 est le dernier avatar de la lignée presque éteinte OSS. Comme quoi, tout arrive.
Alsa rêgne en maître incontesté sur nos cartes sons depuis quelques années.
Pourquoi remplacer Alsa par OSS4 ?
- Alsa n'est pas exempt de bugs.
- Je dirais même plus, mon cher Dupont, de bugs Alsa n'est pas exempt.
- De curieux comportements après une hibernation (plantage de la couche son pour moi).
- D'autres comportements non moins étranges lors d'un shutdown. (cf bugs.gentoo.org)
Bref, Alsa peut vous laisser comme deux ronds de flan.
- Il est temps de passer à la concurrence. Cela stimule l'innovation et l'inventivité, comme disent les adeptes de la concurrence (chez les autres).

Installation

Tout ce qui suit est pour Gentoo.
Vous aurez peut être besoin d'installer mercurial (layman vous le signalera, si c'est le cas)

Overlay

Il faut passer par un overlay Gentoo.
La question des overlays a déja été discutée sur ce blog
- J'en parlais justement ici

Pour les décideurs pressés, voici le résumé du résumé:
- installer: layman -a oss-overlay
- juste pour voir: ls /usr/local/portage/layman/oss-overlay/

package.keywords

C'est encore assez expérimental, donc:
- media-sound/oss ~amd64 (ou ~x86 ou ...)

Emerge

Rien de spécial
- emerge -va oss

Kernel

Enlevez les références à Alsa dans le noyau.
- Ou au minimum, le support Alsa devra être sous forme de modules.
- J'ai tout viré.
Pas la peine d'activer OSS dans le kernel, cela ne sert à rien.

make.conf

ajouter à USE oss et oss4, laisser alsa (on n'est pas des sauvages, et on ne sait jamais).
- Voici mon USE:
- USE="-qt3 -qt4 -gnome -kde -ipv6 gtk unicode opengl jpeg truetype type1 oss oss4 alsa"

Lancer OSS4

Initialiser

/etc/init.d/oss start
- C'est super long. Vous pouvez faire un modprobe à la main également.

N'oubliez pas de baisser le son, par défaut, ça explose les enceintes.


~$ ossmix vol 15
Value of mixer control vol set to 15.0:15.0
~$ ossmix pcm.main 15
Value of mixer control pcm.main set to 15.0

Tester

osstest
- Vous devez entendre un piano à droite, à gauche, en stéréo.
- Voire ailleurs si vous avez un système 5.1
- Moi, j'en suis resté là en tant que salaud de pauvre.

Utilitaires amusants

ossxmix
- Un mixer très complet. Enfin complet. Enfin y'a plein de boutons qui doivent servir à quelque chose.

Et maintenant ?

Haha! Vous croyiez vous en tirer à si bon compte ?
- Il faut recompiler maintenant!

Soit emerge -DuvaN world (bon courage)

Soit y aller petit à petit: dosbox, sdl, mplayer, mpd, xine, audacious, wine ...
- Il ne faudra pas oublier de modifier les fichiers de configuration des programmes recompilés pour utiliser OSS si vous compilez avec le support OSS et Alsa.
- Certains programmes feront automatiquement le bon choix, d'autres auront besoin d'être un peu aidés.
- Comment savoir ? Lancez le programme, et si il n'y a pas de son, c'est qu'il a besoin d'être un peu aidé. Muhahhaaahaa!

Bon d'accord, arrêtez les tomates. Je vous aide un peu avec mpd.
- Si après compilation avec le double support alsa et oss, vous obtenez cette erreur au lancement:


jseb # /etc/init.d/mpd start
 * Loading ALSA modules ...
 *   Could not detect custom ALSA settings.  Loading all detected alsa drivers.
 *   Unable to find any ALSA drivers. Have you compiled alsa-drivers correctly?
 *   ERROR: Failed to load necessary drivers                              [ ok ]
 * ALSA failed to load.                                                   [ !! ]
 * ERROR:  cannot start mpd as alsasound could not start

Dans ce cas, éditez le fichier suivant /etc/init.d/mpd
- Et enlevez la référence à alsasound à la ligne need
- Crade ? Of course. N'oubliez pas de remettre la référence si vous réinstallez Alsa.

OSS et l'hibernation

hibernation, le mot qui fait trembler tout linuxien qui se respecte.
- Comme on n'est pas sous Windows, ça ne fait pas partie du cahier des charges.

Pas de bol, OSS a un peu de mal à sortir du caisson cryogénique.
- Remarquez, Alsa, c'était pas tellement mieux.

La bonne nouvelle, c'est qu'un simple restart de la couche OSS suffit.
- /etc/init.d/mpd restart

La mauvaise nouvelle, c'est qu'avant, il faudra tuer tous les programmes qui dépendent de OSS.
- Oui, y compris gkrellm et son mixer magique.
- OSS étant sympa, il prévient des applications qui le gênent.


jseb # /etc/init.d/oss restart
 * Stopping OSS ...
Some applications are still using OSS - cannot unload

3311 gkrellm
5591 /usr/bin/mpd --no-create-db /home/jseb/.mpd/mpd.conf

Please stop these applications and run soundoff again
 * Failed to stop OSS                                                     [ !! ]

Si vous avez compilé le noyau avec CONFIG_MODULE_FORCE_UNLOAD, vous pouvez peut être procéder autrement...
- ... mais je ne vous ai rien dit!

Un peu de lecture pour finir

Mes années de fac m'ont appris de multiples choses, comme par exemple qu'il ne faut pas mettre les pieds en fac.
- J'ai également appris qu'une bonne bibliographie, ça vous pose son homme.
- Normalement, on colle des pages et des pages de bouquins poussiéreux que personne n'a lu.

Comme nous sommes entre gens de bonne compagnie, voici l'essentiel.
- la doc d'OSS4

N'hésitez pas à repasser, il y aura surement des mises à jour au fur et à mesure de mes découvertes.

Google Analytics, c'est chic

Jean-Seb — Mon, 03 Aug 2009 19:38:00 +0200

Voici venu le meilleur moment de l'année.
Je parle bien sûr du renouvellement du domaine finiderire.com.
Le renouvellement, tout le monde s'en moque. Mais ... il y a le bla-bla annuel !

Bilan de l'année passée et enseignements qu'il convient d'en tirer.

Quel magnifique titre à rallonge en guise d' introduction.
Avouez que vous adorez ça, le bla-bla, le futile, l' inutile, le mec qui se répand dans son blog.
Mais ceci n'est pas une tentative pour faire remonter mes stats.
- Les stats ? Elles étaient ... holala ... au moins à ça il y a trois mois.
- Crise financière ? Dégoût de Vim ? Sectateurs Emacs au travail de sape efficace ? Toujours est-il que les stats ont plus que chutées.

Ca bugge, c'est sûr!

Le module stats du blog Gandi étant à peu près aussi digne de confiance que les résultats d'une élection dans une république bananière, j'ai commencé par incriminer celui-ci.
C'est décidé, je passe à la roll's : Google Analytics !
Après installation de la chose, deux constatations:
- Wahh qu'est-ce que c'est précis !
- Tiens... les chiffres sont pratiquement les mêmes que ceux des stats pourries de Gandi.

L'analytique, c'est chic.

Les stats fournies par Google sont d'une précision confondante et terrifiante.
Pour tout dire, c'est tout juste si on n'a pas la marque du slip du visiteur.
Vous disposez bien sûr d'un droit d'accès et de rectification de vos données chez Google et muhahahaaa! Pardon excusez-moi, c'est nerveux.
Toujours est-il que les statistiques sont tellement détaillées que j'envisage de débarquer à l'improviste chez mon visiteur fidèle, une bouteille de champagne et quelques biscuits de Reims à la main.
Le seul problème, c'est qu'il faut que le javascript soit activé sur le navigateur du visiteur. Alors soyez sympas, faites pas comme moi, et activez l'exécution des scripts !

La voila, la triste vérité.

En vérité mes frères, je vous le dis: Google Analytics est si détaillé que l' épluchage des statistiques me prend tout mon temps disponible.
La mise à jour du blog va donc continuer son bonhomme de chemin, au gré de mes envies, de mes disponibilités, et de mon taux de motivation.

Tada et Pan (dans l'ordre, mais sans rapport).

Tada!

L'article sur Freeglut et cygwin va être intégré dans la documentation officielle du projet Freeglut, après traduction bien sûr.
- Voila des gens au goût raffiné.
- Freeglut est ici

Pan!

Par ailleurs, je vous en prie: cessez de remplir les commentaires avec des fécilications si élogieuses qu'elles en deviennent impubliables.
- Quand de plus, elles se trouvent associées à un site web sans aucun rapport, vous comprendrez que je tire à vue.
- Les vrais commentaires sont par contre les bienvenus.

Une Page de Python

Jean-Seb — Sat, 25 Jul 2009 13:13:00 +0200

Pour utiliser nativement des interfaces avec Python, il y a Tkinter.
Pour ceux qui n'aiment pas coder les GUI à la main, il reste les générateurs d'interface.
Ici, je parle de la mise en oeuvre de Page.

Revue de détail

La revue sera rapide, j'ai testé uniquement GuiBuilder et Page

GuiBuilder

Anciennement nommé SpecTcl.
+1 : il permet de générer des interfaces proportionnelles (le principal intêret de Tk).
-1 : ne semble plus maintenu, le code généré est assez horrible.
-1 : les sources ne semblent pas disponibles

IInstallation de Page

Prérequis

Comme d'habitude, je parle pour les possesseurs de Gentoo.

Il faut un Tk récent: au moins la version 8.5
- Attention, c'est une version test pour l'instant. Je n'ai pas eu de problèmes en l'installant, cependant.


# eix dev-lang/tk
[I] dev-lang/tk
     Available versions:  8.4.15-r1 8.4.18 8.4.18-r1 (~)8.4.19-r1 (~)8.5.7 {debug threads truetype}
     Installed versions:  8.5.7(20:24:53 24.07.2009)(truetype -debug -threads)

Ce qui au passage va vous coller un Tcl d'un niveau de version à peu près équivalent.

Si vous n'étiez pas à niveau pour Tk, n'oubliez pas de recompiler Python avec le flag tk

Il vous faudra également la lib pyttk
- Pour l'instant, disponible en version 0.3
- On la trouve ici
- Reprenez l'archive tgz, ça suffira.

Installation

Dépliez l'archive Page, obtenue sur le site officiel (url donnée plus haut).

Dépliez l'archive pyttk dans le répertoire racine Page.
- Vous devez obtenir un sous-répertoire pyttk-0.3 (selon votre version de ''pyttk', bien sûr)

Lancez le script configure de Page, qui va positionner quelques variables dans le script de lancement de Page.

Editez le script de lancement de Page.
- Ajoutez le chemin de pyttk, juste avant le exec
- export PYTHONPATH="$PYTHONPATH":"$PAGE_HOME"/pyttk-0.3/
- Cela permettra de tester le code Python au sein de Page.

Test avec code généré

Cela ne devrait pas vous poser de problèmes, il faut juste prendre garde à pyttk
Soit utiliser la variable globale python indiquant le chemin des modules:
- export PYTHONPATH = chemin/vers/pyttk/

Soit utliser sys.path dans votre script Python.
- sys.path donne l'emplacement des modules au script.


#à mettre au début du script Python
import sys
sys.path.insert (0, '/chemin/vers/pyttk/')

Attention : ce n'est pas une bonne idée que de modifier un fichier qui a été généré.
- Il faudra donc passer par un fichier main qui importera à son tour les fichiers générés.
- De toutes façons, vous devrez en passer par là pour écrire les fonctions de l'interface.

We thrash with all the rest

Et le reste ? demanda le jeune padahouane.
RTFM répondit Iota en se reprenant un pastis.