Unix-Linux — Outils
Les utilitaires et lignes de commandes disponibles sur les plate-formes Unix/Linux sont très puissants et incontournables pour l’industrialisation des systèmes.
Avec la panoplie des outils GNU (awk, grep, find, sed…), toutes les cartes sont en main pour traiter et formater de la donnée brute sans langage de programmation.
Les utilitaires awk, nawk et gawk - Tutoriel 27 novembre 2011
Les utilitaires awk, nawk et gawk (GNU Awk) sont des parseurs de fichiers textes très simples à utiliser et permettent de manipuler efficacement des fichiers textes de données délimitées par un caractère. Avec une syntaxe très facile à appréhender, les opérations pour filtrer des lignes, filtrer des colonnes, enrichir le contenu, convertir des formats, calculer des aggrégats (moyennes, sommes par exemple)… deviennent un jeu d’enfants avec ces utilitaires. awk, gawk et nawk ne diffèrent que pour quelques fonctionnalités très avancées qui ne sont pas abordées ici.
awk est l’utilitaire qu’il faut utiliser sans hésiter pour parser très efficacement et en quelques secondes des fichiers de logs complexes par exemple.
Une prise en main de l’utilitaire nawk à travers l’exemple, et contrairement aux idées reçues il est également disponible sur les plateformes Windows. L’utilitaire comm sous Unix. Intégration de données en delta dans une base de données 29 décembre 2009
L’utilitaire comm sous Unix est peu connu mais très puissant pour l’intégration de données en différentiel dans une base de données à partir de fichiers reçus à intervalles réguliers.
Pour éviter de charger en base à chaque fois 100 000 lignes à traiter, le binaire comm est exploité pour générer un fichier à charger ne contenant que les nouvelles lignes et lignes modifiées entre deux fichiers reçus. Les gains en performances grâce à comm peuvent dépasser 200% en éliminant une très grande partie des traitements ligne à ligne généralement mis en œuvre.
L’utilisation du binaire comm présente toutefois une contrainte, les données dans les fichiers doivent être en effet déjà triées avant l’utilisation de comm. Analyse des statistiques sur la mémoire avec la commande vmstat 2 août 2002
Guide pratique pour les systèmes Solaris, AIX et HP-UX pour contrôler les performances de la mémoire virtuelle grâce à la commande vmstat FTP en lignes de commandes 2 août 2002
Aide mémoire des commandes ftp (File Transfer Protocol) pour transférer des fichiers lorsque l’on ne dispose pas d’outils graphiques. Utilisation de la commande Sed 31 juillet 2002
Fiche technique sur l'utilitaire sed (Stream Editor) destiné au traitement des fichiers : substitution, ajout, suppression de chaînes de caractères avec des programmes sed. Utilisation de la commande Awk 31 juillet 2002
Fiche technique sur l'utilitaire awk destiné au traitement des fichiers. awk est un langage de traitement de lignes pour des opérations de recherches, de remplacements et de transformations complexes. Utilisation des commandes Find et Grep 31 juillet 2002
Les utilitaires find et grep : utilisation et exemples pratiques.
Au delà des cas basiques, les exemples abordent des besoins plus complexes avec parfois la puissance des expressions régulières. Des exemples parmi d’autres : supprimer des fichiers en fonction de critères, calculer la taille des images dans un répertoire, retrouver les liens symboliques invalides.
Article assez ancien (première version en 2002), il est mis à jour au fil du temps avec des exemples intéressants à se rappeler. Analyse des statistiques E/S et de la CPU avec la commande iostat 31 juillet 2002
Guide pratique pour les systèmes Solaris, AIX et HP-UX pour contrôler les performances Entrée/Sortie et CPU grâce à la commande iostat Guide pratique de Vi 13 juillet 2001
Fiche technique sur l'utilisation de vi, éditeur de texte sur les systèmes d'exploitation Unix Linux. Tableau récapitulatif des commandes et des astuces : copier/supprimer des lignes, rechercher des chaines, remplacer des occurences, supprimer des lignes en fonction de critères…