Planet

Me voila avec ma stack ELK fraîchement installée. formation-elasticsearch.png

Voici un cas d’utilisation assez simple :Je recherche à insérer au fil de l’eau des documents JSON dans l’index ELASTICSEARCH. Pour ceci on peut le faire de plusieurs manières :

  • Utiliser un ETL (ex. TALEND)
  • Utiliser un programme manipulant l’API ELASTICSEARCH
  • Utiliser LOGSTASH

Cette dernière brique était dans un premier temps dédiée aux LOGS. Dorénavant, elle se rapproche d’un ETL.

Voici le cas (assez simple j’en conviens) que je vais mettre en place

Screen_Shot_10-30-14_at_04.42_PM.PNG

Configuration de LOGSTASH

LOGSTASH s’exécute dans mon cas comme un agent. Il faut créer le fichier de configuration suivant dans le répertoire /etc/logstash/conf.d :

input{ file{ codec => multiline{ pattern => "^." what => previous } path => ["/home/alexandre/src/logstash/data/*.json"] sincedb_path => "/home/alexandre/src/logstash/.sincedb_path" start_position => "beginning" } } filter { json { source => message remove_field => message } } output{ stdout{} elasticsearch { embedded => false host => "localhost" cluster => "elasticsearch" node_name => "localhost" index => "index" index_type => "document" } }

Dans le premier bloc (input) je spécifie que je cherche à traiter les fichiers json qui sont dans mon répertoire et qu’ils sont multilignes.

Ensuite dans le bloc filter , j’applique une transformation pour les mettre en JSON. Enfin dans le dernier bloc ( output) j’affiche dans la sortie standard ( stdout() ) le résultat et je charge dans elasticsearch le document JSON ainsi chargé.

Chargement des données Il faut pour cela redémarrer logstash

#service logstash restart

Et logiquement, vous devriez voir dans les logs d’ELASTICSEARCH des lignes qui ressemblent à ça

Orphan] added {[localhost][diyTqVzwSWqydrCDF6EnNQ][debian][inet[/10.0.2.15:9301]]{client=true, data=false},}, /// !!!Requête dans ELASTICSEARCH Maintenant que les données sont chargées on peut faire les recherches dans ELASTICSEARCH Il suffit de taper l'URL suivante dans un navigateur

http://127.0.0.1:9200/index/document/_search ///

Visualisation dans KIBANA

Je ne décrirais pas cette partie car je suis encore en cours d’exploration. Voici néanmoins un bon point de départ pour ceux que ça intéresse

 

L'écosystème des clients Twitter est assez bien fourni pour Windows et pour Mac, mais assez pauvre pour les systèmes Linux. J'utilisais hotot qui n'est plus mis à jour depuis un moment, mais qui fonctionnais encore à peu près sur Ubuntu. Par contre, depuis la mise à jour en 14.10, hotot est quasiment inutilisable.

Pour le remplacer, j'ai trouvé rapidement Birdie et Turpial, mais qui ne me convenaient pas pour plusieurs raisons. J'avais trouvé Corebird il y a un moment, mais il ne fonctionnait que sur ArchLinux. J'avais bien essayé de le compiler à la main mais il nécessitait plusieurs bibliothèques dans des versions qui n'étaient pas supportées par Ubuntu.

Mais depuis la version 14.10 tout fonctionne et un dépôt PPA est même disponible :)

On peut donc l'installer et profiter d'un très bon client Twitter !

sudo add-apt-repository ppa:ubuntuhandbook1/corebird sudo apt-get update sudo apt-get install corebird

Bon ça faisait pas mal de temps que je n’avais pas posté un article. Je travaille actuellement sur les moteurs de recherche. Je suis actuellement en train de monter une architecture ELK (ELASTICSEARCH, LOGSTASH, KIBANA) pour pouvoir gérer l’insertion au fil de l’eau ou en BATCH de données dans le moteur de recherche ELASTICSEARCH.

Architecture et composants

L’architecture typique est la suivante :

Screen_Shot_10-29-14_at_04.08_PM.PNG

On y retrouvera les éléments suivants :

Agents (shipper)

C’est un agent LOGSTASH qui prend désormais la place d’un ETL. Dans mon cas, il scanne un répertoire pour la présence et la modification de fichiers et les envoie au moteur de recherche ou au buffer

Buffer ou le Broker

C’est un cache permettant de découpler les envois de fichiers du moteur de recherche. La base NoSQL REDIS est la plus utilisée pour ce rôle

Indexer /Moteur de recherche

J’utilise ELASTICSEARCH pour ceci

Interface graphique

On utilisera le plugin Kibana d’ ELASTICSEARCH

Je décrirai dans cet article l’installation de LOGSTASH et ELASTICSEARCH

Prérequis

Avoir installé un JDK (version 7 minimum)

Installation de LOGSTASH et ELASTICSEARCH

J’utilise les repository décrits sur le site d’elasticsearch

Lancer la commande suivante

#wget -qO - http://packages.elasticsearch.org/GPG-KEY-elasticsearch | sudo apt-key add -

Puis dans le fichier /etc/apt/sources.list.d/elasticsearch.list

deb http://packages.elasticsearch.org/elasticsearch/1.3/debian stable main deb http://packages.elasticsearch.org/logstash/1.4/debian stable main

Lancer les commandes suivantes

#apt-get install logstash elasticsearch

Installation de KIBANA

Après avoir téléchargé l’archive, la placer dans le répertoire /var/www

cp kibana-3.1.1.tar.gz /var/www/ cd /var/www/ tar -zxf kibana-3.1.1.tar.gz mv kibana-3.1.1 kibana vi kibana/config.js

Assigner l’ URL d’elasticsearch

elasticsearch: "http://127.0.0.1:9200"

Redémarrer apache ( pas obligatoire, mais ça ne fait pas de mal….)

#service apache2 restart

Enfin on peut tester la connexion au portail KIBANA Screen_Shot_10-30-14_at_09.54_AM.PNG

Références

http://blog.xebia.fr/2013/12/12/logstash-elasticsearch-kibana-s01e02-analyse-orientee-business-de-vos-logs-applicatifs/

http://www.logstashbook.com/

NVIDIA-logoL’autre jour j’ai réinstallé mon PC portable (ce qui ne s’était pas produit depuis au moins 2 ans) et j’ai eu la surprise de voir après l’installation des pilotes propriétaires, un charmant logo NVIDIA  au démarrage d’Ubuntu.

Et la la seule chose qui m’est venu à l’esprit est « Comment je vais pouvoir désactiver ce truc inutile? »

Après quelque recherches sur google j’ai trouvé la solution.

1) La méthode douce

Entrer la commande suivante:

sudo nvidia-xconfig --no-logo

Au prochain redémarrage vous ne devriez plus voir le dit logo :)

2) La méthode dure

Editer le fichier suivant: /etc/X11/xorg.conf

sudo vi /etc/X11/xorg.conf

Et ajouter la ligne suivante: Option “NoLogo” dans la section « Device »

Section “Device” Identifier “Device0″ Driver “nvidia” Option “NoLogo” VendorName “NVIDIA Corporation” BoardName “GeForce 9600 GT” EndSection

Normalement après ça vous ne verrez plus le logo NVIDIA au démarrage de votre machine (une bonne chose de moins :) )

24 Octobre 2014 à 16:12

Pour les fans de Blender via Full Circle Mag FR

Bonjour !

Voici le premier Numéro spécial de Blender en français. Il s'agit d'une compilation des parties 1-10 de la série sur Blender, parues dans les numéros 68 à 82 du FCMfr. Comme d'habitude, vous pouvez le lire ou le télécharger sur notre page Lire ou télécharger les numéros, ou en cliquant directement sur l'image ci-dessous.

NSBlenderP1.png

Bonne lecture...

Toute l'équipe du FCMfr

P.S. Si vous n'avez pas encore répondu à notre enquête, nous vous remercions d'avance de bien vouloir le faire en cliquant ICI

20 Octobre 2014 à 12:32

Et voici le numéro 83 via Full Circle Mag FR

Bonjour à toutes et à tous !

L'Équipe de traduction du magazine Full Circle en français est heureuse de vous proposer le numéro 83, celui de mars 2014. Comme d'habitude, il est disponible sur la page Lire ou télécharger les numéros ou directement en cliquant sur l'image ci-dessous.

issue83fr.png

Bien entendu, il y a beaucoup d'articles intéressants à lire : les tutoriels habituels, des critiques - dont deux de jeux, l'article d'un membre de l'équipe sur Audacious, le Petit Nouveau, la deuxième partie de la série sur la Monnaie virtuelle, etc., etc.

Autrement dit, nous avons bien travaillé pour vous, mais notre retard s'accumule ; il est maintenant de sept mois !!!

Nous vous demandons donc ce mois-ci de travailler un peu pour nous en répondant à l'enquête sur notre Full Circle en français.

Avec nos remerciements.

Bonne lecture !

Toute l'équipe du FCMfr, dont Bab, notre scribeur et relecteur assidu, Ekel, frangi, FredPhil91, Le Castillan et moi-même, AuntieE

09 Octobre 2014 à 16:58

Ubuntu 14.10 attendue le 23 octobre via Ubuntu Party

Actuellement en « Béta finale » la sortie officielle de la vingt-et-unième version d’Ubuntu est attendue ce 23 octobre 2014.
Nom de code « Utopic Unicorn », Ubuntu 14.10 n’est pas une révolution, mais promet d’être particulièrement soignée et intégrera les dernières versions des logiciels libres proposés dans sa logithèque, comme LibreOffice 4.3.1, Mozilla Firefox 32 et Mozilla Thunderbird 31.

Attention toutefois : Contrairement à Ubuntu 14.04 dont les mises à jours sont assurées pendant 5 ans, Ubuntu 14.10 ne sera supportée que 9 petits mois.

Cela fait dix ans qu’Ubuntu existe et dynamise l’univers du système d’exploitation libre. La communauté francophone, qui anime ubuntu-fr.org, a elle aussi 10 ans ! Anniversaire qu’elle ne manquera pas de fêter à l’occasion de sa dix-neuvième Ubuntu Party parisienne, ainsi qu’à celle de Sarrebourg (et si on en oublie, signalez-le nous).

À Paris, dès le 25 octobre un festin s’auto-organisera avec les petits plats préparés par les ubunteros eux-mêmes, dans un lieu magnifique (mais encore secret). Inscrivez-vous vite :)
Nous attendons des nouvelles des autres villes pour relayer l’information.

svn étant quand même moins user-friendly que git1, petite note en passant pour lui demander d'ignorer certains fichiers du répertoire de travail.

$ svn propset svn:ignore "*.pyc" .

Attention au point à la fin de la commande.

Via

  1. Où ça un troll ? 

svn étant quand même moins user-friendly que git1, petite note en passant pour lui demander d'ignorer certains fichiers du répertoire de travail.

$ svn propset svn:ignore "*.pyc" .

Attention au point à la fin de la commande.

Via

  1. Où ça un troll ? 

Depuis la version 14.04, XUbuntu utilise un nouvel outil de verrouillage d'écran : LightLocker.

LightLocker marche plutôt bien mais a un défaut assez gênant. Quand l'écran est verrouillé, le son qui tournait en fond est stoppé. L'équipe d'XUbuntu a une — bonne ? — raison à cela :

Currently, when locking, it is assumed you are either:

in a public space of sorts (the desktop at home hardly needs locking) and have walked away from the machine using a system with more than one user

En gros, si votre session se verrouille, c'est qu'il y a de fortes chances que vous soyez dans un endroit public et donc il est préférable de couper le son. L'idée n'est pas trop con mais moi, je bosse pas toujours sur mon PC. Par contre, j'écoute quasiment toujours de la musique dessus. Donc couper la musique dès que l'écran se verrouille c'est un peu chiant.

Heureusement, une solution « officielle » est fournie sur le blog d'XUbuntu !

On peut, au choix :

  • Demander à lightlocker de ne verrouiller la session que lorsque « l'écran de veille est désactivé » ;
  • Désactiver lightlicker pour repasser sur xscreensaver ;
  • Ajouter son utilisateur au groupe audio.

« Paramètres de Lightlocker » puis « Automatically lock the session when... »

J'ai utilisé les deux premières solutions. Je ne sais pas trop les retombées de la première niveau sécurité (de ce que je comprend, l'écran est simplement noir mais pas verrouillé, et ne se verrouille que lorsque l'écran de veille s'arrête..), mais pour le moment ça fait le job :)

Pages