Installer et utiliser le framework d'extraction de DBpedia

Lancez la commande suivante :

mysql -u root -p

Écrivez le mot de passe que vous avez donné lors de l'installation de MySQL. Nous allons créer le même utilisateur que celui de votre session. Par exemple, moi je me connecte sur ma machine avec l'utilisateur jplu, je donne donc le même nom pour l'utilisateur de MySQL. Pour cela, il faut créer l'utilisateur :

create user "userSession"@"localhost";

Ensuite, il faut donner un mot de passe à cet utilisateur :

SET password FOR "userSession"@"localhost" = password('mot_de_passe');

Pour des questions de sécurité, je vous encourage fortement à supprimer le fichier d'historique de MySQL se trouvant dans votre home juste après cette opération, puisqu'il est en clair dans la commande. Le fichier se nomme .mysql_history. Par contre, si vous quittez tout de suite après cette commande, attention à bien vous reconnecter avec l'utilisateur root et pas celui que l'on vient de créer, car cet utilisateur n'est pas encore administrateur et vous ne pourriez pas faire ce qui suit. Il faut maintenant accorder les droits d'administrateur à ce nouvel utilisateur :

grant all privileges on *.* to "userSession"@"localhost";

Dorénavant, pour vous connecter, vous n'avez plus besoin de préciser -u root, mais juste :

mysql -p

pour vous connecter à MySQL. Maintenant, passez à la configuration interne de MySQL. Lancez donc la commande :

sudo vim /etc/mysql/my.cnf

et modifiez certains paramètres.

Modifiez :

key_buffer = 16M

par :

key_buffer = 1G

Modifiez :

max_allowed_packet =    16M

par :

max_allowed_packet = 1G

Modifiez :

query_cache_size = 16M

par :

query_cache_size = 1G

Et rajoutez dans la section [mysqld] ces deux lignes afin d'avoir MySQL en UTF-8 par défaut :

character-set-server=utf8
skip-character-set-client-handshake

Pour que MySQL prenne en compte tous ces changements, vous devez le redémarrer :

sudo service mysql restart

Voilà, c'est tout pour MySQL.

Pour cela, cloner le dépôt Git en lançant les commandes suivantes :

chown jplu:jplu -R /var/www/
git clone https://gerrit.wikimedia.org/r/p/mediawiki/core.git /var/www/mediawiki

Appropriez-vous le dossier et tout son contenu afin de pouvoir y faire le commit tout en laissant les droits d'exécution et de lecture à tout le monde. Maintenant, placez-vous dans /var/www/mediawiki pour que l'on puisse choisir d'installer la version release la plus récente présente sur le dépôt. Pour cela, exécutez la commande suivante afin de la trouver :

git branch -r | sort -V

Ensuite, dites à Git de l'utiliser :

git checkout -b wmf/<numéro de version> origin/wmf/<numéro de version>

Prenez de préférence la même version que Wikipédia à la date où a été fait le dump, par exemple à l'écriture de ces lignes c'est la version 1.24wmf12. Vous trouverez l'indication de la version au tout début du dump téléchargé, dans la balise <generator>. Maintenant, il faut installer MediaWiki. Pour cela, rendez-vous sur la page d'accueil et suivez les instructions que vous verrez :

• 1^re page : appuyez sur Continuer ;
• 2^e page : si à l'écran vous voyez que l'environnement a été vérifié, vous pouvez installer MediaWiki. Alors vous pouvez cliquer sur Continuer. Dans le cas contraire, vous avez mal effectué une des étapes précédentes ;

• 3^e page :

  • Nom d'hôte de la base de données : localhost,
  • Nom de la base de données : frwiki,
  • Préfixe des tables de la base de données => laissez vide,
  • Nom d'utilisateur de la base de données => laissez root,
  • Mot de passe de la base de données : votre mot de passe d'un utilisateur root de MySQL,
  • cliquez sur Continuer ;
• 4^e page : appuyez sur Continuer ;

• 5^e page :

  • Nom du wiki : Wikipedia_fr,
  • Espace de noms du projet : autre (préciser) => écrire Project,
  • Votre nom : celui que vous voulez,
  • Mot de passe : celui que vous voulez,
  • Adresse de courriel : laissez vide,
  • veillez bien à ce que le bouton radio Me poser davantage de questions soit bien coché,
  • cliquez sur Continuer ;

• 6^e page :

  • Profil des droits utilisateurs : laissez wiki ouvert,
  • Droits d'auteur et licence : laissez « Aucune licence en bas de page »,
  • décochez : « Activer les courriers électroniques d'utilisateur à utilisateur »,
  • décochez : « Activer l'authentification par courriel »,
  • décochez : « Activer les courriels sortants »,
  • cochez : « Mise en cache des objets PHP (APC, XCache ou WinCache) »,
  • cliquez sur Continuer ;
• 7^e page : cliquez sur Continuer.

Patientez durant le bref moment de l'installation. Une fois celle-ci terminée, il vous sera proposé un fichier LocalSettings.php en téléchargement. Téléchargez-le et placez-le dans /var/www/mediawiki. Vous pouvez maintenant vérifier que tout fonctionne bien en allant sur la page d'accueil du wiki.

La première partie de la dernière étape consiste à faire l'extraction des données du dump Wikipédia. Pour cela, il faut éditer le fichier ~/extraction-framework/dump/extraction.default.properties et y appliquer quelques changements. Votre fichier doit donc ressembler à ceci :

base-dir=/home/jplu/extraction-framework/dump/dumps
source=@pages-articles\\d+\\.xml
require-download-complete=true
languages=fr
extractors=.ArticleCategoriesExtractor,.ArticleTemplatesExtractor,.CategoryLabelExtractor,\
ExternalLinksExtractor,.GeoExtractor,.InfoboxExtractor,.InterLanguageLinksExtractor,.LabelExtractor,.PageIdExtractor,\
PageLinksExtractor,.RedirectExtractor,.RevisionIdExtractor,.ProvenanceExtractor,.SkosCategoriesExtractor,\
ArticlePageExtractor
extractors.fr=.MappingExtractor,.DisambiguationExtractor,.HomepageExtractor,.ImageExtractor,\
PndExtractor,.TopicalConceptsExtractor,.fr.PopulationExtractor
uri-policy.uri=uri:en; generic:en; xml-safe-predicates:*; reject-long:*
uri-policy.iri=generic:en; xml-safe-predicates:*; reject-long:*
format.nt.gz=n-triples;uri-policy.uri

Ensuite, toujours pareil, n'oubliez pas de remplacer jplu par votre valeur. Pour finir, lancez la commande de compilation et d'extraction :

../clean-install-run extraction extraction.default.properties

Une fois toutes ces extractions finies, il ne reste plus qu'à récupérer les extractions au même endroit que celui où vous avez placé les dumps Wikipédia. Elles sont sous la forme d'archives.

L'autre partie de cette dernière étape consiste à faire l'extraction des données du dump Wikidata. Pour cela, il faut éditer le fichier ~/extraction-framework/dump/extraction.wikidata.properties et y appliquer quelques changements, le créer s'il n'existe pas. Votre fichier doit donc ressembler à ceci :

base-dir=/home/jplu/extraction-framework/dump/dumps
source=pages-articles.xml
require-download-complete=true
languages=wikidata
extractors=.WikidataFactsExtractor,.WikidataLLExtractor,.WikidataLabelExtractor,.WikidataMappedFactsExtractor,\
WikidataNameSpaceSameAsExtractor,.WikidataSameAsExtractor
uri-policy.uri=uri:en; generic:en; xml-safe-predicates:*; reject-long:*
uri-policy.iri=generic:en; xml-safe-predicates:*; reject-long:*
format.nt.gz=n-triples;uri-policy.uri

Ensuite, toujours pareil, n'oubliez pas de remplacer jplu par votre valeur. Pour finir, lancez la commande de compilation et d'extraction :

../clean-install-run extraction extraction.wikidata.properties

Comme pour l'extraction précédente, il ne reste plus qu'à récupérer les extractions au même endroit que celui où vous avez placé le dump Wikidata. Elles sont sous la forme d'archives.

Cet outil vous permet aussi d'effectuer le même procédé avec le Wiktionnaire, c'est-à-dire téléchargement du dump et extraction. Tout d'abord, l'étape de téléchargement, placez-vous dans le dossier wiktionary et ouvrez le fichier download.properties :

wikiName=wiktionary
base-url=http://dumps.wikimedia.org/
base-dir=/home/jplu/extraction-framework/wiktionary/dumps
download=fr:pages-articles.xml.bz2
unzip=true
retry-max=5
retry-millis=10000

Toujours pareil, n'oubliez pas de changer l'emplacement de la variable base-dir. Puis lancez le téléchargement :

../clean-install-run download config=download.properties

Maintenant, la dernière étape, l'extraction de ce Wiktionnaire. Pour cela, ouvrez le fichier config.properties et vérifiez qu'il ressemble bien à ceci :

base-dir=/var/tmp/dumps
wikiName=wiktionary
languages=fr
source=pages-articles.xml
extractors=.WiktionaryPageExtractor
parser=sweble
uri-policy.iri=xml-safe-predicates:*
uri-policy.uri=uri:en; generic:en; xml-safe-predicates:*
format.nt=n-triples;uri-policy.uri

Toujours la même petite vérification qui est celle de bien contrôler l'emplacement de la variable base-dir, puis lancer l'extraction :

mvn scala:run