Vous est-il déjà arrivé d’avoir envie de pomper les infos se trouvant sur un site de météorologie, ou le planning de votre université sur internet, ou même le menu de la cantine ou vous mangiez quand vous étiez petit…
Curl vous aide à faire cela, et bien plus encore !
Lorsque aucune API n’est disponible pour la plateforme sur laquelle on travail, il peut parfois être intéressant de la créer soit même. Pour ce faire, je vous conseil dans un premier temps de bien analyser les requêtes HTTP qui circule sur le réseau lorsque vous êtes en simple navigation sur le site internet visé. Pour cela, des outils tel que wireshark ou en-tete http en direct peuvent être utiles. Le premier est un programme complet d’analyse de trame réseau. Le second est une simple extension Firefox qui vous permettra de voir les requêtes HTTP qui circule en live lors de votre navigation.
Avec ces outils vous pourrez ainsi voir à quel moment tel cookie est déclaré, quelle redirection vous est utile ou non, derrière quelle page se cache réellement l’information qui vous intéresse…
Pour revenir à la bibliothèque dont il est question dans cet article, curl est disponible dans plusieurs langage, dont le C, le PHP et le python. Elle existe également pour d’autre langage mais je ne m’attarderai pas sur ces derniers.
Voici toute la documentation essentiel pour les anglo-francophone souhaitant se lancer dans l’aventure :
http://php.net/manual/fr/book.curl.php
http://fr.wikipedia.org/wiki/CURL
http://curl.haxx.se/