Je vous propose dans cet article de créer un réseau de neurones à convolution pour faire du NLP, et pour les données j’utiliserai un jeu de données que vous pouvez trouver simplement dans les datasets Kaggle : FrenchFakeNewsDetector. Vous l’avez compris l’objectif est double: d’une part voir comment on pourra utiliser la technique de convolution avec des vecteurs (1 dimension au lieu d’images à 2+ dimensions) et d’autre part de faire du NLP avec des données en Français.
Fake news ?
Une fois terminé l’article sur la descente de gradient, je me suis rendu compte qu’il manquait deux points important. Le premier concerne l’approche stochastique dés lors que l’on a des jeux de données trop importants, le second étant de voir très concrètement ce qui se produit quand on choisit mal la valeur du learning rate. Je vais donc profiter de cet article pour finalement continuer l’article précédent 😉
Descente de Gradient Stochastique (SGD) & Learning Rate
Comment parler de Machine Learning ou même de Deep Learning sans aborder la – fameuse – descente de gradient ? Il y a beaucoup d’articles sur ce sujet bien sur mais bien souvent il faut lire plusieurs afin de bien en comprendre tous les mécanismes. Souvent trop mathématiques ou pas assez, je vais essayer surtout ici d’expliquer son fonctionnement en douceur et pas à pas afin de tenter une démystification du sujet.
La descente de gradient
Pour une analyse que je voulais faire et après plusieurs recherches, je me suis rendu compte qu’il n’était pas si simple d’utiliser les données historiques de la météo. Bien sur je suis allé sur l’Open data de météo France, mais rien de vraiment exploitable ou alors semble-t-il sans une souscription payante. J’ai donc décidé de les récupérer par le biais d’un programme Python et de la technique de scraping.
Récupérer les données historique météo