7. Introduction à l'algorithme - K-nearest-neighbor

-

Les approches de l'apprentissage automatique basées sur la similarité partent de l'idée que la meilleure façon de faire des prédictions est de simplement regarder ce qui a bien fonctionné dans le passé et de prédire à nouveau la même chose.



Nous allons commencer par l'explication des mesures de similarité.

L'une des métriques de caractéristiques les plus connues est la distance euclidienne qui calcule la longueur de la ligne droite entre deux points. La distance euclidienne est définie avec la formule mathématique suivante : 

Nous choisissons la fonction de distance en fonction des types de données que nous traitons. Si nous avons des données quantitatives du même type (par exemple : poids, salaire, taille, montant du panier, etc.), la distance euclidienne semble être un bon choix.


Pour faire une prédiction, l'algorithme KNN va utiliser l'ensemble du jeu de données. En effet, pour une observation qui ne fait pas partie du jeu de données et qui est la valeur réelle que nous voulons prédire, l'algorithme va chercher les K instances du jeu de données les plus proches de notre observation.

Ensuite, pour ses K voisins, l'algorithme utilisera leur sortie afin de calculer la variable y de l'observation que nous voulons prédire.


En d'autres termes :


  • Pour un problème de régression, nous pouvons utiliser la moyenne (ou la médiane) des variables y des K observations les plus proches sera utilisée pour les prédictions.

  • Pour un problème de classification, nous pouvons utiliser le mode (la valeur qui apparaît le plus souvent) des variables y des K observations les plus proches qui sera utilisé pour les prédictions.

Les avantages et les inconvénients


KNN est un algorithme assez simple à comprendre. Ceci est principalement dû au fait qu'il n'a pas besoin d'un modèle pour être capable de faire une prédiction. Le contrepoint à cela est qu'il doit garder en mémoire toutes les observations pour pouvoir faire sa prédiction. Il faut donc faire attention à la taille de l'ensemble de données d'entrée.


Lorsque l'ensemble de données est petit, le classificateur termine son exécution en moins de temps. L’algorithme n'a pas de phase d'apprentissage parce qu' il mémorise l'ensemble des données. C’est pour cela que l'algorithme KNN est un bon choix si nous possédons un ensemble de données pas trop volumineuse et si les données ne contiennent pas de valeurs aberrantes.


De même, le choix de fonction de la distance ainsi que du nombre de voisins K peut ne pas être immédiatement évident. Vous devrez peut-être essayer plusieurs combinaisons et ajuster l'algorithme pour obtenir un résultat satisfaisant pour votre cas d'utilisation.


Si cela vous a plu, n'hésitez pas à laisser un commentaire!

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

8. L'arbre de décision - les avantages et les inconvénients

-
Image
Maintenant comme vous connaissez déjà la notion d'arbre de décision, nous pouvons introduire les deux types d'arbre ainsi que parler des avantages et des inconvénients . Types d'arbre de décision Nous pouvons différencier deux types des arbres de décision qui sont classés en fonction des variables cibles : Categorical variable decision tree -  dans ce cas, l'algorithme a une variable cible catégorique. Par exemple, la prédiction du prix relatif d'une maison dans l'une des trois catégories suivantes : faible, moyen ou élevé. Les caractéristiques peuvent inclure la surface, le nombre de chambres, la présence d’un jardin et le quartier. L'arbre de décision apprend de ces caractéristiques et, après avoir fait passer chaque point de données par chaque nœud, il aboutit à un nœud feuille de l'une des trois cibles catégoriques : faible, moyen ou élevé. Continuous variable decision tree -  dans ce cas, les caractéristiques entrées dans l'arbre de décision ...
Lire la suite

1. Data dans le Marketing - Introduction

-
Image
L'augmentation des données non structurées, propulsée par les nouvelles technologies, est en train de basculer les marchés et la gestion des activités de marketing. Malheureusement, ces données restent pour la plupart inexploitées par de nombreuses entreprises, ce qui laisse entrevoir le potentiel de développement de la recherche.  Customer tracking data La possibilité de contrôler et d'analyser les données est devenue de plus en plus accessible ces dernières années, et il est plus que jamais important pour les entreprises de l'utiliser correctement. Les données de parcours en ligne, désormais courantes, conservent les journaux des activités suivantes: d'achat, de recherche, de navigation, de consommation de médias numériques et d'autres actions de navigation sur le web. Les appareils mobiles étendent encore la portée du suivi des activités au monde hors ligne, en enregistrant les emplacements physiques des consommateurs et leurs visites dans les magasins. La prolif...
Lire la suite

9. Moteur de recommandation, déclinaison et fonctionnement

-
Image
Introduction : Il est probable qu'en ayant cliqué ici vous en ayez déjà une petite idée de ce qu'est un moteur de recommandation cependant, à l'heure d'aujourd'hui ceux ci prennent une grande place dans notre quotidien. En effet, lorsque l'on fait le bilan de chaque instant de notre vie dans lequel un tel système nous à influencé alors on se rend compte qu'a aucun moment l'un d'eux n'était pas présent. Que ce soit dans le choix de notre voiture, le choix de notre métier, peut être même de notre entourage ainsi que dans le choix de beaucoup d'autre chose. Pourtant il ne nous semble pas toujours si présent mais alors quel est la magie opérant derrière ces système à la fois si intuitif et complexe. définition Ce que nous pouvons définir comme un moteur de recommandation est simplement un processus qui en mettant en liens des données fait le trie parmi ces dernière afin de  choisir une certaine quantité d'entre elle qui vous seront prop...
Lire la suite