Une introduction douce à l’algèbre linéaire

Tweet Share Share

Une introduction douce à l’algèbre linéaire
Photo de Steve Corey, certains droits réservés.

Les problèmes de cette forme sont généralement difficiles à résoudre car il y a plus d’inconnues (ici nous en avons 2) que d’équations à résoudre (ici nous en avons 3). De plus, il n’y a souvent pas de ligne unique qui puisse satisfaire toutes les équations sans erreur. Les systèmes décrivant des problèmes qui nous intéressent souvent (comme une régression linéaire) peuvent avoir un nombre infini de solutions.

Cela donne un petit aperçu du cœur même de l’algèbre linéaire qui nous intéresse en tant que praticiens de l’apprentissage automatique. Une grande partie du reste des opérations consiste à rendre ce problème et des problèmes similaires plus faciles à comprendre et à résoudre.

Algèbre linéaire numérique

L’application de l’algèbre linéaire dans les ordinateurs est souvent appelée algèbre linéaire numérique.

L’algèbre linéaire « numérique » est en réalité de l’algèbre linéaire appliquée.

– Page ix, Algèbre linéaire numérique, 1997.

C’est plus que la simple mise en œuvre d’opérations d’algèbre linéaire dans des bibliothèques de code ; cela inclut également le traitement minutieux des problèmes de mathématiques appliquées, tels que le travail avec la précision limitée en virgule flottante des ordinateurs numériques.

Les ordinateurs sont bons pour effectuer des calculs d’algèbre linéaire, et une grande partie de la dépendance des unités de traitement graphique (GPU) par les méthodes modernes d’apprentissage automatique telles que l’apprentissage profond est due à leur capacité à calculer rapidement des opérations d’algèbre linéaire.

Des implémentations efficaces des opérations vectorielles et matricielles ont été initialement mises en œuvre dans le langage de programmation FORTRAN dans les années 1970 et 1980 et beaucoup de code, ou du code porté à partir de ces implémentations, sous-tend une grande partie de l’algèbre linéaire effectuée à l’aide de langages de programmation modernes, tels que Python.

Trois bibliothèques d’algèbre linéaire numérique open source populaires qui mettent en œuvre ces fonctions sont :

• Linear Algebra Package, ou LAPACK.
• Basic Linear Algebra Subprograms, ou BLAS (une norme pour les bibliothèques d’algèbre linéaire).
• Automatically Tuned Linear Algebra Software, ou ATLAS.

Souvent, lorsque vous calculez des opérations d’algèbre linéaire directement ou indirectement via des algorithmes d’ordre supérieur, votre code plonge très probablement pour utiliser l’une de ces bibliothèques d’algèbre linéaire, ou des bibliothèques similaires. Le nom d’une ou plusieurs de ces bibliothèques sous-jacentes peut vous être familier si vous avez installé ou compilé l’une des bibliothèques numériques de Python, telles que SciPy et NumPy.

Algèbre linéaire et statistiques

L’algèbre linéaire est un outil précieux dans d’autres branches des mathématiques, en particulier les statistiques.

En général, les étudiants qui étudient les statistiques sont censés avoir vu au moins un semestre d’algèbre linéaire (ou d’algèbre appliquée) au niveau du premier cycle.

– Page xv, Linear Algebra and Matrix Analysis for Statistics, 2014.

L’impact de l’algèbre linéaire est important à considérer, étant donné la relation fondatrice que les deux domaines ont avec le domaine de l’apprentissage automatique appliqué.

Certaines empreintes digitales claires de l’algèbre linéaire sur les statistiques et les méthodes statistiques comprennent :

• Utilisation de la notation vectorielle et matricielle, en particulier avec les statistiques multivariées.
• Solutions aux moindres carrés et aux moindres carrés pondérés, comme pour la régression linéaire.
• Estimations de la moyenne et de la variance des matrices de données.
• La matrice de covariance qui joue un rôle clé dans les distributions gaussiennes multinomiales.
• L’analyse en composantes principales pour la réduction des données qui tire plusieurs de ces éléments ensemble.

Comme vous pouvez le voir, les statistiques modernes et l’analyse des données, du moins en ce qui concerne les intérêts d’un praticien de l’apprentissage automatique, dépendent de la compréhension et des outils de l’algèbre linéaire.

Applications de l’algèbre linéaire

Comme l’algèbre linéaire est la mathématique des données, les outils de l’algèbre linéaire sont utilisés dans de nombreux domaines.

Dans son livre classique sur le sujet intitulé « Introduction à l’algèbre linéaire », Gilbert Strang fournit un chapitre dédié aux applications de l’algèbre linéaire. Il y démontre des outils mathématiques spécifiques ancrés dans l’algèbre linéaire. Brièvement, il s’agit de :

• Matrices en ingénierie, comme une ligne de ressorts.
• Graphes et réseaux, comme l’analyse des réseaux.
• Matrices de Markov, population et économie, comme la croissance de la population.
• Programmation linéaire, la méthode d’optimisation simplex.
• Séries de Fourier : Algèbre linéaire pour les fonctions, largement utilisée dans le traitement du signal.
• Algèbre linéaire pour les statistiques et les probabilités, comme les moindres carrés pour la régression.
• Informatique graphique, comme les diverses translations, remises à l’échelle et rotations d’images.

Une autre application intéressante de l’algèbre linéaire est que c’est le type de mathématiques utilisé par Albert Einstein dans certaines parties de sa théorie de la relativité. Plus précisément, les tenseurs et le calcul des tenseurs. Il a également introduit un nouveau type de notation d’algèbre linéaire à la physique appelé notation d’Einstein, ou la convention de sommation d’Einstein.

Tutoriels d’algèbre linéaire

Vous cherchez de l’aide pour débuter avec l’algèbre linéaire, alors jetez un œil à certains de ces tutoriels :

• Algèbre linéaire pour l’apprentissage automatique (mini-cours de 7 jours)
• Aide-mémoire de l’algèbre linéaire pour l’apprentissage automatique
• Bases de la notation mathématique pour l’apprentissage automatique

Extensions

Cette section énumère quelques idées d’extension du tutoriel que vous pourriez souhaiter explorer.

• Recherchez dans les livres et sur le web 5 citations définissant le domaine de l’algèbre linéaire.
• Recherchez et listez 5 autres applications ou utilisations de l’algèbre linéaire dans le domaine des probabilités et des statistiques.
• Listez et rédigez de courtes définitions pour 10 termes utilisés dans la description de l’algèbre linéaire.

Si vous explorez l’une de ces extensions, j’aimerais le savoir.

Lectures complémentaires

Cette section fournit plus de ressources sur le sujet si vous cherchez à approfondir.

Livres

• Introduction à l’algèbre linéaire, 2016.
• Algèbre linéaire numérique, 1997.
• Algèbre linéaire et analyse matricielle pour les statistiques, 2014.

Articles

• Algèbre linéaire sur Wikipédia
• Catégorie Algèbre linéaire sur Wikipédia
• Liste de sujets d’algèbre linéaire sur Wikipédia
• LAPACK sur Wikipédia
• Sous-programmes d’algèbre linéaire de base sur Wikipédia

.

• Logiciel d’algèbre linéaire à réglage automatique sur Wikipédia
• Notation d’Einstein sur Wikipédia
• Mathématiques de la relativité générale sur Wikipédia

• Algèbre linéaire pour l’apprentissage automatique

Sommaire

Dans ce tutoriel, vous avez découvert une introduction douce à l’algèbre linéaire dans une perspective d’apprentissage automatique.

Spécifiquement, vous avez appris :

• L’algèbre linéaire est la mathématique des données.
• L’algèbre linéaire a eu un impact marqué sur le domaine des statistiques.
• L’algèbre linéaire sous-tend de nombreux outils mathématiques pratiques, tels que les séries de Fourier et l’infographie.

Avez-vous des questions ?
Posez vos questions dans les commentaires ci-dessous et je ferai de mon mieux pour y répondre.