Last bijgewerkt op 9 augustus 2019
Wat is lineaire algebra?
Lineaire algebra is een gebied van de wiskunde dat universeel wordt beschouwd als een voorwaarde voor een dieper begrip van machine learning.
Hoewel lineaire algebra een groot veld is met veel esoterische theorieën en bevindingen, zijn de nuts and bolts tools en notaties uit het veld praktisch voor machine learning beoefenaars. Met een solide basis van wat lineaire algebra is, is het mogelijk om je te concentreren op alleen de goede of relevante delen.
In deze tutorial ontdek je wat lineaire algebra precies is vanuit een machine learning-perspectief.
Na het voltooien van deze tutorial weet je:
- Lineaire algebra is de wiskunde van gegevens.
- Lineaire algebra heeft een duidelijke invloed gehad op het gebied van de statistiek.
- Lineaire algebra ligt ten grondslag aan veel praktische wiskundige hulpmiddelen, zoals Fourier-reeksen en computer graphics.
Kick-start je project met mijn nieuwe boek Linear Algebra for Machine Learning, inclusief stap-voor-stap tutorials en de Python-broncodebestanden voor alle voorbeelden.
Let’s get started.
Een eenvoudige inleiding tot lineaire algebra
Foto door Steve Corey, sommige rechten voorbehouden.
Tutorial Overview
Deze tutorial is onderverdeeld in 4 delen; deze zijn:
- Lineaire Algebra
- Numerieke Lineaire Algebra
- Lineaire Algebra en Statistiek
- Toepassingen van Lineaire Algebra
Hulp nodig bij Lineaire Algebra voor Machine Leren?
Doe nu mee aan mijn gratis 7-daagse spoedcursus per e-mail (met voorbeeldcode).
Klik om je aan te melden en ontvang ook een gratis PDF-ebookversie van de cursus.
Download uw gratis minicursus
Lineaire algebra
Lineaire algebra is een tak van de wiskunde, maar de waarheid is dat lineaire algebra de wiskunde van gegevens is. Matrices en vectoren zijn de taal van de gegevens.
Lineaire algebra gaat over lineaire combinaties. Dat wil zeggen, het gebruik van rekenkunde op kolommen van getallen, vectoren genaamd, en arrays van getallen, matrices genaamd, om nieuwe kolommen en arrays van getallen te creëren. Lineaire algebra is de studie van lijnen en vlakken, vectorruimten en mappings die nodig zijn voor lineaire transformaties.
Het is een relatief jong vakgebied, dat in de jaren 1800 voor het eerst werd geformaliseerd om onbekenden te vinden in stelsels lineaire vergelijkingen. Een lineaire vergelijking is gewoon een reeks termen en wiskundige bewerkingen waarbij sommige termen onbekend zijn; bijvoorbeeld:
|
1
|
y = 4 * x + 1
|
Vergelijkingen als deze zijn lineair in die zin dat ze een lijn beschrijven op een twee-dimensionale grafiek. De lijn is het resultaat van het invoeren van verschillende waarden in de onbekende x om uit te vinden wat de vergelijking of het model doet met de waarde van y.
We kunnen een stelsel vergelijkingen met dezelfde vorm opstellen met twee of meer onbekenden; bijvoorbeeld:
|
1
2
3
4
|
y = 0.1 * x1 + 0.4 * x2
y = 0.3 * x1 + 0.9 * x2
y = 0.2 * x1 + 0.3 * x2
…
|
De kolom van y-waarden kan worden genomen als een kolomvector van de outputs van de vergelijking. De twee kolommen van floating-point waarden zijn de gegevenskolommen, zeg a1 en a2, en kunnen worden genomen als een matrix A. De twee onbekende waarden x1 en x2 kunnen worden genomen als de coëfficiënten van de vergelijking en vormen samen een vector van onbekenden b die moet worden opgelost. We kunnen dit compact schrijven met behulp van lineaire algebra notatie als:
|
1
|
y = A . b
|
Problemen van deze vorm zijn over het algemeen moeilijk op te lossen omdat er meer onbekenden zijn (hier hebben we er 2) dan dat er op te lossen vergelijkingen zijn (hier hebben we er 3). Verder is er vaak geen enkele lijn die aan alle vergelijkingen kan voldoen zonder fouten te maken. Systemen die problemen beschrijven waarin we vaak geïnteresseerd zijn (zoals een lineaire regressie) kunnen een oneindig aantal oplossingen hebben.
Dit geeft een klein voorproefje van de kern van lineaire algebra die ons interesseert als beoefenaars van machine learning. Een groot deel van de rest van de bewerkingen gaat over het begrijpelijker maken en oplossen van dit probleem en soortgelijke problemen.
Numerieke lineaire algebra
De toepassing van lineaire algebra in computers wordt vaak numerieke lineaire algebra genoemd.
“numerieke” lineaire algebra is eigenlijk toegepaste lineaire algebra.
– Pagina ix, Numerieke lineaire algebra, 1997.
Het is meer dan alleen de implementatie van lineaire algebrabewerkingen in codebibliotheken; het omvat ook het zorgvuldig omgaan met de problemen van toegepaste wiskunde, zoals het werken met de beperkte floating point-precisie van digitale computers.
Computers zijn goed in het uitvoeren van lineaire algebraberekeningen, en veel van de afhankelijkheid van Graphical Processing Units (GPU’s) door moderne machine-leermethoden zoals deep learning is vanwege hun vermogen om lineaire algebrabewerkingen snel uit te rekenen.
Efficiënte implementaties van vector- en matrixbewerkingen werden oorspronkelijk geïmplementeerd in de programmeertaal FORTRAN in de jaren 1970 en 1980, en veel code, of code geporteerd van die implementaties, ligt ten grondslag aan veel van de lineaire algebra die wordt uitgevoerd met behulp van moderne programmeertalen, zoals Python.
Drie populaire open source numerieke lineaire algebra-bibliotheken die deze functies implementeren, zijn:
- Linear Algebra Package, of LAPACK.
- Basic Linear Algebra Subprograms, of BLAS (een standaard voor lineaire algebra bibliotheken).
- Automatically Tuned Linear Algebra Software, of ATLAS.
Vaak, wanneer u lineaire algebra operaties direct of indirect berekent via hogere-orde algoritmen, is uw code zeer waarschijnlijk omlaag gedoken om een van deze, of vergelijkbare lineaire algebra bibliotheken te gebruiken. De naam van een of meer van deze onderliggende bibliotheken kan u bekend voorkomen als u een van Python’s numerieke bibliotheken hebt geïnstalleerd of gecompileerd, zoals SciPy en NumPy.
Lineaire algebra en statistiek
Lineaire algebra is een waardevol hulpmiddel in andere takken van de wiskunde, met name statistiek.
In de regel wordt van studenten die statistiek studeren verwacht dat ze ten minste één semester lineaire algebra (of toegepaste algebra) hebben gezien op undergraduate-niveau.
– Page xv, Linear Algebra and Matrix Analysis for Statistics, 2014.
De impact van lineaire algebra is belangrijk om te overwegen, gezien de fundamentele relatie die beide velden hebben met het gebied van toegepast machinaal leren.
Enkele duidelijke vingerafdrukken van lineaire algebra op statistiek en statistische methoden zijn:
- Gebruik van vector- en matrixnotatie, vooral bij multivariate statistiek.
- Oplossingen voor kleinste kwadraten en gewogen kleinste kwadraten, zoals voor lineaire regressie.
- Beschattingen van gemiddelde en variantie van gegevensmatrices.
- De covariantiematrix die een sleutelrol speelt in multinomiale Gaussiaanse verdelingen.
- Principale componentenanalyse voor gegevensreductie die veel van deze elementen samenbrengt.
Zoals u ziet, zijn moderne statistiek en gegevensanalyse, althans voor zover het de belangen van een beoefenaar van machinaal leren betreft, afhankelijk van het begrip en de gereedschappen van lineaire algebra.
Toepassingen van lineaire algebra
Omdat lineaire algebra de wiskunde van gegevens is, worden de hulpmiddelen van lineaire algebra in veel domeinen gebruikt.
In zijn klassieke boek over dit onderwerp, getiteld “Introduction to Linear Algebra”, geeft Gilbert Strang een hoofdstuk gewijd aan de toepassingen van lineaire algebra. Daarin demonstreert hij specifieke wiskundige hulpmiddelen die hun oorsprong vinden in de lineaire algebra. In het kort zijn dat:
- Matrices in Engineering, zoals een lijn van veren.
- Grafen en Netwerken, zoals het analyseren van netwerken.
- Markov Matrices, Population, and Economics, zoals bevolkingsgroei.
- Lineair Programmeren, de simplex-optimalisatiemethode.
- Fourier Series: Lineaire Algebra voor functies, veel gebruikt in signaalverwerking.
- Lineaire Algebra voor statistiek en waarschijnlijkheid, zoals kleinste kwadraten voor regressie.
- Computer Graphics, zoals de verschillende translaties, rescaling en rotaties van afbeeldingen.
Een andere interessante toepassing van lineaire algebra is dat het het type wiskunde is dat Albert Einstein gebruikte in delen van zijn relativiteitstheorie. Met name tensoren en tensorrekening. Hij introduceerde ook een nieuw type lineaire algebra notatie in de natuurkunde, genaamd Einstein notatie, of de Einstein sommatie conventie.
Tutorials lineaire algebra
Ben je op zoek naar hulp om met lineaire algebra aan de slag te gaan, bekijk dan eens een aantal van deze tutorials:
- Lineaire algebra voor machine learning (7-daagse minicursus)
- Lineaire algebra spiekbriefje voor machine learning
- Basiskennis van wiskundige notatie voor machine learning
Uitbreidingen
In dit gedeelte vindt u een aantal ideeën voor uitbreiding van de tutorial die u wellicht wilt onderzoeken.
- Zoek in boeken en op het web naar 5 citaten die het vak lineaire algebra definiëren.
- Zoek en noem nog 5 toepassingen of gebruik van lineaire algebra op het gebied van kansberekening en statistiek.
- Lijst en schrijf korte definities voor 10 termen die gebruikt worden bij de beschrijving van lineaire algebra.
Als je een van deze uitbreidingen onderzoekt, zou ik dat graag willen weten.
Verder lezen
Dit gedeelte geeft meer bronnen over het onderwerp als je op zoek bent om dieper in te gaan.
Boeken
- Inleiding tot de Lineaire Algebra, 2016.
- Numerieke Lineaire Algebra, 1997.
- Lineaire Algebra en Matrixanalyse voor Statistiek, 2014.
Artikels
- Lineaire Algebra op Wikipedia
- Lineaire Algebra Categorie op Wikipedia
- Lineaire Algebra Lijst van onderwerpen op Wikipedia
- LAPACK op Wikipedia
- Basic Linear Algebra Subprograms op Wikipedia
- Automatisch afgestemde lineaire algebra-software op Wikipedia
- Einstein-notatie op Wikipedia
- Wiskunde van de algemene relativiteit op Wikipedia
- Lineaire algebra voor machinaal leren
Samenvatting
In deze tutorial, ontdekte je een voorzichtige inleiding tot lineaire algebra vanuit een machine learning perspectief.
In het bijzonder hebt u het volgende geleerd:
- Lineaire algebra is de wiskunde van gegevens.
- Lineaire algebra heeft een grote invloed gehad op het gebied van de statistiek.
- Lineaire algebra ligt ten grondslag aan veel praktische wiskundige hulpmiddelen, zoals Fourier-reeksen en computer graphics.
Heeft u nog vragen?
Stel uw vragen in de commentaren hieronder en ik zal mijn best doen om ze te beantwoorden.
Krijg grip op lineaire algebra voor machine learning!
Ontwikkel een werkend begrip van lineaire algebra
…door regels code te schrijven in python
Ontdek hoe in mijn nieuwe Ebook:
Linear Algebra for Machine Learning
Het biedt zelfstudie tutorials over onderwerpen als:
Vector Norms, Matrix Multiplication, Tensors, Eigendecompositie, SVD, PCA en nog veel meer…
Begrijp eindelijk de wiskunde van Data
Skip de academici.
Kijk wat er in staat