Koneoppiminen: johdanto neliövirheisiin ja regressiolinjoihin

Johdanto

Tässä artikkelissa käsitellään tilastollisen menetelmän keskimääräistä neliövirhettä , ja kuvaan tämän menetelmän suhdetta regressioviivaan .

Esimerkki koostuu suorakulmion akselin pisteistä. Määritämme matemaattisen funktion, joka antaa meille suoran linjan, joka kulkee parhaiten kaikkien suorakulmaisen akselin pisteiden välillä.

Ja tällä tavalla opimme näiden kahden menetelmän välisen yhteyden ja kuinka niiden yhteyden tulos näyttää yhdessä.

Yleinen selitys

Tämä on Wikipedian määritelmä:

Tilastossa estimaattorin (tarkkailemattoman määrän estimointimenettelyn) keskimääräinen neliövirhe (MSE) mittaa virheiden neliöiden keskiarvon - toisin sanoen arvioidun arvon ja arvioidun keskimääräisen neliöeron. MSE on riskifunktio, joka vastaa neliövirhehäviön odotettua arvoa. Tosiasia, että MSE on melkein aina ehdottomasti positiivinen (eikä nolla), johtuu satunnaisuudesta tai siitä, että estimaattori ei ota huomioon tietoja, jotka voisivat tuottaa tarkemman estimaatin.

Artikkelin rakenne

  • Tunne idea, kaavion visualisointi, keskimääräinen neliövirheyhtälö.
  • Matemaattinen osa, joka sisältää algebrallisia manipulaatioita ja kahden muuttujan funktioiden derivaatin minimin löytämiseksi. Tämä osa on tarkoitettu niille, jotka haluavat ymmärtää, miten saamme matemaattiset kaavat myöhemmin, voit ohittaa sen, jos se ei kiinnosta sinua.
  • Selitys saamistamme matemaattisista kaavoista ja kunkin muuttujan roolista kaavassa.
  • Esimerkkejä

Tunne idea

Oletetaan, että meillä on seitsemän pistettä, ja tavoitteemme on löytää viiva, joka minimoi neliöetäisyydet näihin eri pisteisiin.

Yritetään ymmärtää se.

Otan esimerkin ja piirrän viivan pisteiden välille. Tietysti piirustukseni ei ole paras, mutta se on vain esittelytarkoituksiin.

Saatat kysyä itseltäsi, mikä tämä kaavio on?

  • violetti pisteet ovat pisteitä, kuvaajan. Jokaisella pisteellä on x-koordinaatti ja y-koordinaatti.
  • Sininen viiva on meidän ennustus linja. Tämä on viiva, joka kulkee kaikkien pisteiden läpi ja sopii niihin parhaalla mahdollisella tavalla. Tämä viiva sisältää ennustetut pisteet.
  • Punainen viiva kunkin violetti pisteen ja ennustusarvon linja ovat virheitä. Jokainen virhe on etäisyys pisteestä ennustettuun pisteeseen.

Sinun tulisi muistaa tämä yhtälö koulupäivistäsi, y = Mx + B , missä M on suoran kaltevuus ja B on linjan y-leikkaus.

Haluamme löytää M (kaltevuus) ja B (y-leikkaus), jotka minimoivat neliövirheen!

Määritetään matemaattinen yhtälö, joka antaa meille kaikkien pisteidemme keskimääräisen neliövirheen.

Analysoidaan, mitä tämä yhtälö todella tarkoittaa.

  • Matematiikassa outoa E: tä näyttävää merkkiä kutsutaan summaukseksi (kreikan sigma). Se on numerosarjan summa, i = 1 - n. Kuvitelkaamme tätä kuin joukko pisteitä, joissa käydään läpi kaikki pisteet ensimmäisestä (i = 1) viimeiseen (i = n).
  • Kullekin pisteelle otamme pisteen y-koordinaatin ja y'-koordinaatin. Y-koordinaatti on violetti pisteemme. Y-piste istuu luomallamme linjalla. Vähennämme y-koordinaattiarvon y'-koordinaattiarvosta ja laskemme tuloksen neliön.
  • Kolmas osa on ottaa kaikkien (y-y ') ² -arvojen summa ja jakaa se n: llä, mikä antaa keskiarvon.

Tavoitteenamme on minimoida tämä keskiarvo, mikä antaa meille parhaan linjan, joka kulkee kaikkien pisteiden läpi.

Käsitteestä matemaattisiin yhtälöihin

Tämä osa on tarkoitettu ihmisille, jotka haluavat ymmärtää, miten pääsimme matemaattisiin yhtälöihin . Voit siirtyä seuraavaan osaan, jos haluat.

Kuten tiedätte, suorayhtälö on y = mx + b, missä m on kaltevuus ja b on y-leikkaus.

Otetaan jokainen piste kaaviosta, ja teemme laskelmamme (y-y ') ².

Mutta mikä on y ', ja miten se lasketaan? Meillä ei ole sitä osana dataa.

Mutta tiedämme, että y ': n laskemiseksi meidän on käytettävä suorayhtälöämme y = mx + b ja laitettava x yhtälöön.

Täältä saamme seuraavan yhtälön:

Kirjoitetaan tämä lauseke uudelleen sen yksinkertaistamiseksi.

Aloitetaan avaamalla yhtälön kaikki suluet. Väritin yhtälöiden välisen eron ymmärtämisen helpottamiseksi.

Tehdään nyt toinen manipulaatio. Otamme jokaisen osan ja koomme sen yhteen. Otamme kaikki y ja (-2ymx) jne. Ja laitamme ne kaikki vierekkäin.

Tässä vaiheessa olemme alkaneet olla sotkuisia, joten otetaan kaikkien y, xy, x, x² neliöarvojen keskiarvo.

Määritetään jokaiselle uusi merkki, joka edustaa kaikkien neliöarvojen keskiarvoa.

Katsotaanpa esimerkki, otetaan kaikki y-arvot ja jaetaan ne n: llä, koska se on keskiarvo, ja kutsumme sitä y (HeadLine).

Jos kerrotaan yhtälön molemmat puolet n: llä, saadaan:

Mikä johtaa meidät seuraavaan yhtälöön:

Jos katsomme mitä saimme, voimme nähdä, että meillä on 3D-pinta. Se näyttää lasilta, joka nousee jyrkästi ylöspäin.

Haluamme löytää M ja B, jotka minimoivat toiminnon. Teemme osittaisen johdannaisen M: n suhteen ja osittaisen johdannaisen B: n suhteen.

Koska etsimme minimipistettä, otamme osittaiset johdannaiset ja verrataan arvoon 0.

Otetaan kaksi saamamme yhtälöä, eristetään muuttuja b molemmista ja vähennetään sitten ylempi yhtälö alemmasta yhtälöstä.

Vähennetään ensimmäinen yhtälö toisesta yhtälöstä

Päästetään eroon yhtälön nimittäjistä.

Ja siellä mennään, tämä on yhtälö M: n löytämiseksi, otetaan tämä ja kirjoitetaan muistiin B-yhtälö.

Yhtälöt kaltevuudelle ja y-leikkaukselle

Annetaan matemaattiset yhtälöt, jotka auttavat meitä löytämään vaaditun kaltevuuden ja y-leikkauksen.

Joten ajattelet luultavasti itsellesi, mitä helvettiä nämä outot yhtälöt ovat?

Ne on todella helppo ymmärtää, joten puhutaan niistä vähän.

Nyt kun ymmärrämme yhtälömme, on aika koota kaikki asiat yhteen ja näyttää esimerkkejä.

Esimerkkejä

Suuri kiitos Khan Academy: lle esimerkkeistä.

Esimerkki 1

Otetaan 3 pistettä (1,2), (2,1), (4,3).

Etsitään M ja B yhtälölle y = mx + b.

Kun olemme laskeneet M-yhtälön ja B-yhtälön asiaankuuluvat osat, laitetaan nämä arvot yhtälöiden sisälle ja saadaan kaltevuus ja y-leikkaus.

Otetaan nämä tulokset ja asetetaan ne suorayhtälön y = mx + b sisään.

Piirretään nyt viiva ja katsotaan miten viiva kulkee viivojen läpi siten, että se minimoi neliön väliset etäisyydet.

Esimerkki 2

Otetaan 4 pistettä, (-2, -3), (-1, -1), (1,2), (4,3).

Etsitään M ja B yhtälölle y = mx + b.

Samoin kuin aikaisemmin, laitetaan nuo arvot yhtälöihimme M: n ja B: n löytämiseksi.

Otetaan nuo tulokset ja asetetaan ne linjayhtälön y = mx + b sisälle.

Piirretään nyt viiva ja katsotaan miten viiva kulkee viivojen läpi siten, että se minimoi neliön väliset etäisyydet.

Tiivistettynä

Kuten näette, koko idea on yksinkertainen. Meidän on vain ymmärrettävä pääosat ja miten toimimme niiden kanssa.

Voit työskennellä kaavojen avulla löytääksesi viivan toisesta kaaviosta, ja suorittaa yksinkertainen laskenta ja saada tulokset kaltevuudelle ja y-leikkaukselle.

Siinä kaikki, yksinkertainen? ?

Jokainen kommentti ja kaikki palautteet ovat tervetulleita - korjaan artikkelin tarvittaessa.

Ota rohkeasti yhteyttä suoraan LinkedIniin - Napsauta tätä.