Nämä ovat parhaat ilmaiset avoimet tietolähteet, joita kuka tahansa voi käyttää

Mikä on avoin data?

Yksinkertaisesti sanottuna Open Data tarkoittaa sellaista tietoa, joka on avoin kaikille ja kaikille pääsyä, muokkaamista, uudelleenkäyttöä ja jakamista varten.

Open Data saa perustan erilaisista "avoimista liikkeistä", kuten avoimen lähdekoodin, avoimen laitteiston, avoimen hallituksen, avoimen tieteen jne.

Hallitukset, riippumattomat organisaatiot ja virastot ovat avanneet avaamaan datan portit luodakseen yhä enemmän avointa dataa ilmaiseksi ja helposti.

Miksi avoin data on tärkeää?

Avoin data on tärkeää, koska maailma on kasvanut yhä enemmän tietojenkäsittelyyn. Mutta jos tietojen saatavuudelle ja käytölle on rajoituksia, datapohjaisen liiketoiminnan ja hallinnon ideaa ei toteuteta.

Siksi avoimella datalla on oma ainutlaatuinen paikka. Se voi antaa kattavamman käsityksen globaaleista ongelmista ja yleismaailmallisista kysymyksistä. Se voi antaa suurta vauhtia yrityksille. Se voi olla suuri sysäys koneoppimiseen. Se voi auttaa torjumaan maailmanlaajuisia ongelmia, kuten tauteja, rikollisuutta tai nälänhädää. Avoin tieto voi antaa kansalaisille mahdollisuuden vahvistaa demokratiaa. Se voi virtaviivaistaa yhteiskunnan ja hallitusten rakentamia prosesseja ja järjestelmiä. Se voi auttaa muuttamaan tapaa, jolla ymmärrämme maailmaa.

Joten tässä on luettelo 15 mahtavasta avoimesta tietolähteestä:

1. Maailmanpankin avoin data

Maailmanpankin avoin data on maailman kattavimpien tietojen arkisto maailman eri maissa tapahtuvista asioista, ja se on tärkeä avoimen datan lähde. Se tarjoaa myös pääsyn muihin aineistoihin, jotka mainitaan tietoluettelossa.

Maailmanpankin avoin data on valtava, koska sillä on 3000 tietojoukkoa ja 14000 indikaattoria, jotka kattavat mikrotiedot, aikasarjatilastot ja paikkatiedot.

Haluttuihin tietoihin pääseminen ja löytäminen on myös melko helppoa. Sinun tarvitsee vain määrittää indikaattorien nimet, maat tai aiheet, ja se avaa sinulle avoimen datan aarteen. Sen avulla voit myös ladata tietoja eri muodoissa, kuten CSV, Excel ja XML.

Jos olet toimittaja tai akateemikko, sinut kiehtoo käytettävissäsi oleva joukko työkaluja. Voit käyttää analyysi- ja visualisointityökaluja, jotka voivat vahvistaa tutkimustasi. Se voi saada syvällisemmän ja paremman käsityksen globaaleista ongelmista.

Voit saada käyttöliittymän, joka voi auttaa sinua luomaan tarvitsemasi datan visualisoinnit, live-yhdistelmät muiden tietolähteiden kanssa ja monia muita tällaisia ​​ominaisuuksia.

Siksi ei ole mikään yllätys, että Maailmanpankin avoin data on kaikkien avoimien tietolähteiden luettelon kärjessä!

2. WHO (Maailman terveysjärjestö) - avoimen datan arkisto

WHO: n avoimen datan arkisto on se, miten WHO seuraa 194 jäsenvaltionsa terveystietoja.

Arkisto pitää tiedot järjestelmällisesti järjestettyinä. Se on käytettävissä eri tarpeiden mukaan. Olipa kyseessä kuolleisuus tai sairauksien taakka, pääsy tietoihin, jotka on luokiteltu yli 100 luokkaan, kuten vuosituhannen kehitystavoitteet (lasten ravitsemus, lasten terveys, äiti- ja lisääntymisterveys, immunisaatio, HIV / AIDS, tuberkuloosi, malaria, laiminlyötyt sairaudet, vesi ja sanitaatio), ei-tartuntataudit ja riskitekijät, epidemialtiset taudit, terveydenhuoltojärjestelmät, ympäristöterveys, väkivalta ja vammat, tasa-arvo jne.

Erityistarpeitasi varten voit käydä läpi aineistot teemojen, luokan, indikaattorin ja maan mukaan.

Hyvä asia on, että kaikki tarvittavat tiedot on mahdollista ladata Excel-muodossa. Voit myös seurata ja analysoida tietoja käyttämällä sen tietoportaalia.

Myös Maailman terveysjärjestön data- ja tilastosisällön sovellusliittymä on saatavilla.

3. Google Public Data Explorer

Vuonna 2010 käynnistetty Google Public Data Explorer voi auttaa sinua tutkimaan valtavia määriä yleisen edun mukaisia ​​aineistoja. Voit visualisoida ja välittää tietoja omaan käyttöösi.

Se asettaa eri virastojen ja lähteiden tiedot saataville. Voit esimerkiksi käyttää tietoja Maailmanpankista, Yhdysvaltain työtilastotoimistosta ja Yhdysvaltain toimistosta, OECD: stä, IMF: stä ja muista.

Eri sidosryhmät käyttävät näitä tietoja useisiin tarkoituksiin. Olitpa opiskelija vai toimittaja, oletko päättäjä vai akateemikko, voit hyödyntää tätä työkalua julkisten tietojen visualisointien luomiseen.

Voit hyödyntää datan, kuten viivakaavioiden, pylväskaavioiden, karttojen ja kuplakaavioiden, esitystapoja Data Explorerin avulla.

Parasta on, että mielestäsi nämä visualisoinnit ovat melko dynaamisia. Se tarkoittaa, että näet heidän muuttuvan ajan myötä. Voit vaihtaa aiheita, keskittyä eri merkintöihin ja muokata asteikkoa.

Se on myös helposti jaettavissa. Heti kun saat kaavion valmiiksi, voit upottaa sen verkkosivustollesi tai blogiisi tai jakaa linkin ystävillesi.

4. AWS: n avoimen datan rekisteri (RODA)

Tämä on julkisia tietojoukkoja sisältävä arkisto. Tietoja on saatavana AWS-resursseista.

Mitä tulee RODA: han, voit löytää ja jakaa julkisesti saatavilla olevia tietoja.

RODA: ssa voit käyttää avainsanoja ja tunnisteita yleisiin tietotyyppeihin, kuten genomiikkaan, satelliittikuviin ja kuljetuksiin, etsiäksesi mitä tahansa etsimääsi dataa. Kaikki tämä on mahdollista yksinkertaisella web-käyttöliittymällä.

Jokaisesta tietojoukosta löydät yksityiskohtaiset sivut, käyttöesimerkit, lisenssitiedot ja oppaat tai sovellukset, jotka käyttävät näitä tietoja.

Käyttämällä laajaa laskenta- ja data-analyysituotteiden valikoimaa voit analysoida avointa dataa ja rakentaa haluamasi palvelut.

Vaikka tietojasi on saatavilla AWS-resurssien kautta, sinun on pidettävä mielessä, että AWS ei tarjoa niitä. Nämä tiedot kuuluvat eri virastoille, valtion järjestöille, tutkijoille, yrityksille ja yksityishenkilöille.

5. Euroopan unionin avoimen datan portaali

Voit käyttää mitä tahansa avointa dataa, jonka EU: n toimielimet, virastot ja muut organisaatiot julkaisevat yhdellä alustalla, nimittäin Euroopan unionin avoimen datan portaalissa.

EU: n avoimen datan portaalissa on tärkeitä avoimia tietoja, jotka liittyvät EU: n politiikan aloihin. Näitä politiikan aloja ovat talous, työllisyys, tiede, ympäristö ja koulutus.

Noin 70 EU: n toimielintä, järjestöä tai osastoa, kuten Eurostat, Euroopan ympäristökeskus, Yhteinen tutkimuskeskus ja muut Euroopan komission pääosastot ja EU: n virastot, ovat julkistaneet tietojoukkonsa ja sallineet pääsyn niihin. Nämä tietojoukot ovat ylittäneet numeron 11700 tähän päivään saakka.

Portaali mahdollistaa helpon pääsyn. Voit helposti etsiä, tutkia, linkittää, ladata ja käyttää tietoja yleisten metatietoluettelon avulla. Voit tehdä niin omiin tarkoituksiisi. Se voi olla kaupallisia tai ei-kaupallisia tarkoituksia.

Voit hakea metatietoluettelosta interaktiivisen hakukoneen (Data-välilehti) ja SPARQL-kyselyjen (Linked data -välilehti) kautta.

Käyttämällä tätä luetteloa voit saada pääsyn tietoihin, jotka on tallennettu EU: n toimielinten, virastojen ja organisaatioiden eri verkkosivustoille.

6. Viisi kolmekymmentä kahdeksan

Se on loistava sivusto datapohjaiseen journalismiin ja tarinankerrontaan.

Se tarjoaa erilaisia ​​tietolähteitään useille aloille, kuten politiikka, urheilu, tiede, taloustiede jne. Voit myös ladata tiedot.

Kun käytät tietoja, löydät lyhyen selvityksen kustakin tietojoukosta lähteen suhteen. Opit myös, mitä se tarkoittaa ja miten sitä käytetään.

Jotta tämä tieto olisi käyttäjäystävällinen, se tarjoaa tietoaineistoja mahdollisimman yksinkertaisissa, ei-omistetuissa muodoissa, kuten CSV-tiedostoina. On sanomattakin selvää, että ihmiset ja koneet voivat helposti käyttää ja käsitellä näitä formaatteja.

Näiden tietojoukkojen avulla voit luoda tarinoita ja visualisointeja omien vaatimusten ja mieltymysten mukaan.

7. Yhdysvaltain väestönlaskentatoimisto

Yhdysvaltain väestönlaskennatoimisto on liittohallituksen suurin tilastovirasto. Se tallentaa ja tarjoaa luotettavia tietoja Amerikan ihmisistä, paikoista ja taloudesta.

Census Bureau pitää jaloa tehtäväänsä laajentaa palveluitaan luotettavimpana laadukkaiden tietojen tarjoajana.

Olipa kyse liittovaltion, osavaltion, paikallisesta tai heimohallituksesta, ne kaikki käyttävät väestönlaskennan tietoja useisiin tarkoituksiin. Nämä hallitukset käyttävät näitä tietoja uusien asuntojen ja julkisten tilojen sijainnin määrittämiseen. He käyttävät sitä myös tutkittaessa yhteisöjen, osavaltioiden ja Yhdysvaltojen väestötietoja.

Näitä tietoja hyödynnetään myös kuljetusjärjestelmien ja teiden suunnittelussa. Kiintiöiden päättämisessä ja poliisin ja palokunnan luomisessa nämä tiedot ovat käteviä. Kun hallitukset luovat paikalliset vaalialueet, koulut, laitokset jne., Ne käyttävät näitä tietoja. On käytäntö kerätä väestötietoja kerran vuosikymmenessä, ja nämä tiedot ovat varsin hyödyllisiä saman saavuttamiseksi.

On olemassa erilaisia ​​työkaluja, kuten American Fact Finder, Census Data Explorer ja Quick Facts, jotka ovat hyödyllisiä, jos haluat etsiä, mukauttaa ja visualisoida tietoja.

Esimerkiksi pelkät pikatiedot sisältävät tilastotietoja kaikista osavaltioista, maakunnista, kaupungeista ja jopa kaupungeista, joiden asukasluku on vähintään 5000.

Samoin American Fact Finder voi auttaa sinua löytämään suosittuja faktoja, kuten väestö, tulot jne. Se tarjoaa tietoa, jota pyydetään usein.

Hyvä asia on, että voit tehdä hakuja, olla vuorovaikutuksessa tietojen kanssa, tutustua suosittuihin tilastoihin ja nähdä niihin liittyvät kaaviot Census Data Explorerin kautta. Lisäksi voit käyttää visuaalista työkalua tietojen mukauttamiseen interaktiivisella karttakokemuksella.

8. Data.gov

Data.gov on Yhdysvaltojen hallituksen avoimen datan aarreaitta. Vasta äskettäin tehtiin päätös saattaa kaikki valtion tiedot saataville ilmaiseksi.

Kun se käynnistettiin, niitä oli vain 47. Nyt on 180 000 tietoaineistoa.

Miksi Data.gov on loistava resurssi, johtuu siitä, että löydät tietoja, työkaluja ja resursseja, joita voit käyttää useisiin tarkoituksiin. Voit suorittaa tutkimuksesi, kehittää verkko- ja mobiilisovelluksiasi ja jopa suunnitella tietojen visualisointeja.

Sinun tarvitsee vain kirjoittaa hakusanaan avainsanat ja selata tyyppejä, tunnisteita, muotoja, ryhmiä, organisaatiotyyppejä, organisaatioita ja luokkia. Tämä helpottaa tarvitsemiesi tietojen saatavuutta.

Data.gov noudattaa Project Open Data Schemaa - joukko vaadittuja kenttiä (otsikko, kuvaus, tunnisteet, viimeisin päivitys, julkaisija, yhteyshenkilön nimi jne.) Jokaiselle Data.gov-ohjelmassa näytetylle tietojoukolle.

9. DBpedia

Kuten tiedätte, Wikipedia on loistava tietolähde. DBpedian tavoitteena on saada jäsenneltyä sisältöä Wikipedian luomasta arvokkaasta tiedosta.

DBpedian avulla voit etsiä ja tutkia semanttisesti Wikipedia-resurssin suhteita ja ominaisuuksia. Tämä sisältää linkit myös muihin aiheeseen liittyviin tietojoukoihin.

DBpedia-tietojoukossa on noin 4,58 miljoonaa kokonaisuutta. 4,22 miljoonaa luokitellaan ontologiaan, mukaan lukien 1 445 000 henkilöä, 735 000 paikkaa, 123 000 musiikki-albumia, 87 000 elokuvaa, 19 000 videopeliä, 241 000 organisaatiota, 251 000 lajia ja 6000 tautia.

Näille entiteeteille on tarroja ja tiivistelmiä noin 125 kielellä. Kuviin on 25,2 miljoonaa linkkiä. Ulkoisille verkkosivuille on 29,8 miljoonaa linkkiä.

DBpedian käyttöä varten sinun tarvitsee vain kirjoittaa SPARQL-kyselyitä päätepistettä vastaan ​​tai lataamalla niiden kaatopaikat.

DBpedia on hyödyttänyt useita yrityksiä, kuten Apple (Sirin kautta), Google (Freebasen ja Google Knowledge Graphin kautta) ja IBM (Watsonin kautta), ja erityisesti niiden vastaavat tekoälyyn liittyvät projektit.

10. freeCodeCamp Open Data

Se on avoimen lähdekoodin yhteisö. Miksi sillä on merkitystä, koska sen avulla voit koodata, rakentaa pro bono -projekteja voittoa tavoittelemattomien organisaatioiden jälkeen ja tarttua kehittäjänä.

Tämän toteuttamiseksi freeCodeCamp.org-yhteisö tarjoaa joka kuukausi valtavan määrän tietoja. He ovat muuttaneet sen avoimeksi dataksi.

Tästä arkistosta löytyy erilaisia ​​asioita. Löydät tietoaineistoja, analyysin samoista ja jopa demoista projekteista freeCodeCamp-tietojen perusteella. Löydät myös linkkejä ulkoisiin projekteihin, joihin sisältyy freeCodeCamp-tietoja.

Se voi auttaa sinua erilaisissa projekteissa ja tehtävissä, joita saatat ajatella. Olipa kyseessä verkkoanalytiikka, sosiaalisen median analyysi, sosiaalisten verkostojen analyysi, koulutusanalyysi, tietojen visualisointi, dataohjattu verkkokehitys tai botit, tämän yhteisön tarjoama data voi olla erittäin hyödyllistä ja tehokasta.

11. Yelp Open Datasets

Yelp-tietojoukko on pohjimmiltaan vain joukko muuta kuin omia yrityksiä, arvosteluja ja käyttäjätietoja henkilökohtaiseen, koulutus- ja akateemiseen käyttöön.

Yelpin avoimiin tietojoukkoihin sisältyy 5996 996 arvostelua, 188 593 yritystä, 280 991 kuvaa ja 10 pääkaupunkiseutua.

Voit käyttää niitä eri tarkoituksiin. Koska ne ovat saatavilla JSON-tiedostoina, voit käyttää niitä opettaaksesi opiskelijoita tietokannoista. Voit käyttää niitä oppimaan NLP: tä tai näytetuotantotietoja samalla kun ymmärrät mobiilisovellusten suunnittelun.

Tästä tietojoukosta löydät kaikki tiedostot, jotka koostuvat yhdestä objektityypistä, yhdestä JSON-objektista riviä kohden.

12. UNICEF-tietojoukko

Koska UNICEF huolehtii monista erilaisista kriittisistä kysymyksistä, se on koonnut asiaankuuluvia tietoja koulutuksesta, lapsityövoimasta, lasten vammaisuudesta, lasten kuolleisuudesta, äitien kuolleisuudesta, vedestä ja viemäröinnistä, alhaisesta syntymäpainosta, synnytystä edeltävästä hoidosta, keuhkokuumeesta, malariasta, jodipuutoksesta häiriö, naisten sukuelinten silpominen / leikkaaminen ja nuoret.

UNICEFin avoimet tietojoukot, jotka on julkaistu IATI-rekisterissä: //www.iatiregistry.org/publisher/unicef, on purettu suoraan UNICEFin käyttöjärjestelmästä (VISION) ja muista tietojärjestelmistä, ja ne heijastavat yksittäisten UNICEF-toimistojen antamia tietoja.

Hyvä asia on, että näitä tietojoukkoja päivitetään säännöllisesti. Tiedot päivitetään kuukausittain, jotta niistä tulisi kattavampia, luotettavampia ja tarkempia.

Voit käyttää näitä tietoja vapaasti ja helposti. Voit tehdä tämän lataamalla nämä tiedot CSV-muodossa. Voit myös esikatsella näytetietoja ennen niiden lataamista.

Vaikka kuka tahansa voi tutkia ja visualisoida UNICEFin aineistoja, julkaisijoita on kolme:

UNICEFin AVUN AVOIMUUSportaali: Voit käyttää tietojoukkoja huomattavasti helpommin, jos käytät tätä portaalia. Se sisältää myös yksityiskohdat kustakin maasta, jossa UNICEF toimii.

Julkaisijan d-portaali: Se on tällä hetkellä BETA-muodossa. Tämän portaalin avulla voit tutkia IATI-tietoja.

Voit etsiä tietoja, jotka liittyvät kehitystoimintaan, budjetteihin jne. Voit tutkia näitä tietoja maakohtaisesti.

Julkaisijan tietoalusta: Tällä alustalla voit helposti käyttää IATI-rekisterin kautta saatavien tietojen tilastoja, kaavioita ja mittareita. Jos napsautat otsakkeita, voit myös lajitella monia taulukossa näkyviä taulukoita. Löydät myös monet alustoista olevista aineistoista koneellisesti luettavassa JSON-muodossa.

13. Kaggle

Kaggle on hieno, koska se edistää erilaisten tietojoukkojen julkaisumuotojen käyttöä. Parempi osa on kuitenkin se, että se suosittelee voimakkaasti, että tietojoukkojen julkaisijat jakavat tietonsa saatavissa olevassa, ei-omistetussa muodossa.

Alusta tukee avoimia ja esteettömiä datamuotoja. Se on tärkeää paitsi pääsyn, myös kaiken mitä haluat tehdä näille tiedoille. Siksi Kaggle Dataset määrittelee selkeästi tiedostomuodot, joita suositellaan tietojen jakamisen aikana.

Kaggle-tietojoukkojen ainutlaatuinen asia on, että se ei ole vain tietovarasto. Jokainen tietojoukko tarkoittaa yhteisöä, jonka avulla voit keskustella tiedoista, selvittää julkiset koodit ja tekniikat sekä käsittää omat projektisi ytimissä.

CSV, JSON, SQLite, Archive, Big Query jne. Ovat tiedostotyyppejä, joita Kaggle tukee. Löydät erilaisia ​​resursseja aloittaaksesi työskentelyn avoimen dataprojektisi kanssa.

Parasta on, että Kaggle antaa sinun julkaista ja jakaa tietoaineistoja yksityisesti tai julkisesti.

14. LODUM

Se on Münsterin yliopiston avoimen datan aloite. Tämän aloitteen puitteissa kuka tahansa voi saada käyttöönsä yliopistoa koskevia julkisia tietoja koneellisesti luettavissa muodoissa. Voit käyttää sitä helposti ja käyttää sitä uudelleen tarpeidesi mukaan.

Avoin tieto tieteellisistä esineistä ja koodattu linkitettyinä tiedoina on saatavana tämän projektin puitteissa.

Linkitetyn datan avulla on mahdollista jakaa ja käyttää tietoja, ontologioita ja erilaisia ​​metatietostandardeja. Itse asiassa oletetaan, että se on metatietojen ja itse tietojen toimittamisen verkossa hyväksytty standardi.

LODUM-tiimi on aloittanut LinkedUniversities.org- ja LinkedScience.org-aloitteet.

Voit analysoida tietoja SPARQL-editorilla tai SPARQL-paketilla.

SPARQL-paketin avulla voidaan muodostaa yhteys SPARQL-päätepisteeseen HTTP: n kautta, valita SELECT- tai päivityskysely (LOAD, INSERT, DELETE).

15. UCI-koneoppimisen arkisto

Se toimii kattavana tietokantojen, verkkotunnusteorioiden ja tietogeneraattorien arkistona, joita koneoppimisyhteisö käyttää koneoppimisalgoritmien empiiriseen analyysiin.

Tässä arkistossa on tällä hetkellä 463 aineistoa palveluna koneoppimisyhteisölle.

Kalifornian yliopiston koneoppimisen ja älykkäiden järjestelmien keskus Irvine isännöi ja ylläpitää sitä. David Aha oli alun perin luonut sen jatko-opiskelijana UC Irvinessa.

Siitä lähtien opiskelijat, kouluttajat ja tutkijat ympäri maailmaa käyttävät sitä luotettavana koneoppimisen tietojoukkojen lähteenä.

Se toimii siten, että jokaisella tietojoukolla on erillinen verkkosivunsa, joka kerää kaikki tunnetut yksityiskohdat, mukaan lukien kaikki asiaa tutkivat julkaisut. Voit ladata nämä tietojoukot ASCII-tiedostoina, usein hyödyllisenä CSV-muodossa.

Tietojoukkojen yksityiskohdat on tiivistetty sellaisten näkökohtien mukaan kuin attribuuttityypit, esiintymien lukumäärä, määritteiden määrä ja julkaistu vuosi, jotka voidaan lajitella ja hakea.

Avoimet dataportaalit ja hakukoneet:

Vaikka lukuisat virastot julkaisevat vuosittain runsaasti tietoaineistoja, hyvin harvat tietojoukot tunnistetaan ja vahvistetaan.

Syy siihen, miksi hyvin harvat tällaiset tietojoukot ovat hyödyllisiä resursseja, on se, että on haastetta kehittää, hallita ja toimittaa tietoja tavalla, jolla ihmiset ja organisaatiot pitävät sitä hyödyllisenä ja helppokäyttöisenä.

Alla on kuitenkin luettelo muutamista tärkeistä avoimen datan portaaleista ja alustoista, joiden avulla käyttäjät voivat käyttää avointa dataa melko helposti, tutkia vaikutuksia ja kerätä arvokkaita oivalluksia.

  1. Google-aineistohaku
  2. Dataverse
  3. Open Data Kit
  4. Ckan
  5. Open Data Monitor
  6. Plenar.io
  7. Avaa datan vaikutuskartta

Johtopäätös

Avoin data on päivän järjestys. Maailma on vähitellen alkanut siirtyä kohti avoimia järjestelmiä, ja avoin data on oikein synkronoitu sen kanssa.

Yritykset ja organisaatiot, jotka hyödyntävät avointa dataa, saavat kilpailuedun ja pystyvät hallitsemaan tulevaisuutta.