Kuinka asentaa Scala ja Apache Spark MacOSiin

Kuinka asentaa Scala ja Apache Spark MacOSiin

Tässä on vaiheittainen opas Scalan ja Apache Sparkin asentamiseen MacOSiin.

Vaihe 1: Hanki Homebrew

Homebrew helpottaa elämääsi huomattavasti sovellusten ja kielten asentamisessa Mac OS -käyttöjärjestelmään. Voit saada Homebrew-ohjelman seuraamalla sen verkkosivustolla olevia ohjeita.

Mikä periaatteessa vain kertoo avaavan pääte ja kirjoittamalla:

/usr/bin/ruby -e "$(curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"

Yksityiskohtaisemmat asennusohjeet ovat projektin GitHub-sivulla. Asentamalla kaikki Homebrew-sovelluksen kautta sinun tulisi lisätä kaikki asianmukaiset PATH-asetukset profiiliisi.

Vaihe 2: Asenna xcode-select

Java-, Scala- ja Spark-ohjelmien asentamiseksi komentoriviltä meidän on todennäköisesti asennettava xcode-select- ja komentorivikehittäjätyökalut. Siirry terminaaliin ja kirjoita:

xcode-select --install

Saat kehotteen, joka näyttää tältä:

Mene eteenpäin ja valitse asenna.

Vaihe 3: Asenna Java Homebrew-ohjelmalla

Scala on Java-riippuvainen, sinun ei tarvitse asentaa sitä. Helpoin tapa asentaa se on käyttää vain HomeBrew:

Päätetyypissäsi:

brew cask install java

Sinun on ehkä annettava salasanasi jossain vaiheessa java-asennuksen loppuun saattamiseksi. Tämän Homebrew-ohjelman suorittamisen jälkeen sen olisi pitänyt huolehtia Java-asennuksesta. Nyt voimme siirtyä Scalaan.

Vaihe 4: Asenna Scala Homebrew-ohjelmalla

Kun Homebrew on asennettu, siirry terminaaliin ja kirjoita:

brew install scala

Vaihe 5: Asenna Apache Spark Homebrew-ohjelmalla

Nyt kun Scala on asennettu, siirry päätelaitteeseesi ja kirjoita:

brew install apache-spark

Homebrew lataa ja asentaa nyt Apache Sparkin, se voi viedä jonkin aikaa internetyhteydestäsi riippuen.

Vaihe 5: Käynnistä Spark Shell

Kokeile nyt tätä komentoa:

spark-shell

Sinun pitäisi nähdä tekstiä ja varoituksia, mutta lopulta jotain tällaista:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.
scala>

Voit varmistaa, että se toimii kirjoittamalla scala-koodin:

val s = "hello world"

Onnittelut! Kaikki on valmista!

Yleinen ongelma: PATH: n asettaminen bashiin.

Homebrew'n olisi pitänyt huolehtia kaikesta tästä, mutta jos sinun on lisättävä kipinää polkuun, sinun kannattaa käyttää:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Kirjoita vain suoraan päätelaitteeseesi.

Olen Jose Portilla ja opetan yli 200 000 opiskelijalle ohjelmoinnista, datatieteestä ja koneoppimisesta Udemyssa. Voit tarkistaa kaikki kurssini täältä.

Jos olet kiinnostunut Python for Data Science- ja Machine-oppimisesta, tutustu kurssini täältä. (Opetan myös Full Stack -verkkokehitystä Djangon kanssa!)