Мазмуну:

Spark Linux орнотулганын кантип билем?
Spark Linux орнотулганын кантип билем?

Video: Spark Linux орнотулганын кантип билем?

Video: Spark Linux орнотулганын кантип билем?
Video: Скандальная Альбина_Рассказ_Слушать 2024, Ноябрь
Anonim

2 Жооптор

  1. Open Spark Shell Terminal жана буйрук киргизиңиз.
  2. sc.version Же учкун -submit --version.
  3. Эң оңой жолу - жөн эле ишке киргизүү " учкун -shell" буйрук сабында. Ал көрсөтөт.
  4. учурдагы активдүү версиясы Spark .

Ошондой эле билүү үчүн, Spark Ubuntu орнотулганын кантип билем?

Ubuntu боюнча Spark орнотуу

  1. Sparkтын акыркы релиздерин бул жерден жүктөп алыңыз.
  2. Архивди таңгактан чыгарыңыз.
  3. Пайда болгон папканы жылдырыңыз жана Sparkтын бир нече версиясы орнотулган болушу үчүн символдук шилтеме түзүңүз.
  4. Spark кабыгын сынап көрүңүз.
  5. Балким, Scala сиздин чыны чай эмес жана сиз Pythonду колдонгуңуз келет.

Экинчиден, EMRде учкун кайда орнотулган? карата emr -4.0. 0, бардык тиркемелер күйгүзүлгөн EMR /usr/lib ичинде. Spark /usr/lib/ ичинде учкун.

Демек, сиз учкунду кантип орнотосуз?

Spark орнотуу кадамдары

  1. 1-кадам: Java орнотулганын текшериңиз.
  2. 2-кадам: Scala орнотулганын текшериңиз.
  3. 3-кадам: Scala жүктөп алыңыз.
  4. 4-кадам: Scala орнотуу.
  5. 5-кадам: Apache Spark жүктөө.
  6. 6-кадам: Spark орнотуу.
  7. 7-кадам: Spark тиркемесинин тутумуңузга орнотулгандыгын текшериңиз.

Мен учкун үчүн Scala орнотуу керекпи?

Сен кыласың керек ылайыктуу колдонуу Scala версиясы (2.10. x). Java сөзсүз түрдө Spark + башка көптөгөн өтмө көз карандылыктар ( скала компилятор JVM үчүн жөн гана китепкана). PySpark жөн гана Py4J (Python-Java өз ара иштешүүсү) аркылуу JVMге алыстан (розетка аркылуу) туташат.

Сунушталууда: