Мазмуну:

Spark History серверимди кантип баштасам болот?
Spark History серверимди кантип баштасам болот?

Video: Spark History серверимди кантип баштасам болот?

Video: Spark History серверимди кантип баштасам болот?
Video: Tony Robbins: STOP Wasting Your LIFE! (Change Everything in Just 90 DAYS) 2024, Ноябрь
Anonim

Spark тарых серверин иштетүү үчүн:

  1. DSEFS файл тутумунда окуялар журналдары үчүн каталог түзүңүз: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Окуяларды каттоо иштетилгенде, демейки жүрүм-турум бардык журналдар үчүн сакталат, бул убакыттын өтүшү менен сактагычтын өсүшүнө алып келет.

Мындан тышкары, Spark History серверин кантип орното алам?

Spark тарых серверин иштетүү үчүн:

  1. DSEFS файл тутумунда окуялар журналдары үчүн каталог түзүңүз: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Окуяларды каттоо иштетилгенде, демейки жүрүм-турум бардык журналдар үчүн сакталат, бул убакыттын өтүшү менен сактагычтын өсүшүнө алып келет.

Ошо сыяктуу эле, Spark History серверимдин URL дарегин кантип тапсам болот? Мисалы, үчүн тарых сервери , алар адатта https://< дарегинен жеткиликтүү болот сервер - url >:18080/api/v1 жана иштеп жаткан колдонмо үчүн https://localhost:4040/api/v1 дарегинде. API'де колдонмого анын колдонмо идентификатору, [app-id] шилтеме кылынат.

Ошо сыяктуу эле, Spark History сервери деген эмне?

The Spark тарых сервери болуп саналат аяктаган жөнүндө маалыматты көрсөткөн мониторинг куралы Spark колдонмолор. Бул маалымат болуп саналат колдонмолор демейки боюнча Hadoop бөлүштүрүлгөн файл тутумундагы (HDFS) каталогго жазган маалыматтардан алынган.

Sparkui деген эмне?

Spark Web UI сизге пландаштыргыч этаптарынын жана милдеттеринин тизмесин, айлана-чөйрөнү коргоо боюнча маалыматты, иштеп жаткан аткаруучулар жөнүндө маалыматты жана башкаларды көрүүгө мүмкүнчүлүк берет. Бул тууралуу билүү үчүн 30 мүнөттүк демонстрацияны көрүңүз: Spark программасынын компоненттери жана жашоо цикли. Spark тиркемеңиз Hadoop кластеринде кантип иштейт.

Сунушталууда: