Мазмуну:

Учкун журналдарын кайдан тапсам болот?
Учкун журналдарын кайдан тапсам болот?

Video: Учкун журналдарын кайдан тапсам болот?

Video: Учкун журналдарын кайдан тапсам болот?
Video: НУРИЛА- Жендим баарын(Жаны хит 2022) 2024, Апрель
Anonim

Log каталогдор

Демейки SPARK_WORKER_LOG_DIR жайгашкан жери /var/ журнал / учкун /жумушчу. Демейки журнал баштоо үчүн каталог Spark SQL Thrift сервери $HOME/ учкун - үнөмдөөчү сервер. Spark Shell жана колдонмо журналдар консолуна чыгарылат. Log конфигурация файлдары ошол эле каталогдо жайгашкан учкун -env.sh.

Буга байланыштуу, учкун журналдарын кантип алсам болот?

Spark талдоо бетинен жумуш же колдонмо, сиз кире аласыз журналдар Колдонмо UI аркылуу жана Spark Колдонмо UI. баракчасына кире аласыз журналдар аркылуу Spark Колдонмо UI. Сиз дагы кошумчалай аласыз журналдар каталарды жана өзгөчөлүктөрдү аныктоо үчүн Spark жумуш же колдонмо каталар.

Ошо сыяктуу эле, жип журналдарын кантип текшересиз? Көрүү а журнал файл The журналдар Колдонмонун мастерин https://${ дарегиндеги ресурс башкаруучу интерфейсиндеги браузерден да көрүүгө болот жип .resourcemanager.webapp.address}/cluster (https://localhost:8088 бир түйүн боюнча "кластер").

Ошо сыяктуу эле, мен Spark'та аткаруучу журналдарды кантип алсам болот?

Жооп

  1. Spark аткаруучу журналдарын алуу боюнча нускамалар:
  2. Amabari үчүн -- 1) Spark Кызматына жана Конфигурациялар кошумча барагына өтүңүз: 2) "Advanced spark-log4j-properties" жазуусун табыңыз.
  3. Cloudera үчүн -- Орнотуу: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Spark History серверимдин URL дарегин кантип тапсам болот?

Мисалы, үчүн тарых сервери , алар адатта https://< дарегинен жеткиликтүү болот сервер - url >:18080/api/v1 жана иштеп жаткан колдонмо үчүн https://localhost:4040/api/v1 дарегинде. API'де колдонмого анын колдонмо идентификатору, [app-id] шилтеме кылынат.

Сунушталууда: