Мазмуну:
2025 Автор: Lynn Donovan | [email protected]. Акыркы өзгөртүү: 2025-01-22 17:32
үчүн Уюк жумушун пландаштыруу колдонуу Oozie , жазуу керек Уюк -аракет.
hql) ичинде.
- Төмөнкү буйрукту аткаруу менен HDFSде каталог түзүңүз.
- hadoop fs -mkdir -p /user/ oozie /жумуш процесстери/
- Жумуш процессин коюу. xml, Уюк скрипт (create_table. hql) жана уюк -сайт. xml каталогунда 2-кадамда түзүлгөн. Сиз төмөндөгү буйрукту колдоно аласыз.
Ошентип, Hive сценарийин oozieде кантип иштетем?
Oozie менен Hive Jobs иштетиңиз
- Уюктун ордун белгилеңиз. xml жумуш-xml параметринде.
- Скрипт параметринде уюк суроосун камтыган скрипттин атын (мисалы, скрипт. q) көрсөтүңүз.
- Кошумча, Oozie ишке киргизгич жумушу колдонгон касиеттерди кошуңуз. oozie префиксин кошуңуз. мулк аталыштарына ишке киргизгич.
Андан тышкары, мен кантип oozie жумушчу агымын иштетем? Буйрук сабынан Oozie Workflow иштетүү
- Веб консолуна кириңиз.
- Oozie мисалдарын веб консолдогу үй каталогуңузга көчүрүңүз: cp /usr/hdp/current/oozie-client/doc/oozie-examples. чайыр. gz.
- tar tar -zxvf oozie-examples.tar.gz файлын чыгарып алыңыз.
- Мисалдар каталогун HDFS hadoop fs -copyFromLocal мисалдарына көчүрүңүз.
Ушуга байланыштуу, мен Hadoop жумушун кантип пландаштырам?
Кантип иштерди пландаштыруу ичинде hadoop - Quora. Эң жөнөкөй жолу - кодуңузду шел скриптине ороп коюу жана расписание аны крон катары жумуш четиндеги түйүндө (адатта сиз тапшырган түйүн жумуштар ). Бирок, адатта, кодду скриптке топтоп, аны иштетет жумуш мүчүлүштүктөрдү оңдоо кыйын. сыноо жана сактоо.
Oozie иш процесси деген эмне?
Oozie болуп саналат иш процесси Apache Hadoop жумуштарын башкаруу үчүн пландаштыргыч системасы. Oozie Workflow жумуштар аракеттердин багытталган циклдик графиктери (DAGs) болуп саналат. Oozie Координаторлордун жумушу кайталанып турат Oozie Workflow убакыт (жыштык) жана маалыматтардын болушу менен шартталган жумуштар. Oozie масштабдуу, ишенимдүү жана кеңейтилүүчү система болуп саналат.
Сунушталууда:
Google эскертүүсүн кантип пландаштырам?
Google Alerts ар кандай кырдаалдарда пайдалуу жана аларды орнотуу оңой: браузериңизден google.com/alerts дарегине өтүңүз. Сиз көз салгыңыз келген тема үчүн издөө терминин киргизиңиз. Белгилүү бир булакка, тилге жана/же аймакка эскертүүнү тарытуу үчүн Параметрлерди көрсөтүүнү тандаңыз. Эскертүү түзүү тандаңыз
MapReduce жумушун кантип өлтүрөсүз?
Hadoop job -kill job_id жана ip application -kill application_id эки команда тең Hadoopто иштеген жумушту өлтүрүү үчүн колдонулат. Эгер сиз MapReduce Version1(MR V1) колдонуп жатсаңыз жана сиз Hadoopдо иштеген жумушту өлтүргүңүз келсе, анда сиз hadoop job -kill job_id колдонсоңуз болот жана ал бардык жумуштарды (иштеп жаткан жана кезекте турган) өлтүрөт
AWSде cron жумушун кантип түзөм?
Бул жерде мен AWS EC2 серверинде өзүңүздүн Cron жумушуңузду жазуу үчүн жөнөкөй кадамдарды түшүндүрүп берем. а. Биринчиден, сиз AWS EC2 инстанцияңызга киришиңиз керек. б. Төмөнкү буйрукту иштетиңиз. в. Пландаштыргыңыз келген ар бир файл жолдоруңузду/функция жолдоруңузду кошуңуз. г. Cron Job буйруктарыңызды киргизгенден кийин, аны сакташыңыз керек. д
Престо уюк керекпи?
Төмөнкү файл форматтары колдоого алынат: Text, SequenceFile, RCFile, ORC жана Parket. Кошумча, алыскы Hive метастатору талап кылынат. Жергиликтүү же кыстарылган режим колдоого алынбайт. Presto MapReduce колдонбойт, ошондуктан HDFS гана талап кылынат
Уюк Metastore деген эмне?
Metastore - Apache Hive метаберилиштеринин борбордук репозиторийи. Ал Hive таблицалары үчүн метаберилиштерди (алардын схемасы жана жайгашкан жери сыяктуу) жана бөлүктөрүн реляциялык маалымат базасында сактайт. Бул кардардын бул маалыматка metastore кызмат API колдонуу мүмкүнчүлүгүн камсыз кылат. Башка Apache Hive кызматтарына метасторго кирүү мүмкүнчүлүгүн камсыз кылган кызмат