Мазмуну:

Кантип мен sqoop иштешин жакшыртсам болот?
Кантип мен sqoop иштешин жакшыртсам болот?

Video: Кантип мен sqoop иштешин жакшыртсам болот?

Video: Кантип мен sqoop иштешин жакшыртсам болот?
Video: Как установить Hadoop в Windows 2024, Май
Anonim

оптималдаштыруу үчүн аткаруу , коюу the караганда төмөн мааниге карта тапшырмаларынын саны the туташуулардын максималдуу саны the маалымат базасын колдойт. Контролдоо the параллелизмдин көлөмү Sqoop маалыматтарды өткөрүү үчүн колдонот the башкаруунун негизги жолу the жүктөө сенин маалымат базасы.

Тиешелүү түрдө, процесстин ортосунда sqoop иштебей калса эмне болот?

А типтүү Sqoop Булак маалымат базасынан HDFSге маалыматтарды жутуп жаткан жумуш маалыматты максаттуу каталогго көчүрөт. Көчүрүлгөн файл жок кылынат sqoop иштебей калса аягына чыгарбастан.

Скоопто параллелизмге кантип жетүүгө болот? Контролдоо Параллелизм . Sqoop Көпчүлүк маалыматтар базасынан параллелдүү түрдө маалыматтарды импорттойт. Сиз -m же --num-mappers аргументин колдонуу менен импортту аткаруу үчүн колдонула турган карта тапшырмаларынын санын (параллель процесстер) белгилей аласыз. Бул аргументтердин ар бири даражасына туура келген бүтүн санды алат параллелизм жумушка алуу

Демек, мен Hive сурамдарынын иштешин кантип жакшыртсам болот?

Төмөндө биз уюк сурамдарын оптималдаштыруу үчүн аткара турган практикалардын тизмеси келтирилген

  1. Уюкта кысуу иштетүү.
  2. Кошулууларды оптималдаштыруу.
  3. Уюктагы глобалдык сорттоодон качыңыз.
  4. Tez аткаруу механизмин иштетүү.
  5. LIMIT операторун оптималдаштыруу.
  6. Параллель аткарууну иштетүү.
  7. Mapreduce катуу режимин иштетүү.
  8. Multi Group BY үчүн жалгыз кыскартуу.

Sqoop split кантип иштейт?

Бул көбүрөөк параллелдүүлүккө жетишүү аркылуу импорттун көрсөткүчтөрүн жогорулатуу үчүн колдонулушу мүмкүн. Sqoop жаратат бөлүнөт -- тарабынан көрсөтүлгөн таблицанын белгилүү бир тилкесиндеги маанилердин негизинде бөлүү - импорттоо буйругу аркылуу колдонуучу тарабынан. Эгер ал жок болсо, киргизүү таблицасынын негизги ачкычы түзүү үчүн колдонулат бөлүнөт.

Сунушталууда: