Video: Hadoopдо картачы жана редуктор деген эмне?
2024 Автор: Lynn Donovan | [email protected]. Акыркы өзгөртүү: 2023-12-15 23:50
негизги артыкчылыгы MapReduce бир нече эсептөө түйүндөрүндө маалыматтарды иштеп чыгууну масштабдоо оңой. Астында MapReduce моделде, маалыматтарды иштетүү примитивдери картачылар жана деп аталат редукторлор . Маалыматтарды иштетүүчү тиркемени картачыларга ажыратуу жана редукторлор кээде маанисиз болуп саналат.
Муну эске алып, картачы жана редуктор деген эмне?
MapReduce эки негизги функциядан турат: Картач жана редуктор . Картачы киргизилген маалыматтарды иштетүүчү функция болуп саналат. The картачы маалыматтарды иштеп чыгат жана маалыматтардын бир нече майда бөлүктөрүн түзөт.
картачы деген эмне? А картачы маалыматтарды сүрөттөй алат картачы ошондой эле географиялык карталарды түзгөн адам. Географиянын милдеттери картачы же карта боюнча техник аймактын картасын түзүү үчүн географиялык маалыматтарды чогултууну жана иштетүүнү камтыйт.
Ушундай жол менен, Hadoopдо картачы менен редуктордун кандай пайдасы бар?
Apache Software Foundation айтымында, негизги максаты Карта / Кыскартуу киргизүү маалыматтар топтомун толугу менен параллелдүү түрдө иштетилген көз карандысыз бөлүктөргө бөлүү болуп саналат. The Hadoop MapReduce алкак карталардын натыйжаларын сорттойт, алар кийинчерээк киргизилет азайтуу милдеттер.
Hadoopдо картачы эмнени колдонот?
чуркоодо Hadoop жумуш, колдонмолор, адатта, ишке ашырат Картачы жана Картаны камсыз кылуу үчүн Reducer интерфейстери (киргизилген жазууларды ортодогу жазууларга айландыруучу жеке тапшырмалар) жана маанилердин кичирээк топтомуна ачкычты бөлүшкөн аралык маанилердин топтомун азайтуу ыкмаларын кыскартуу.
Сунушталууда:
Hadoopдо HDP деген эмне?
Hortonworks Data Platform (HDP) - бул борборлоштурулган архитектурага (YARN) негизделген коопсуздукка бай, ишканага даяр, ачык булактуу Apache Hadoop бөлүштүрүү. HDP эс алуу учурундагы берилиштерге болгон муктаждыктарды чечет, реалдуу убакыт режиминде кардарлардын тиркемелерин иштетет жана чечимдерди кабыл алууну жана инновацияларды тездетүүгө жардам берген ишенимдүү аналитиканы берет
Hadoopдо үймөктүн көлөмү деген эмне?
HADOOP_HEAPSIZE HDFS, YARN жана MapReduce сыяктуу бардык Hadoop долбоорунун серверлери үчүн JVM үймөк өлчөмүн орнотот. HADOOP_HEAPSIZE – JVMге максималдуу эс (Xmx) аргументи катары берилген бүтүн сан. Мисалы: HADOOP_HEAPSIZE=1024
Hadoopдо DistCp деген эмне?
DistCp (бөлүштүрүлгөн көчүрмө) чоң аралык/кластер аралык көчүрүү үчүн колдонулган курал. Ал MapReduce программасын бөлүштүрүү, каталарды башкаруу жана калыбына келтирүү жана отчеттуулукту ишке ашыруу үчүн колдонот. Бул файлдардын жана каталогдордун тизмесин карта тапшырмаларына киргизүүгө кеңейтет, алардын ар бири булак тизмесинде көрсөтүлгөн файлдардын бөлүгүн көчүрөт
Тармактык аудит деген эмне жана ал кантип жүргүзүлөт жана эмне үчүн керек?
Тармактык аудит - бул сиздин тармагыңыз программалык жана аппараттык камсыздоо жагынан картага түшүрүлгөн процесс. Процесс кол менен жасалса, оор болушу мүмкүн, бирок бактыга жараша, кээ бир инструменттер процесстин чоң бөлүгүн автоматташтырууга жардам берет. Администратор тармакка кандай машиналар жана түзмөктөр туташканын билиши керек
Hadoopдо өз алдынча режим деген эмне?
Өз алдынча режим - Hadoopтун демейки иштөө режими жана ал бир түйүндө иштейт (түйүн сиздин машинаңыз). HDFS жана YARN өз алдынча режимде иштебейт. Псевдо-таратылган режим өндүрүш деңгээлиндеги кластерде өз алдынча режим менен толук бөлүштүрүлгөн режимдин ортосунда турат