MAP тарап учкунга кошулуу деген эмне?
MAP тарап учкунга кошулуу деген эмне?

Video: MAP тарап учкунга кошулуу деген эмне?

Video: MAP тарап учкунга кошулуу деген эмне?
Video: Эки тарап. Үчүнчү китеп. 3 бөлүм. Бурулуш Сатиева. 2024, Май
Anonim

Карта тарап кошулуу процесси болуп саналат кошулат эки столдун ортосунда аткарылат Карта Reduce фазасынын катышуусуз фаза. Карта - тарап кошулат столдун эстутумга жүктөлүшүнө мүмкүндүк берет, бул абдан тез иштөөнү камсыз кылат кошулуу операция толугу менен картачы ичинде жана экөөнү тең колдонбостон аткарылат карта жана фазаларды кыскартуу.

Ошондой эле билесизби, MAP тарапка кошулуу жана каптал кошулуу уюкту азайтуу деген эмне?

Карта тарап кошулуу адатта бир маалымат топтому чоң, экинчиси кичине болгондо колдонулат. Ал эми Каптал кошулууну азайтыңыз болот кошулуу эки чоң маалымат топтому. The Карта тарап кошулуу ылдамыраак, анткени ал бардык картачылардын аягына чыгышын күтпөйт редуктор . Демек каптал кошулууну азайтуу жайыраак.

MAP тарап кошулууну колдонуунун кандай артыкчылыктары бар? Картаны колдонуунун артыкчылыктары : Карта - каптал кошулуу аралаштырууда сорттоо жана бириктирүү үчүн кеткен чыгымдарды азайтуу жана этаптарды кыскартууга жардам берет. Карта - каптал кошулуу ошондой эле ишти бүтүрүү убактысын кыскартуу менен тапшырманы аткарууну жакшыртууга жардам берет.

Андан кийин суроо туулат, эфирге кошулуу деген эмне?

Spark SQL колдонот уктурууга кошулуу (ака берүү хэш кошулуу ) хэштин ордуна кошулуу оптималдаштыруу кошулуу бир тараптагы маалыматтардын өлчөмү төмөн болгондо сурайт учкун . Бул чоң столдун бардык маалыматтарын тармак аркылуу жөнөтүүдөн кача алат.

Берүүгө кошулуу деген эмне?

Берүү кошулат салыштырмалуу кичинекей бир булакта сакталган маалыматтарды чоң DataFrames файлдарына кошуунун эң сонун жолу. 2 ГБ чейин DataFrames таркатылышы мүмкүн, андыктан ондогон, атүгүл жүз миңдеген саптардан турган маалымат файлы берүү талапкер.

Сунушталууда: