Уктуруу учкуну деген эмне?
Уктуруу учкуну деген эмне?

Video: Уктуруу учкуну деген эмне?

Video: Уктуруу учкуну деген эмне?
Video: Первый стрим за пол года. Отвечаем на важные вопросы! 2024, Сентябрь
Anonim

Берүү Apache өзгөрмөлөр Spark окуу үчүн гана арналган аткаруучулар боюнча өзгөрмөлөрдү бөлүшүү механизми болуп саналат. жок берүү өзгөрмөлөр бул өзгөрмөлөр ар бир трансформация жана аракет үчүн ар бир аткаруучуга жөнөтүлөт жана бул тармактын ашыкча чыгымына алып келиши мүмкүн.

Ошондой эле билүү керек, качан мен учкунду берүүм керек?

Берүү өзгөрмөлөр көбүнчө бир нече этаптардагы тапшырмалар бирдей маалыматтарды талап кылганда же сериялык эмес формадагы маалыматтарды кэштөө талап кылынганда колдонулат. Берүү өзгөрмөлөр V өзгөрмөнүн жардамы менен SparkContext чакырып түзүлөт.

Аккумулятор учкунду кантип аныктайт? Аккумуляторлор алар ассоциативдик операция аркылуу гана "кошулган" өзгөрмөлөр жана ошондуктан параллелдүү түрдө натыйжалуу колдоого алынышы мүмкүн. Алар эсептегичтерди (MapReduce сыяктуу) же суммаларды ишке ашыруу үчүн колдонулушу мүмкүн. Spark түпкүлүгүндө колдойт аккумуляторлор сандык түрлөрүн жана программисттер жаңы түрлөрү үчүн колдоо кошо алат.

Ошондой эле, учкунда бөлүшүлгөн өзгөрмө деген эмне?

Бөлүшүлгөн өзгөрмөлөр болуп саналат өзгөрмөлөр параллелдүү көптөгөн функциялар жана ыкмалар менен колдонулушу керек. Бөлүшүлгөн өзгөрмөлөр параллелдүү операцияларда колдонулушу мүмкүн. Spark жумушту мүмкүн болгон эң кичинекей операцияга, жабууга, ар кандай түйүндөрдө иштегенге жана ар биринин көчүрмөсү бар деп бөлөт. өзгөрмөлөр ныкы Spark жумуш.

Биз DataFrame тарата алабызбы?

Spark болот “ берүү кичинекей DataFrame ошол кичинекей бардык маалыматтарды жөнөтүү менен DataFrame кластердеги бардык түйүндөргө. Кичинекейден кийин DataFrame болуп саналат эфирге чыккан , Учкун болот чоң өлчөмдөгү маалыматтардын эч бирин аралаштырбастан бириктирүүнү аткарыңыз DataFrame.

Сунушталууда: