AWS MapReduce деген эмне?
AWS MapReduce деген эмне?

Video: AWS MapReduce деген эмне?

Video: AWS MapReduce деген эмне?
Video: Amazon, окуу курсу жана онлайн бизнес тууралуу / Чубак Шаршенов 2024, Ноябрь
Anonim

Amazon Elastic MapReduce (EMR) бул Amazon Web Services ( AWS ) чоң маалыматтарды иштетүү жана талдоо куралы. Amazon EMR чоң маалыматтарды Amazon Elastic Compute Cloud (EC2) жана Amazon Simple Storage Service (S3) виртуалдык серверлеринин Hadoop кластери аркылуу иштетет.

Ушундай жол менен, AWS EMR кантип иштейт?

Кызмат бир башкы жана бир нече башка түйүндөрдөн турган Amazon EC2 инстанцияларынын кардар белгилеген санын баштайт. Amazon EMR бул учурларда Hadoop программасын иштетет. Мастер түйүн киргизилген маалыматтарды блокторго бөлөт жана блокторду иштетүүнү башка түйүндөргө бөлүштүрөт.

Жогорудагылардан тышкары, ec2 менен EMRдин ортосунда кандай айырма бар? Окшобой EMR , EC2 кул түйүндөрүн негизги жана тапшырма түйүндөрүнө бөлбөйт. Бул түйүн алынып/жоголгон учурда HDFS маалыматтарын жоготуу коркунучун жогорулатат. EC2 s3деги маалыматтарга жетүү үчүн Apache китепканаларын (s3a) колдонот. Башка жагынан, EMR s3'ке тезирээк жетүү үчүн AWS менчик кодун колдонот.

Мындан тышкары, AWS EMR толугу менен башкарылабы?

Amazon Elastic MapReduce ( EMR ) болуп саналат толугу менен башкарылган Hadoop жана Spark платформасынан Amazon Веб кызматы ( AWS ). менен EMR , AWS кардарлар чоң маалымат жүктөрүн иштетүү үчүн көп түйүндүү Hadoop кластерлерин тез айланта алышат.

AWS Hadoop колдонобу?

Amazon Веб кызматтары колдонот ачык булак Apache Hadoop маалыматтарды көп талап кылган тапшырмаларды аткаруу үчүн чоң көлөмдөгү эсептөө кубаттуулугуна жетүүнү жеңилдетүү үчүн бөлүштүрүлгөн эсептөө технологиясы. Hadoop , Google'дун MapReduce'дун ачык булактуу версиясы, буга чейин Yahoo жана Facebook сыяктуу компаниялар тарабынан колдонулуп келет.

Сунушталууда: