MapReduce жумушун иштетүү үчүн колдонуучу көрсөтүүсү керек болгон негизги конфигурация параметрлери кандай?
MapReduce жумушун иштетүү үчүн колдонуучу көрсөтүүсү керек болгон негизги конфигурация параметрлери кандай?
Anonim

Колдонуучулар "MapReduce" алкагында көрсөтүүсү керек болгон негизги конфигурация параметрлери болуп төмөнкүлөр саналат:

  • Жумуштун бөлүштүрүлгөн файл тутумундагы киргизүү жерлери.
  • Жумуштун бөлүштүрүлгөн файл тутумундагы чыгаруу орду.
  • Маалыматтарды киргизүү форматы.
  • Маалыматтын чыгаруу форматы.
  • Карта функциясын камтыган класс.
  • Кыскартуу функциясын камтыган класс.

Бул жерде MapReduce программасындагы негизги конфигурация параметрлери кандай?

"MapReduce" алкагындагы негизги конфигурация параметрлери болуп төмөнкүлөр саналат:

  • Бөлүштүрүлгөн файл тутумундагы жумуш орундарын киргизүү.
  • Бөлүштүрүлгөн файл тутумундагы Jobs чыгаруу орду.
  • Маалыматтарды киргизүү форматы.
  • Маалыматтын чыгаруу форматы.
  • Карта функциясын камтыган класс.
  • Кыскартуу функциясын камтыган класс.

Ошондой эле суроо туулат, картачылардын жана редукторлордун параметрлери кандай? Картачылар үчүн төрт параметр болуп саналат:

  • LongWritable (киргизүү)
  • текст (киргизүү)
  • текст (аралык чыгаруу)
  • IntWritable (аралык чыгаруу)

Ошондой эле суроо, MapReduce жумушунун негизги компоненттери кайсылар?

  • Жумуш конфигурациясынын параметрлерин камсыз кылган негизги драйвер классы.
  • Органды кеңейтүүгө тийиш болгон Mapper классы. apache. hadoop. mapreduce. Mapper классы жана карта () методу үчүн ишке ашырууну камсыз кылат.
  • Орг. кеңейтүү керек болгон редуктор классы. apache. hadoop. mapreduce. Редуктор классы.

Partitioner деген эмне жана ал MapReduce жумуш процессинде кантип жардам берет?

Бөлүүчү ичинде MapReduce жумушу аткаруу аралык карта-чыгыштардын ачкычтарын бөлүштүрүүнү көзөмөлдөйт. Менен жардам хэш-функциянын, ачкыч (же ачкычтын бир бөлүгү) келип чыгат бөлүү . Бир эле ачкыч мааниге ээ болгон жазуулар бирдей кирет бөлүү (ар бир картачынын ичинде).

Сунушталууда: