Мазмуну:

MapReduce жумушун иштетүү үчүн колдонуучу көрсөтүүсү керек болгон негизги конфигурация параметрлери кандай?
MapReduce жумушун иштетүү үчүн колдонуучу көрсөтүүсү керек болгон негизги конфигурация параметрлери кандай?

Video: MapReduce жумушун иштетүү үчүн колдонуучу көрсөтүүсү керек болгон негизги конфигурация параметрлери кандай?

Video: MapReduce жумушун иштетүү үчүн колдонуучу көрсөтүүсү керек болгон негизги конфигурация параметрлери кандай?
Video: Жишээ газрын зураг ажиллуулах замаар Hadoop кластерийг турших - Ажлыг багасгах 2024, Май
Anonim

Колдонуучулар "MapReduce" алкагында көрсөтүүсү керек болгон негизги конфигурация параметрлери болуп төмөнкүлөр саналат:

  • Жумуштун бөлүштүрүлгөн файл тутумундагы киргизүү жерлери.
  • Жумуштун бөлүштүрүлгөн файл тутумундагы чыгаруу орду.
  • Маалыматтарды киргизүү форматы.
  • Маалыматтын чыгаруу форматы.
  • Карта функциясын камтыган класс.
  • Кыскартуу функциясын камтыган класс.

Бул жерде MapReduce программасындагы негизги конфигурация параметрлери кандай?

"MapReduce" алкагындагы негизги конфигурация параметрлери болуп төмөнкүлөр саналат:

  • Бөлүштүрүлгөн файл тутумундагы жумуш орундарын киргизүү.
  • Бөлүштүрүлгөн файл тутумундагы Jobs чыгаруу орду.
  • Маалыматтарды киргизүү форматы.
  • Маалыматтын чыгаруу форматы.
  • Карта функциясын камтыган класс.
  • Кыскартуу функциясын камтыган класс.

Ошондой эле суроо туулат, картачылардын жана редукторлордун параметрлери кандай? Картачылар үчүн төрт параметр болуп саналат:

  • LongWritable (киргизүү)
  • текст (киргизүү)
  • текст (аралык чыгаруу)
  • IntWritable (аралык чыгаруу)

Ошондой эле суроо, MapReduce жумушунун негизги компоненттери кайсылар?

  • Жумуш конфигурациясынын параметрлерин камсыз кылган негизги драйвер классы.
  • Органды кеңейтүүгө тийиш болгон Mapper классы. apache. hadoop. mapreduce. Mapper классы жана карта () методу үчүн ишке ашырууну камсыз кылат.
  • Орг. кеңейтүү керек болгон редуктор классы. apache. hadoop. mapreduce. Редуктор классы.

Partitioner деген эмне жана ал MapReduce жумуш процессинде кантип жардам берет?

Бөлүүчү ичинде MapReduce жумушу аткаруу аралык карта-чыгыштардын ачкычтарын бөлүштүрүүнү көзөмөлдөйт. Менен жардам хэш-функциянын, ачкыч (же ачкычтын бир бөлүгү) келип чыгат бөлүү . Бир эле ачкыч мааниге ээ болгон жазуулар бирдей кирет бөлүү (ар бир картачынын ичинде).

Сунушталууда: