Hadoop'тун кичинекей файлдарында кандай көйгөй бар?

2024 Автор: Lynn Donovan | [email protected]. Акыркы өзгөртүү: 2023-12-15 23:50

1) Кичинекей файл көйгөйү ичинде HDFS : көп сактоо кичинекей файлдар алар абдан кичирээк блоктун көлөмүн натыйжалуу иштетүү мүмкүн эмес HDFS . Окуу кичинекей файлдар көп издөөлөрдү жана маалымат түйүнүнүн ортосунда маалымат түйүнүнө көп секирүүлөрдү камтыйт, бул маалыматтарды натыйжасыз иштетүүгө алып келет.

Мындан тышкары, Hadoopто кайсы файлдар кичинекей файл көйгөйлөрү менен алектенет?

1) HAR ( Hadoop Архив) Файлдар менен тааныштырылды кичинекей файл маселесин чечүү . HAR үстүнө катмар киргизди HDFS үчүн интерфейсти камсыз кылат файл жетүү. Колдонуу Hadoop архив буйругу, HAR файлдар түзүлөт, алар иштейт MapReduce пакеттөө жумушу файлдар ичинде архивделүүдө кичирээк саны HDFS файлдары.

Мындан тышкары, мен HDFSде бир нече файлдарды ар кандай блок өлчөмдөрүн колдоно аламбы? Демейки өлчөмү нын блок 64 МБ түзөт. сен болот сиздин талабыңызга жараша өзгөртүңүз. Сиздин сурооңузга келсек, ооба бир нече файлдарды түзө алат ар түрдүү менен блок өлчөмдөрү бирок реалдуу убакытта бул болот өндүрүштү жактырбайт.

Андан тышкары, эмне үчүн HDFS кичинекей файлдарды оптималдуу иштетпейт?

менен көйгөйлөр кичинекей файлдар жана HDFS ар файл , каталог жана бөгөттөө HDFS болуп саналат Namenode эстутумунда объект катары көрсөтүлөт, алардын ар бири 150 байтты ээлейт, эреже катары. Мындан тышкары, HDFS эмес натыйжалуу жетүү үчүн багытталган кичинекей файлдар : бул болуп саналат биринчи кезекте чоң агымдык кирүү үчүн иштелип чыккан файлдар.

Эмне үчүн Hadoop жай?

Жай Иштетүү ылдамдыгы Бул дискти издөө убакытты талап кылат, ошону менен бүт процессти абдан жакшы кылат жай . Эгерде Hadoop кичинекей көлөмдө маалыматтарды иштеп чыгат, бул абдан жай салыштырмалуу. Бул чоң маалымат топтомдору үчүн идеалдуу. As Hadoop өзөгүндө партиялык иштетүү кыймылдаткычы бар, анын реалдуу убакыт режиминде иштетүү ылдамдыгы азыраак.