Шоу учкундагы аракетпи?

2024 Автор: Lynn Donovan | [email protected]. Акыркы өзгөртүү: 2023-12-15 23:50

2 Жооптор. көрсөтүү чынында эле а иш-аракет , бирок ал баарын иштетүүнүн кереги жок болгондо билүү үчүн жетиштүү акылдуу. Эгер сизде orderBy болсо, бул да абдан көп убакытты талап кылат, бирок бул учурда сиздин бардык операцияларыңыз карта операциялары болгондуктан, бүт акыркы таблицаны эсептөөнүн кереги жок.

Ошентип, эсептөө учкундагы аракетпи?

сана () чейин сана катарлардын саны. Ал DAG аткарылышын баштап, драйверге маалыматтарды кайтарып бергендиктен, анын ан иш-аракет RDD үчүн. 2-жагдай: Эгер сиз чалсаңыз сана Dataframeде, ал DAG аткарылышын баштайт жана маалыматтарды драйверге кайтарат, анын ан иш-аракет Dataframe үчүн.

Ошо сыяктуу эле, учкундагы аракет жана трансформация деген эмне? Spark RDD операциялары. Apache эки түрү Spark RDD операциялары - Трансформациялар жана Аракеттер . А Трансформация бул учурдагы RDDлерден жаңы RDD чыгарган функция, бирок биз чыныгы маалымат топтому менен иштегибиз келгенде, ошол учурда Акция аткарылат.

Тиешелүү түрдө учкундагы иш-аракет деген эмне?

Аракеттер RDD операциясы болуп саналат, бул маани кластерде аткаруу үчүн жумушту баштаган шпар драйвер программаларына кайтып келет. Трансформациянын чыгышы - бул киргизүү Аракеттер . азайтуу, чогултуу, Үлгү алуу, алуу, биринчи, saveAsTextfile, saveAsSequenceFile, countByKey, foreach кеңири таралган аракеттер Апачиде учкун.

Учкунда чогултуу () эмне кылат?

чогултуу (функ) чогултуу маалымат топтомунун элементтерин кайра драйвер программасына массив катары кайтарат. чогултуу сыяктуу мурда берилген мисалдарда көп колдонулат Spark Кайтаруунун маанилерин көрсөтүү үчүн трансформация мисалдары. REPL, мисалы, массивдин маанилерин кайра консолго басып чыгарат.