Sigmoid ReLU караганда жакшыраак?
Sigmoid ReLU караганда жакшыраак?

Video: Sigmoid ReLU караганда жакшыраак?

Video: Sigmoid ReLU караганда жакшыраак?
Video: Нейронные Сети на Понятном Языке | Функции Активации | #7 2024, Апрель
Anonim

Relu : Эсептөө үчүн натыйжалуураак Сигмоидге караганда бери функциялары сыяктуу Relu жөн гана topick max(0, x) керек жана Sigmoids сыяктуу кымбат экспоненциалдык операцияларды аткарбайт. Relu : Иш жузунде тармактар менен Relu көрсөтүүгө жакын жакшыраак конвергенция аткаруу сигмоиддик.

Ошо сыяктуу эле, кимдир бирөө сурашы мүмкүн, эмне үчүн ReLU эң жакшы активдештирүү функциясы?

Негизги идея - градиенттин нөл эмес болушуна жана акыры машыгуу учурунда калыбына келтирилишине жол берүү. ReLu tanh жана караганда азыраак эсептөө кымбат сигма сымал анткени ал жөнөкөй математикалык операцияларды камтыйт. Ал жакшы терең нейрон желелерин долбоорлоодо эске алуу керек.

Ошондой эле суроо туулат, сигмоиддик активдештирүү функциясы деген эмне? The сигмоиддик функция болуп саналат активдештирүү функциясы Нейрондук тармактарда нейрондордун атылышына байланыштуу структураланган негизги дарбаза жагынан. Туунду, ошондой эле a tobe иштейт активдештирүү функциясы Нейрон менен иштөө жагынан активдештирүү NN боюнча. Экөөнүн ортосундагы айырма активдештирүү даража жана өз ара аракеттенүү.

Ошо сыяктуу эле, эмне үчүн биз CNNде ReLU колдонобуз?

Convolutional нейрон тармактары ( CNN ): Кадам 1(b) - ReLU Катмар. Түзөтүлгөн сызыктуу бирдик, же ReLU , болуп саналат конволюциялык нейрон тармактарынын процессинин өзүнчө компоненти эмес. Түзөткүч функциясын колдонуунун максаты болуп саналат биздин образдарыбызда сызыктуу эместикти жогорулатуу.

ReLU эмне үчүн колдонулат?

ReLU (Түзөтүлгөн сызыктуу бирдик) АктивдештирүүФункциясы ReLU эң болуп саналат колдонулган Учурда дүйнөдө активдештирүү функциясы бар колдонулган дээрлик бардык конволюциялык нейрон тармактарында же терең үйрөнүүдө.

Сунушталууда: