relu 예제

그것의 속성을 고려 하는 분류에 대 한 좋은 것 같습니까? 예! 그것은 참으로입니다. 예를 들어, 활성화를 곡선의 양쪽에 가져오는 경향이 있습니다(예를 들어 x = 2 위와 아래 x = -2). 예측에 대한 명확한 구별. 예제를 실행하면 크기에 관계없이 양수 값이 반환되는 반면 음수 값은 값 0.0에 스냅되는 것을 볼 수 있습니다. 다음은 정류선형 활성화 함수의 입력 및 출력의 몇 가지 예입니다. 아래 예제에서는 -10에서 10까지 일련의 정수를 생성하고 각 입력에 대해 정류선형 활성화를 계산한 다음 결과를 플로팅합니다. 예를 들어, 가중치의 균일한 초기화 후 숨겨진 단위 연속 출력 값의 약 50%가 실제 제로 배치정규화 | 클리핑렐루레이어 | 누출렐루레이어 | trainNetwork ReLu의 수평 선(음수 X)으로 인해 그라데이션은 0으로 이동할 수 있습니다. ReLu 의 해당 영역에서 활성화의 경우 그라데이션은 0이 되며, 그 때문에 하강 중에 가중치가 조정되지 않습니다. 즉, 해당 상태로 이동하는 뉴런은 오류/입력의 변화에 응답하지 않습니다(그라데이션이 0이기 때문에 아무것도 변경되지 않습니다). 이를 죽어가는 ReLu 문제라고 합니다. 이 문제는 여러 뉴런이 죽고 네트워크의 상당 부분을 수동적으로 만드는 데 응답하지 않을 수 있습니다.

단순히 비 수평 구성 요소로 수평 라인을 만들어이 문제를 완화하기 위해 ReLu의 변형이 있습니다. 예를 들어 y = 0.01x x<0은 가로선이 아닌 약간 기울어진 선으로 만듭니다. 이것은 새는 ReLu입니다. 다른 변형도 있습니다. 주요 아이디어는 그라데이션이 0이 아닌 것으로 만들고 결국 훈련 중에 복구하는 것입니다. LeakyRelu는 ReLU의 변형입니다. (z < 0)이 되는 대신 새는 ReLU는 작고 0이 아닌 일정한 그라데이션 (alpha)(일반적으로 alpha = 0.01)을 허용합니다. 그러나 작업 간에 이점의 일관성은 현재 불분명합니다. [1] ReLU가 사라지는 그라데이션 문제를 해결할 수 있는 방법의 예는 자습서를 참조하십시오: 아마도 가장 간단한 구현은 max() 함수를 사용하는 것일 수 있습니다. 예: 특정 PyTorch 레이어 클래스는 relu를 비선형 인수의 값으로 간주합니다.