torch.detach (and clone)

torch.detach는 말 그대로 떼어내는 것이다.

어떻게 보면 두 가지 기능을 하는건데

복제와 연결을 끊는, 뗴어내는(detach)하는 것이다.

 

x = torch.tesnor([1,2,3,4])

z = x.clone(), z = x.detach() 같은데

detach의 경우에는 계산 그래프에서 떼어내는 역할도 한다.

아래의 그림이 이를 잘 표현해서 가져왔다.

 

 

이러면 backpropagation할 때 더이상 layer1까지 가지 않는다.