인간 두뇌의 작동 메커니즘을 수학적으로 정량화하려는 시도가 이어지고 있다. 신경망의 활성화와 뉴런 간 상호작용을 분석하는 과정에서, 연구자들은 각 뉴런의 민감도를 2차 도함수의 대칭 행렬인 해시안(Hessian)을 사용하여 모델링하고자 한다.
하지만 두뇌의 활성 변수 수는 기하급수적으로 증가하여, 전체 해시안 행렬을 메모리에 적재하려 할 경우 현대적인 컴퓨터 메모리 구조에서도 용량 한계로 인해 시스템이 붕괴될 수 있다.
따라서 연구자들은 전체 해시안 행렬을 명시적으로 구성하지 않고도 필수적인 민감도 지표만을 추출하는 방법을 고안했다.
이 방법은 각 변수 x_i에 대해 2차 미분인 ∂²f/∂x_i² 값을 계산하여 해시안 행렬의 주대각 성분만을 선별적으로 추출하는 것이다.
이제, 당신은 연구를 도와 각 변수에 대한 2차 편미분 값(즉, 해시안 행렬의 대각선 값)을 계산해야 한다.
함수는 다음과 같이 주어진다:
f(x₁, x₂, ..., xₙ) = Σ(i=1 to n) aᵢ ⋅ xᵢ²
여기서 aᵢ는 각 변수 xᵢ에 곱해지는 계수이다.
2
3 4
6
8