인간의 뇌를 닮은, 더 영리한 인공지능 기술이 등장했다. 기초과학연구원(IBS, 원장 노도영) 인지 및 사회성 연구단 이창준 단장 연구팀은 연세대학교 응용통계학과 송경우 교수 연구팀과 함께, 뇌의 시각피질이 시각 정보를 선별해 처리하는 방식을 응용해 인공지능(AI)의 이미지 인식 능력을 향상시키는 새로운 기술을 개발했다.

인간의 시각 시스템은 놀라운 인식 능력을 갖고 있다. 우리는 한눈에 사물을 인식하고, 복잡한 환경에서도 중요한 정보를 빠르게 선별할 수 있다. 이에 비해 기존 AI 모델은 여전히 한계를 보인다. 전통적인 합성곱 신경망(Convolutional Neural Network, CNN)은 비교적 적은 연산으로도 잘 작동하지만, 작은 정사각형 필터로 이미지를 쪼개 분석하는 구조라 넓은 맥락을 파악하거나 떨어진 정보 사이의 관계를 이해하는 데 한계가 있다. 이를 보완한 비전 트랜스포머(Vision Transformer)는 막대한 연산량과 대규모 데이터 세트가 필요해 실용성 면에서는 제한이 있다.

연구진은 인간 뇌의 시각 피질이 시각 정보를 선택적으로 처리하는 방식에 주목했다. 인간의 시각 피질은 모든 정보를 똑같이 처리하지 않고, 눈에 띄는 특징이나 중요한 부분에만 집중해 선택적으로 반응한다. 이 과정에서 뉴런들은 넓은 범위를 부드럽게 감지하며, 꼭 필요한 정보에만 선택적으로 반응하는 구조를 갖고 있다. 연구진은 이러한 방식을 적용해 CNN 모델의 성능을 크게 높이는 ‘Lp-컨볼루션’ 기술을 제안했다.

Lp-컨볼루션은 AI가 이미지를 분석할 때, 사람처럼 핵심적인 정보를 우선적으로 파악할 수 있도록 설계된 기술이다. 각 이미지에 대해 자동으로 생성되는 ‘마스크¹⁾(Mask)’는 시각 피질의 뉴런처럼 중요한 부분을 강조하고, 덜 중요한 부분은 자연스럽게 배제하는 방식으로 작동한다. 이 마스크는 학습 과정에서 스스로 형태를 조정하며, 다양한 환경에서도 일관되게 중요한 특징에 집중할 수 있게 한다.

제1저자인 권재 IBS 박사후연구원(現 독일 막스플랑크 보안 및 정보보호 연구소)은 “사람이 복잡한 장면에서 핵심을 빠르게 파악하듯, Lp-컨볼루션은 뇌의 정보 처리 방식에서 착안해 AI가 연산 자원을 효율적으로 활용하면서도 더 정확한 분석이 가능하도록 돕는다”라고 설명했다.

이어 연구진은 이 기술을 다양한 CNN 모델에 적용해 성능을 평가했다. 그 결과 Lp-컨볼루션을 적용한 모델들은 기존 CNN 모델보다 이미지 분류 정확도가 눈에 띄게 향상됐다. 특히, 한 번에 더 넓은 영역을 살펴볼 수 있도록 필터의 크기를 크게 넓혀도 성능 저하 없이 안정적으로 작동했으며, 정확도는 오히려 향상되는 결과를 얻었다. 일반적으로 분석 범위를 넓히면 계산량이 증가하고 정확도가 떨어지기 쉬운데, Lp-컨볼루션은 이러한 한계를 효과적으로 극복한 것이다.

또한, 연구진은 Lp-컨볼루션이 실제 뇌의 정보 처리 방식과 얼마나 유사한지를 확인하는 실험도 진행했다. 생쥐에게 다양한 자연 이미지를 보여주며 시각 피질 뉴런의 활동을 기록하고, 이를 바탕으로 AI 모델이 각 이미지에 대해 뉴런이 어떻게 반응할지를 예측하도록 학습시켰다. 이렇게 훈련된 모델의 반응과 실제 뉴런 반응을 비교한 결과, Lp-컨볼루션을 적용한 모델은 기존 CNN 모델보다 뉴런 반응을 더 정밀하게 예측했으며, 예측 오차도 감소했다. 이는 Lp-컨볼루션이 단순한 성능 향상을 넘어, 뇌의 시각 정보 처리 방식과 더욱 유사한 구조와 작동 방식을 구현하고 있음을 실험적으로 입증한 것이다.

이창준 IBS 단장은 “Lp-컨볼루션은 AI 성능 향상을 넘어서 뇌가 정보를 어떻게 처리하는지를 모방하고 이해하는 데에도 크게 기여할 수 있다”라며 “AI와 뇌과학이 함께 발전할 수 있는 새로운 융합 모델의 좋은 사례가 될 것”이라고 말했다.

이번 연구는 세계적 권위의 AI 학회 ‘The International Conference on Learning Representations(ICLR)’에 채택돼, 오는 4월 24일부터 28일까지 싱가포르에서 열리는 ‘ICLR 2025’에서 발표될 예정이다.

그림 설명

[그림 1] 뇌의 시각 피질과 인공지능 신경망의 정보 처리 구조
실제 뇌의 시각 피질에서는 뉴런들이 중심을 기준으로 넓고 부드럽게 연결되어 있으며, 이 연결 강도는 거리마다 점진적으로 달라지는 특성을 보인다(a, b). 이런 공간적 연결성은 종 모양의 곡선으로 표현되는 ‘가우시안 분포’를 따르며, 뇌가 시각 정보를 처리할 때 중심뿐 아니라 주변까지 아우르며 정보를 통합할 수 있도록 돕는다.
반면, 기존의 합성곱 신경망(CNN)에서는 뉴런이 정해진 사각형 범위(예: 3×3, 5×5 등)만을 고정적으로 바라보며 정보를 처리한다(c, d). CNN의 필터는 이미지 위를 일정 간격으로 이동하며 동일한 방식으로 정보를 추출하기 때문에, 멀리 떨어진 시각 정보 간의 관계를 파악하거나 중요도에 따라 선택적으로 반응하는 데 한계가 있다.
이번 연구에서는 이러한 생물학적 구조와 CNN의 차이에 착안해, 뇌의 연결 특성을 모방한 새로운 방식의 필터 구조인 'Lp-컨볼루션'을 제안했다. 이 구조에서는 뉴런이 입력을 받는 범위와 감도의 분포가 가우시안 형태로 자연스럽게 퍼지도록 설계되며, 중요한 정보는 더 강하게 반영하고 덜 중요한 정보는 적게 반영되도록 학습 중 스스로 조절된다. 이를 통해 기존 CNN보다 더 유연하고 생물학적 특성에 가까운 방식으로 이미지를 처리할 수 있게 된다.

[그림 2] 뇌의 구조에서 착안한 Lp-컨볼루션 설계
뇌는 시각 정보를 처리할 때, 중심에서 주변으로 점진적으로 퍼지는 가우시안 형태의 연결 구조를 바탕으로 넓은 범위의 정보를 유연하게 통합한다. 반면 기존 CNN은 필터의 범위를 넓히면 넓힐수록 정보가 희석되거나 정확도가 떨어지는 문제가 있다(d, e).
연구진은 이러한 구조적 한계를 극복하기 위해, 뇌의 연결 방식을 모방한 Lp-컨볼루션을 고안했다(a–c). 이 구조는 넓은 수용 영역에서도 핵심 정보를 놓치지 않도록 가중치를 공간적으로 다르게 분포시켜, CNN의 한계를 효과적으로 개선한다.

[그림 3] 인공지능과 실제 뇌의 시각 반응 비교 실험
연구진은 살아있는 생쥐의 시각 피질에서 측정한 실제 뉴런의 반응 패턴과, AI 모델에서의 예측 반응을 정밀하게 비교했다. 그 결과, 기존 CNN에 비해 Lp-컨볼루션을 적용한 AI 모델은 뉴런 반응을 더 정확히 재현했고, 시각 정보에 대한 처리 방식도 뇌와 더 유사하게 나타났다. 이 실험은 Lp-컨볼루션이 단순히 성능 향상을 넘어, 뇌의 정보 처리 메커니즘과의 구조적 유사성을 갖고 있다는 점을 실험적으로 입증한 것이다.

1) 마스크(Mask): 이미지에서 중요한 영역을 강조하고, 덜 중요한 영역은 덜 보이게 조정하는 가중치 지도 형태의 필터