MIT의 Liquid Neural Networks가 로봇 공학부터 자율 학습까지 AI 문제를 해결하는 방법

Jul 21, 2023

VB Transform 2023의 세션을 보려면 주문형 라이브러리로 이동하세요. 여기에서 등록하세요.

현재 인공 지능(AI) 환경에서 대규모 언어 모델(LLM)에 대한 관심은 점점 더 큰 신경망을 만드는 경쟁으로 이어졌습니다. 그러나 모든 애플리케이션이 대규모 딥 러닝 모델의 계산 및 메모리 요구 사항을 지원할 수 있는 것은 아닙니다.

이러한 환경의 제약으로 인해 몇 가지 흥미로운 연구 방향이 탄생했습니다. MIT 컴퓨터 과학 및 인공 지능 연구소(CSAIL) 연구원들이 개발한 새로운 유형의 딥 러닝 아키텍처인 액체 신경망은 특정 AI 문제에 대한 컴팩트하고 적응 가능하며 효율적인 솔루션을 제공합니다. 이러한 네트워크는 기존 딥 러닝 모델의 고유한 과제 중 일부를 해결하도록 설계되었습니다.

액체 신경망은 AI의 새로운 혁신을 촉진할 수 있으며 로봇공학, 자율주행차 등 기존 딥러닝 모델이 어려움을 겪고 있는 분야에서 특히 흥미롭습니다.

MIT CSAIL의 다니엘라 루스(Daniela Rus) 이사는 VentureBeat에 “액체 신경망에 대한 영감은 기계 학습에 대한 기존 접근 방식에 대해 생각하고 로봇과 엣지 장치가 제공하는 일종의 안전 필수 시스템에 어떻게 부합하는지 고려하는 것에서 나왔습니다.”라고 말했습니다. "로봇에서는 실제로 계산 [전력] 및 [저장] 공간이 없기 때문에 대규모 언어 모델을 실제로 실행할 수 없습니다."

VB 변환 2023 온디맨드

VB Transform 2023 세션을 놓치셨나요? 모든 주요 세션에 대한 주문형 라이브러리에 액세스하려면 등록하세요.

Rus와 그녀의 공동 작업자는 정확하고 계산 효율적인 신경망을 만들어 클라우드에 연결할 필요 없이 로봇 컴퓨터에서 실행할 수 있기를 원했습니다.

동시에 그들은 302개 이하의 뉴런으로 복잡한 작업을 수행하는 C. Elegans 벌레와 같은 작은 유기체에서 발견되는 생물학적 뉴런에 대한 연구에서 영감을 받았습니다. 그들의 연구 결과는 액체 신경망(LNN)이었습니다.

액체 신경망은 기존의 딥 러닝 모델에서 크게 벗어났습니다. 그들은 계산 비용이 덜 들고 훈련 중에 뉴런을 안정화시키는 수학적 공식을 사용합니다. LNN 효율성의 핵심은 동적으로 조정 가능한 미분 방정식을 사용하는 데 있으며, 이를 통해 훈련 후 새로운 상황에 적응할 수 있습니다. 이는 일반적인 신경망에서는 볼 수 없는 기능입니다.

"기본적으로 우리가 하는 일은 두 가지 통찰력을 통해 기존 모델에 비해 뉴런의 표현 학습 능력을 높이는 것입니다."라고 Rus는 말했습니다. “첫 번째는 학습 중에 뉴런의 안정성을 높이는 일종의 잘 행동하는 상태 공간 모델입니다. 그런 다음 훈련과 추론 중에 모델의 표현력을 높이기 위해 시냅스 입력에 대한 비선형성을 도입합니다."

또한 LNN은 기존 신경망과 다른 배선 아키텍처를 사용하며 동일한 레이어 내에서 측면 및 반복 연결을 허용합니다. 기본 수학 방정식과 새로운 배선 아키텍처를 통해 유동 네트워크는 동작을 동적으로 조정할 수 있는 연속 시간 모델을 학습할 수 있습니다.

Rus는 “이 모델은 보는 입력을 기반으로 훈련한 후 동적으로 적응할 수 있기 때문에 매우 흥미롭습니다.”라고 말했습니다. "그리고 그것이 관찰하는 시간 상수는 그것이 보는 입력에 의존하기 때문에 우리는 뉴런의 이러한 공식화를 통해 훨씬 더 많은 유연성과 적응력을 갖게 됩니다."

LNN의 가장 눈에 띄는 특징 중 하나는 컴팩트함입니다. 예를 들어, 전통적인 심층 신경망은 차선을 유지하는 것과 같은 작업을 수행하기 위해 약 100,000개의 인공 뉴런과 50만 개의 매개변수가 필요합니다. 이와 대조적으로 Rus와 그녀의 동료들은 단 19개의 뉴런으로 동일한 작업을 수행하도록 LNN을 훈련할 수 있었습니다.

이러한 크기의 상당한 감소는 몇 가지 중요한 결과를 가져온다고 Rus는 말했습니다. 첫째, 로봇 및 기타 엣지 장치에 있는 소형 컴퓨터에서 모델을 실행할 수 있습니다. 둘째, 뉴런 수가 적을수록 네트워크의 해석이 훨씬 쉬워집니다. 해석 가능성은 AI 분야에서 중요한 과제입니다. 기존 딥 러닝 모델을 사용하면 모델이 어떻게 특정 결정에 도달했는지 이해하기 어려울 수 있습니다.