뇌가 통신 소리를 인식하는 방법을 보여주는 기계 학습 모델

피츠버그, 2023년 5월 2일 — Communications Biology에 오늘 발표된 논문에서 청각 신경과학자들은 피츠버그 대학교 뇌가 동물의 울음소리나 말과 같은 의사소통 소리의 의미를 학습하는 방법을 설명하는 데 도움이 되는 기계 학습 모델을 설명하십시오.

연구에 설명된 알고리즘은 마모셋 원숭이와 기니피그를 포함한 사회적 동물이 짝짓기 소리, 음식 또는 위험과 같은 소리 범주를 구별하고 그에 따라 행동하기 위해 뇌의 소리 처리 네트워크를 사용하는 방법을 보여줍니다.

이 연구는 음성 인식의 기초가 되는 신경 처리의 복잡함과 복잡함을 이해하기 위한 중요한 단계입니다. 이 작업의 통찰력은 음성 인식에 영향을 미치는 장애를 이해하고 궁극적으로 치료하고 보청기를 개선할 수 있는 길을 열어줍니다.

“우리가 아는 거의 모든 사람은 노화나 소음 노출로 인해 삶의 어느 시점에서 청력을 잃게 됩니다. 음성 인식의 생물학을 이해하고 이를 개선할 방법을 찾는 것이 중요합니다.” 그러나 음성 커뮤니케이션의 과정은 그 자체로 멋집니다. 우리의 두뇌가 서로 상호 작용하고 아이디어를 받아들이고 소리를 통해 전달하는 방식은 마술과도 같습니다.”

인간과 동물은 정글의 불협화음부터 붐비는 식당 내부의 윙윙거리는 소리에 이르기까지 매일 놀라울 정도로 다양한 소리를 접하게 됩니다. 우리를 둘러싼 세상의 소음 공해와 관계없이 인간과 다른 동물들은 목소리 톤이나 어조를 포함하여 서로 소통하고 이해할 수 있습니다. 예를 들어, “hello”라는 단어를 들을 때 우리는 그것이 미국 억양으로 말하든 영국 억양으로 말하든, 말하는 사람이 여자인지 남자인지, 우리가 조용한 방에 있든 분주한 방에 있든 상관없이 그 의미를 인식합니다. 둥지.

팀은 인간의 뇌가 통신 소리를 인식하고 의미를 파악하는 방식이 다른 물체에 비해 얼굴을 인식하는 방식과 유사할 수 있다는 생각에서 시작했습니다. 얼굴은 매우 다양하지만 몇 가지 공통된 특징이 있습니다.

우리가 만나는 모든 얼굴을 완벽한 “전형적인” 얼굴과 일치시키는 대신, 우리의 뇌는 눈, 코, 입 및 이들의 상대적인 위치와 같은 유용한 특징을 포착하고 얼굴을 정의하는 이러한 작은 특징의 정신적 지도를 만듭니다.

일련의 연구에서 팀은 커뮤니케이션 사운드도 이러한 작은 특성으로 구성될 수 있음을 보여주었습니다. 연구원들은 먼저 사회적 동물이 내는 다양한 소리를 인식하기 위해 소리 처리의 기계 학습 모델을 구축했습니다. 뇌 반응이 모델에 맞는지 테스트하기 위해 그들은 친척의 의사 소통 소리를 듣는 기니피그의 뇌 활동을 기록했습니다. 소리 처리를 담당하는 뇌 영역의 뉴런은 기계 학습 모델과 유사하게 이러한 소리의 특정 유형에서 발견되는 특징을 포함하는 소음을 들었을 때 전기 활동의 파동으로 빛을 발했습니다.

그런 다음 그들은 실생활에서 동물의 행동에 대해 모델의 성능을 확인하기를 원했습니다.

기니피그를 인클로저에 넣고 서로 다른 범주의 소리에 노출시켰습니다. 그런 다음 연구자들은 기니피그가 인클로저의 다른 구석으로 걸어가도록 훈련하고 어떤 범주의 소리가 재생되었는지에 따라 과일 보상을 받았습니다.

다음으로, 그들은 작업을 더 어렵게 만들었습니다. 인간이 억양이 다른 사람들이 말하는 단어의 의미를 배우는 방식을 모방하기 위해 연구자들은 음성 변경 소프트웨어를 통해 기니피그 호출을 하여 속도를 높이거나 낮추고 높이거나 낮추었습니다. 그들의 피치. , 또는 노이즈와 에코를 추가합니다.

동물들은 그들이 들은 울음소리가 변하지 않은 것처럼 일관되게 작업을 수행할 수 있었을 뿐만 아니라 인공적인 메아리나 소음에도 불구하고 계속해서 잘 수행했습니다. 더 좋은 점은 기계 학습 모델이 그들의 행동(및 뇌의 소리 처리 세포의 근본적인 활성화)을 완벽하게 설명했다는 것입니다.

다음 단계로 연구원들은 모델의 정확도를 동물에서 인간의 음성으로 번역하고 있습니다.

“공학적 관점에서 볼 때 음성 인식을 위한 훨씬 더 나은 모델이 있습니다. 우리 모델의 독특한 점은 우리가 행동 및 뇌 활동과 밀접하게 일치하여 생물학에 대한 더 많은 통찰력을 제공한다는 것입니다. 미래에 이러한 통찰력은 신경 발달 상태의 사람들을 돕거나 더 나은 보청기를 설계하는 데 도움이 되는 데 사용됩니다.”라고 수석 저자인 Satyaprata Pareda, PhD, 신경생물학과.

“많은 사람들이 음성을 인식하기 어려운 조건을 가지고 있습니다.”라고 Sadagoppan 연구실의 학생인 Manasweni Kar는 말했습니다. “정형화된 뇌가 단어를 인식하고 주변의 청각 세계를 이해하는 방법을 이해하면 어려움을 겪는 사람들을 이해하고 도울 수 있을 것입니다.”

이 연구의 추가 저자는 Beth의 Shi Tong Liu 박사입니다.