운전자라면 누구나 알다시피 사고는 눈 깜짝할 사이에 일어날 수 있습니다. 따라서 자율주행 차량의 카메라 시스템은 처리 시간이 매우 중요합니다. 시스템이 이미지를 촬영하고 이미지 처리를 위해 데이터를 마이크로프로세서에 전달하는 데 걸리는 시간은 장애물을 피하는 것과 큰 사고를 당하는 것의 차이를 의미할 수 있습니다.
별도의 마이크로프로세서가 아닌 이미지 센서 자체가 원시 데이터에서 중요한 특징을 추출하는 인센서 이미지 처리는 시각 처리 속도를 높일 수 있다. 지금까지 센서 내 처리의 시연은 적어도 당분간은 상용 시스템에 통합하기 어려운 새로운 연구 재료로 제한되었습니다.
이제 Harvard John A. Paulson School of Engineering and Applied Science(SEAS)의 연구원들은 CMOS(금속 산화물 반도체 반도체)로 알려진 상업용 실리콘 이미징 센서 칩에 통합될 수 있는 최초의 센서 프로세서를 개발했습니다. 이미지 센서 – 스마트폰을 포함하여 시각 정보를 캡처해야 하는 거의 모든 상용 장치에 사용됩니다.
검색은 에 게시되었습니다. 자연 전자.
“우리의 작업은 주류 반도체 전자 산업을 활용하여 내부 컴퓨팅을 다양한 실제 응용 프로그램에 신속하게 가져올 수 있습니다.”라고 SEAS의 전기 공학 및 응용 물리학 교수인 Donnehy Hamm이 말했습니다. .
Hamm과 그의 팀은 실리콘 포토다이오드 어레이를 개발했습니다. 상업적으로 이용 가능한 이미지 감지 칩에는 이미지 캡처를 위한 실리콘 포토다이오드 어레이도 포함되어 있지만 팀의 포토다이오드는 정전기로 도핑되어 있어 들어오는 빛에 대한 개별 포토다이오드 또는 픽셀의 감도를 전압으로 조정할 수 있습니다. 여러 전압 조정 가능 LED를 함께 연결하는 어레이는 여러 이미지 처리 파이프라인의 곱셈 및 중앙 추가 작업의 대표적인 사본을 수행하여 이미지가 캡처되면 관련 시각적 정보를 추출할 수 있습니다.
SEAS 박사후 연구원이자 이 연구 논문의 제1저자인 Hook Jang은 “이러한 동적 포토다이오드는 캡처된 이미지를 동기식으로 필터링할 수 있어 비전 처리의 첫 번째 단계를 마이크로프로세서에서 센서 자체로 전송할 수 있습니다.”라고 말했습니다.
실리콘 광학 어레이는 다양한 이미지 필터로 프로그래밍되어 다양한 애플리케이션에 대해 불필요한 세부 사항이나 노이즈를 제거할 수 있습니다. 예를 들어, 자율 차량 이미징 시스템은 차선 표시를 추적하기 위해 고역 통과 필터를 요구할 수 있지만 다른 응용 프로그램에서는 노이즈를 줄이기 위해 블러 필터를 요구할 수 있습니다.
“미래를 내다보면 실리콘 기반 센서 내의 이 프로세서가 머신 비전 애플리케이션뿐만 아니라 초기 정보 처리가 센서와 연산 장치의 공동 위치를 허용하는 생체 영감 애플리케이션에도 사용될 것으로 기대합니다. Henry Hinton의 경우처럼 SEAS의 수석 연구 학생이자 “The Brain” 논문의 공동 제1저자입니다.
다음으로 팀은 광다이오드의 밀도를 높이고 이를 실리콘 집적 회로와 통합하는 것을 목표로 합니다.
“상업용 실리콘 이미지 센서의 프로그래밍 불가능한 표준 픽셀을 여기에서 개발된 프로그래밍 가능한 픽셀로 교체함으로써 이미징 장치는 불필요한 데이터를 지능적으로 제거할 수 있으며, 따라서 차세대 요구 사항을 충족하기 위해 전력 및 대역폭 모두에서 더 효율적으로 만들 수 있습니다. 데이터”라고 장 씨는 말했다.
논문은 정우빈, 이민현, 김창현, 박민, 이성기, 박성준이 공동 집필했다. 이는 계약 A30216에 따라 Samsung Advanced Institute of Technology와 계약 DMR-1231319에 따라 통합 양자 재료를 위한 국립 과학 기술 센터의 지원을 받았습니다.
"트위터를 통해 다양한 주제에 대한 생각을 나누는 아 동율은 정신적으로 깊이 있습니다. 그는 맥주를 사랑하지만, 때로는 그의 무관심함이 돋보입니다. 그러나 그의 음악에 대한 열정은 누구보다도 진실합니다."