NPU는 무엇이며, AI 마법이 어떻게 일어나는 데 도움이 되나요?

모든 현대 스마트폰의 "뇌"는 SoC(시스템-온-칩)입니다. 이는 엄청나게 복잡한 미세 기계입니다. CPU와 GPU, 오디오 및 비디오 처리, 무선 통신, 전력 관리 등을 크기만한 지피에 포장합니다. SoC는 더욱 복잡해지고 있습니다. 최근에는 AI 기능을 지원하는 NPU가 추가되었습니다.당신의 폰은 최신 모델이라면 NPU가 있습니다. 심지어 저렴한 삼성 Galaxy A25, 가장 좋은 예산 Android 폰 중 하나도 Exynos 1280 칩에 내장된 NPU가 있습니다. 하지만 NPU는 무엇을 하고, 그 차이점은 무엇인가요? 함께 알아보겠습니다.NPU는 신경 처리 장치를 의미합니다. 스마트폰의 SoC(시스템온보드하드웨어)에 있는 컴퓨팅 모듈로, CPU(중央 처리 장치)와 GPU(그래픽 처리 장치)와 같이 작동합니다. 최근의 Snapdragon, Exynos, Dimensity, Apple A 시리즈 모델의 SoC와 Intel, AMD, Apple의 일부 데스크톱 및 모바일 PC 프로세서에도 NPU가 포함되어 있습니다.전화 SoC에는 이미 NPUs가 있습니다. Qualcomm은 2015년부터 Snapdragon 820에 AI 엔진(PDF)을 도입했으며, 이는 하드웨어와 소프트웨어의 조합으로 AI 작업에 사용됩니다. Apple은 2017년 A11 Bionic chip과 함께 신경망 엔진(NPU)을 출시했습니다. 그러나 그들이 아직 완벽하지 않더라도 AI에 대한 허가와带来的 기능 덕분에 오늘날 더 관련성이 있습니다.닫기

NPU의 역할은 인공지능 및 머신러닝 응용 프로그램과 관련된 작업을 가속화하는 것입니다. 예시(위에 여러 가지가 표시됨)에는 이미지에서 사람과 물체를 식별하는 것, 텍스트 및 이미지 생성, 음성에서 텍스트로 변환, 실시간 번역, 다음에 입력할 수 있는 단어를 예측하는 등이 포함됩니다.

이 기능을 수행하기 위해 NPU가 필요하지 않지만, 프로세스가 더 빠르고 에너지 효율적이며 클라우드 컴퓨팅에 의존도가 낮아집니다. 인공지능 작업이 요구하는 계산은 매우 특정적이므로, 이러한 계산을 위한 처리 단위를 최적화하는 것이 의미가 있습니다.만약 수학에 흥미가 있고 재미있으시다면, 런던의 러닝 컬레지에서의 A.C.C. Coolen은 신경망의 수학에 깊이 있게 다루고 있습니다. 또한, 유튜브 동영상에서 Vsauce의 명예로운 마이클 스테빈스는 동작하는 신경망을 보여줍니다. 신경망이 작동하기 위해 동시에 수행되는 기본적이고 많은 연산을 주목해보세요.CPU는 복잡한 수학 연산을 빠르고 높은 정밀도로 수행할 수 있는 일반적인 단위입니다. 그러나 AI 작업은 많은 계산을 병렬로 실행해야 하며 정밀도가 중요하지 않습니다. GPU는 병렬성 덕분에 CPU보다 더 적합한 작업을 수행할 수 있습니다. 그러나 IBM은 효율성 덕분에 NPU가 우수하다고 지적합니다. NPU는 에너지를 사용하는 비율이 매우 적고 비슷한 AI 성능을 제공하므로 모바일, 배터리 충전형 기기에 이상적입니다.다음은 HTML 태그가 포함된 영문 기술 뉴스를 한국어로 정확하게 번역한 것입니다:

SoC에 NPU가 포함되어 있으면 클라우드에서 수행되는 AI 연산을 장치에서 수행하므로 속도가 느릴 수 있습니다. 이는 음성-to-텍스트 변환과 같은 가볍게 처리되는 작업에 적합합니다. 또한 센서 입력이 포함되어 있고 즉시 결과가 예상되는 경우에도 이상적입니다. 예를 들어 카메라 앱에서 장면에서 객체를 감지하는 경우입니다. AI 모델은 입력을 처리하는 코드로, 로컬에 저장됩니다. Google Pixel Studio 이미지 생성기와 같은 애플리케이션은 로컬 및 클라우드 AI 모델을 활용하는 하이브리드 접근 방식을 사용합니다.장치 기반 인공지능은 또한 개인 정보 보안에 좋습니다. 제공하는 개인 데이터(음성, 텍스트 또는 비디오 형태)는 휴대폰에서 나가지 않아야 합니다. 이는 데이터 손상으로 해커가 액세스할 수 있는 기회를 제거합니다.

Google Pixel 9의 기능 페이지를 보면, AI 기능이 강조된 핸드폰이라 할지라도 NPU에 대한 언급은 없습니다. 그 이유는 TPU(tensor processing unit)를 사용하기 때문입니다.

TPU는 AI 계산을 가속화하는 데 사용되며, NPU와는 다르게 TPUs와 TPU 칩은 구글이 직접 디자인했습니다. 구글 하드웨어와 회사의 데이터 센터에서만 찾을 수 있습니다. 텐서 처리 단위는 구글이 개발한 오픈 소스 소프트웨어 라이브러리인 TensorFlow에 최적화되어 있습니다. TensorFlow는 머신 러닝 및 AI 애플리케이션에 사용되는 것입니다.대부분의 새로운 스마트폰에는 NPU가 내장되어 있지만, 일부는 AI 계산을 더 빠르게 수행합니다. TOPS(초당 텍스트 연산 1조 개)는 AI 프로세서 성능의 일반적인 측정 단위입니다. Qualcomm은 NPU의 TOPS를 결정하는 두 가지 요인을 설명합니다: 실행 시 주파수(시계 속도)와 사용 가능한 MAC 연산 유닛의 수입니다.최근에 발표된 Snapdragon 8 Elite 칩은 이전 제품인 Snapdragon 8 Gen 3보다 45% 더 나은 AI 성능을 자랑합니다. 후자는 최대 45 TOPS를 달성합니다. 이는 고급 Nvidia RTX 4090 데스크톱 그래픽 카드가 제공하는 1,300+ TOPS에 비해 그리 많지 않습니다. 그럼에도 불구하고, 핸드폰은 Nvidia의 놀라운 제품이 450 워트를 흡수하지 않습니다.AI 작업에 대한 TOPS 요구사항은 거의 언급되지 않아서 숫자를 상황에 맞게 해석하기는 어렵습니다. 그러나 Microsoft의 Copilot+ AI 챗봇은 최소 40 TOPS가 필요합니다.신경 처리 단위는 CPU나 GPU를 대체할 것으로 예상되지 않습니다. 대신, 모바일 SoC의 효율성을 높이기 위해 AI 작업을 수행하면서 배터리 전력 사용을 절약하도록 설계되었습니다. 인공지능이 스마트폰에 통합되면서 앞으로 NPUs에 대해 더 많이 듣게 될 것입니다. 현재는 우리의 인기 있는 Samsung Galaxy AI 기능을 살펴보세요. 오늘 당신이 AI가 무엇을 할 수 있는지 알아보세요.