The Future of Efficient AI Inference EnCharge AI의 혁신적인 칩
EnCharge AI의 혁신적인 아날로그와 디지털 컴퓨팅 결합은 예측 과제에서 생성적 AI의 에너지 효율을 크게 향상시킬 수 있는 잠재력을 가지고 있습니다.
“`html
신규 칩으로 GenAI 효율 향상.
📷
2024년은 기업 및 소비자 전자제품이 많은 양의 예측을 위해 이 기술을 사용하는 추론이라고도하는 Generative Artificial Intelligence (GenAI)가 크게 발전하는 해로 모양입니다. 그러나 이 큰 발전을 이루려면 이 복잡한 AI 모델을 에너지 제약 장치에서 실행하는 문제에 대처해야합니다. 이를 위해 EnCharge AI가 등장합니다. Inference를위한 저전력 회로를 개발하기 위해 미국 국방부 고등연구계획국 (DARPA)로부터 1,860만 달러의 보조금을 수령했습니다.
🤝 EnCharge AI는 AI 추론의 에너지 효율성을 극적으로 향상시키려는 프린스턴 대학과 협력합니다. 디지털 및 아날로그 구성 요소를 결합하여 EnCharge AI는 AI 연산의 에너지 효율성을 극적으로 향상시키려고합니다. Memory Access의 에너지 소비가 가장 높기 때문에 그들의 접근 방식 인 In-Memory Compute (IMC)는 메모리 액세스의 에너지 소비를 줄이는 것을 목표로합니다.
아날로그의 힘
✍️ EnCharge AI의 뚝배기는 아날로그 회로를 창의적으로 사용하는 데 있습니다. 아날로그 컴퓨팅은 오래전부터 디지털보다 에너지를 효율적으로 사용한다는 사실은 잘 알려져 왔지만 그 작동 방식은 항상 어려웠습니다. EnCharge AI는 이 장애물을 극복하는 방법을 찾았습니다. 전체 계산 프로세스를 아날로그로 수행하려는 대신 “accumulate” 작업을 더 효율적으로 만들기에 집중합니다. 이 접근 방식에서 행렬 곱셈은 여전히 디지털 회로에서 처리되며 누적은 커패시터를 사용하여 아날로그로 수행됩니다. 이 조합을 사용하면 전통적인 디지털 회로보다 훨씬 낮은 에너지 비용으로 병렬 행렬 곱셈을 누적 할 수 있습니다.
- 🎮 Nvidia의 GeForce Now, 클라우드 게임을 위한 적응형 새로고침 속도...
- 컴퓨터용 냉각 솔루션 에어 쿨링 대 워터 쿨링
- AMD의 향상된 FreeSync 요구 사항이 게이밍 모니터를 혁신한다.
💡 여기서의 주요 통찰은 AI 프로그램이 메모리 집약적인 작업에 크게 의존하며 이러한 작업을 최적화함으로써 AI 계산의 전반적인 효율성을 크게 향상시킬 수 있다는 것입니다. EnCharge AI의 혁신 기술은 이전 노력보다 “30배” 효율적일 것으로 약속합니다.
🤖 아날로그 컴퓨팅의 도전
🐍 아날로그 컴퓨팅은 구현하기가 어렵고 많은 이전 시도가 실패로 끝났습니다. 아날로그 컴퓨팅의 주요 문제는 내재 노이즈로, 이는 계산의 정확성과 신뢰성에 영향을 줍니다. 그러나 EnCharge AI는 이 문제를 극복하기 위해 전류를 측정하는 대신 커패시터를 사용했습니다. 커패시터는 전류를 사용하는 대신 전하를 저장하여 노이즈를 줄이고 에너지 효율성을 높입니다.
💪 EnCharge AI의 접근 방식의 또 다른 장점은 커패시터의 경제적 사용입니다. 이전의 아날로그 컴퓨팅 방법과 달리 커패시터는 특이한 제조 기술이 필요 없이 표준 반도체 제조 공정에 쉽게 포함될 수 있습니다. 사실, 커패시터는 트랜지스터를 연결하는 데 사용되는 일반 금속 층에서 만들어지므로 본질적으로 무료입니다.
에너지 효율성에 큰 도약
🚀 EnCharge AI의 프로토타입은 이미 에너지 효율성을 크게 향상시켰습니다. 8비트 양자화에서 신경 네트워크 추론을 다룰 때, 1와트 당 150조 연산 처리율을 달성했습니다. Mythic과 같은 이전 방법은 최대 수십 TOPS / 와트까지 달성했습니다. 즉, EnCharge AI의 칩은 이전 솔루션보다 “30배” 더 효율적임을 의미합니다.
🌐 그러나 효율성은 AI 시장에서 유일한 도전 과제가 아닙니다. 규모도 또 다른 중요한 요인입니다. OpenAI 및 기타 조직은 트리리온 개의 신경망 가중치로 매우 큰 모델을 구축하고 있으며 이는 온칩 SRAM 캐시에 완전히 맞지 않습니다. EnCharge AI의 스마트 소프트웨어는 온칩 및 오프칩 메모리를 효율적으로 관리하여 필요할 때 필요한 데이터에 액세스할 수 있도록 보장합니다. 심지어 DRAM과 같은 오프칩 메모리에 저장된 경우에도 그렇습니다.
❓ Q&A: – Q: EnCharge AI가 대규모 AI 모델의 메모리 도전을 어떻게 해결합니까? – A: EnCharge AI의 스마트 소프트웨어는 온칩과 오프칩 메모리에 대한 가상 액세스를 제공하여 데이터를 효율적으로 조직화하여 효율적이고 빠른 처리를 보장합니다. 이 접근 방식은 온칩 SRAM 캐시 용량을 초과하는 대규모 모델을 처리 할 수 있습니다. – Q: EnCharge AI의 기술은 추론과 교육 양쪽에 적용 가능합니까? – A: 초기 제품은 추론에 중점을 둘 것이지만 EnCharge AI는 캐패시터 기반 접근법이 교육에도 확장될 수 있다고 믿습니다. 그러나 실현하기 위해서는 더 많은 소프트웨어 작업이 필요합니다.
앞으로의 길
“““html
🏭 EnCharge AI은 엣지 컴퓨팅에서 AI용 가속기 칩과 수반 시스템 보드를 판매할 계획이며, 기업 데이터 센터, 자동차 및 개인용 컴퓨터 등에서 응용 프로그램을 대상으로 합니다. 그들의 목표는 크기, 비용 및 에너지 효율성이 중요한 에너지 제한 환경에 대한 솔루션을 제공하는 것입니다.
🔮 앞으로, EnCharge AI의 뚜렷한 성과는 AI 산업에 광범위한 영향을 미칠 수 있습니다. 아날로그 컴퓨팅 및 메모리 최적화에 대한 그들의 혁신은 더욱 에너지 효율적인 AI 추론 및 학습을 위한 길을 열 수 있습니다. 이는 소비자 전자제품부터 중요한 산업 공정까지 다양한 응용 분야에서 AI의 채용으로 이어질 수 있습니다.
📚 참고 문헌: 1. ChatGPT와 Llama: OpenAI 및 Meta의 AI 모델 2. 엣지 컴퓨팅 및 AI 3. AI를 위한 아날로그 컴퓨팅: 도전과 성취 4. 메모리 컴퓨팅으로 추론 최적화 5. Nvidia 및 Intel의 새로운 AI 칩
👥 이 흥미로운 발전에 대한 생각을 공유하세요! EnCharge AI의 진전이 AI 추론의 미래를 어떻게 형성할지 어떻게 생각하시나요? 아래 댓글에 의견을 알려주시고 이 기사를 소셜 미디어에서 친구들과 공유해보세요! 🚀
“`
