빅테크1 [Fortnightly Tech Digest] October's Second Half 10월 3-4주차 주요 뉴스빅테크의 원전 투자OpenAI의 MLE-BenchState of AI Report 2024MedNIST Dataset & BenchmarkBig Tech on Nuclear Power*이 단락은 데일리 뉴스레터 The Neuron의 내용을 참고하여 작성했습니다.아시다시피 AI는 엄청난 양의 전력을 필요로 하는 기술입니다. GPT-3를 한 번 학습시키는 데 필요한 전력량은 130개의 가정에서 1년 동안 사용하는 전력량과 맞먹는다고 하죠[1]. 그래서 GPU 대신 FPGA, ASIC 등의 연산장치가 최근에 주목을 받기도 했고, 모델도 175B이었던 GPT-3에 비해 최근까지도 가벼운 모델들이 출시되었어요. 요즘은 MoE로 전력 소모를 최소화하되 파라미터 수를 늘리는 기법을 사용한대.. 2024. 10. 26. 이전 1 다음
