[Fortnightly Tech Digest] December's First Half

12월 전반기 주요 뉴스

• Google 양자칩 Willow 공개
• 기업들의 AI 사용 통계
• Meta의 Agent-as-a-Judge

이번 뉴스레터부터는 Tech News Briefing 섹션과 Papers Overview 섹션 두 단락으로 나누어서 써보려고 합니다.

---

Tech News Briefing

Google's Willow

구글이 9일 양자칩 Willow를 공개했습니다. 현존하는 연산이 가장 빠른 슈퍼컴퓨터가 10자($10^{25}$)년 걸리는 계산을 단 5분내로 해낸다고 해요[1]. 

양자컴퓨터, 양자칩에 대해서는 저도 문외한이라 찾아보았는데요, 우선 양자컴퓨팅이란 쉽게 말해 '초고속 연산을 위해 양자역학의 개념을 적용한 컴퓨팅 기술'을 일컫습니다. 이걸 이해하기 위해 양자역학까지 공부할 순 없으니, 우리는 속성으로 양자역학의 핵심적인 개념만 간단히 짚고 넘어가봅시다[2]. 

• 중첩(superposition): 두 개 이상의 상태의 합으로 양자의 상태를 나타낼 수 있는 특성을 이야기합니다. 그리고 그 상태 또한 유효한 양자의 상태가 된대요. 
• 얽힘(entanglement): 여러 개의 양자들이 거리에 상관없이 서로 즉각적인 영향을 줄 수 있는 상태를 의미합니다.
• 결잃음(decoherence): 어떤 외부적인 영향으로 인해 위 두 특성이 사라지는 현상입니다.
• 간섭(interference): 얽힌 관계에 있는 양자 상태들 또는 중첩 상태에 있는 양자 상태끼리 상호작용할 때 발생하는 상태.. 정도로 알고 넘어갑시다. 웹사이트마다 조금씩 다르게 말하네요ㅜㅜ

이걸 어떻게 컴퓨팅 기술에 적용할까요? 위의 문장들에서 사용된 '양자'라는 단어를, '큐비트'라는 단어로 갈아 끼워봅시다. 여기서 큐비트란, 0과 1 두 상태만 가질 수 있는 고전적인 비트 대신, 양자처럼 0과 1 사이의 '중첩'상태를 가질 수 있는 비트입니다. 고전적인 비트가 n개 있을 때 나타낼 수 있는 상태가 $2^n$개였다면, 큐비트로는 0부터 $2^n-1$ 사이에 있는 거의 모든 값을 나타낼 수 있대요. 그러면 당연히 연산 속도가 기하급수적으로 빨리지겠죠! 우리는 양자컴퓨팅 전문가가 아니니까 여기까지만 알고 넘어갑시다ㅜㅜ

출처: 정보통신용어사전, '큐비트' [3]

 

1-2분 정도 절약되는 수준이 아니라 우주의 역사만큼이나 오래 걸리는 계산을 분 단위로 처리해주기 때문에, 현재의 AI 트렌드를 이어나가는 데 큰 동력이 될 수 있어요. 우선 모델의 학습 및 최적화에 걸리는 시간이 확 줄어들고, 양자컴퓨팅에 적합한 AI 모델의 등장도 기대해 볼 수 있을 것 같아요. 이미 QSVM (Quantum Support Vector Machine), QNN(Quantum Neural Network) 등의 모델이 등장했대요[4]. 뿐만 아니라, 에너지 절약 측면에서도 중요한 기술이에요. QuEra에서 만든 256큐비트의 양자컴퓨터는, 프론티어에서 만든 슈퍼컴퓨터(위에서 소개한 1등 슈퍼컴퓨터)가 소비하는 전력의 0.05%도 채 안 되는 전력을 소비한다고 합니다[5]. 어마어마한 절약이네요!

아직까지는 양자컴퓨팅을 회의적으로 보는 시각도 있어서 실제로 AI 개발이 얼마나 가속화될지는 지켜봐야겠지만, 충분히 유망해보이는 기술인 것 같아요. 

AI Usage of US Companies

*이 글은 일간 뉴스레터 The Neuron의 12월 16일자 글을 참고하여 작성했습니다.

전세계에 AI 붐이 왔다고 생각했는데, 가장 AI 연구개발을 활발히 하고 있는 미국에서 실제로 AI를 활용하는 기업들은 6.1%에 그친다는 골드만삭스의 보고가 있었습니다[6]. 이 수치를 보고 우리가 던질 수 있는 질문은 (1) 다양한 산업에서 AI가 어디에 활용되는지, (2) 그렇다면 6.1%가 과연 낮은 수치인지 등등이 있겠네요. 여러 기사와 자료들을 오버뷰해보고 두 질문에 대답해 볼게요.

 

[AI는 주로 어디에 활용될까?]

우선 AI를 사용하고 있는 기업들에는 다음과 같은 특징이 있어요.

• OECD 분류기준에 따라 정의되는 대기업(250명 이상의 직원)들의 10%가 AI를 사용하고 있어요.
• 금융업과 보험산업에서 AI를 활용률이 가장 높고 빠른 증가폭을 보여주고 있는 반면에, 정보산업, 제조업, 교육업계는 오히려 덜 활용하는 추세를 보이고 있어요.
  • 교육업에서는 AI를 사용하면서 생산성이 23% 이상 향상되었다고 해요.
  • 금융업에서는 의외로 투자자본수익률이 제한적이라고 나타났지만, 그럼에도 78%의 CFO들은 GenAI에 투자를 늘리려고 하고 있어요[7].

한편, Claude를 개발한 Anthropic에서 최근에 Clio (Claude insights and observations)를 공개했는데, 프라이버시를 지키면서 AI 모델이 어떻게 사용되는지 분석하는 자동화된 툴이라고 해요. 아무튼 Clio의 분석에 따르면 claude.ai의 사용 양상은 다음과 같아요:

 

백만 개의 claude 채팅을 바탕으로 분석한 결과래요. 위의 비율을 살펴보면, 사람의 업무에서 보조적인 역할에 주로 활용되는(코드 작업, 글쓰기 등) 것 같아요. 다시 말해, 아직 LLM이 전문적인 기술을 요하는 작업에는 활발히 활용되지 않고 있다는 의미예요. 물론 '대화 데이터'를 바탕으로 수집된 것이기 때문에 일반화하긴 어렵지만요. ▪️

 

[AI의 활용도는 정말 낮은 편인 걸까?]

아까 자료에서는, (1) AI를 사용하는 기업들은 미국 전체의 6.1%이다, (2) 금융업과 보험산업에서 가장 활발히 AI를 활용하려 한다고 나타났어요. AI 활용률이 유의미하게 높다고 결론지으려면, 저 6.1%의 기업들이 미국의 GDP에 얼마나 기여를 하고 있는지, 그리고 AI를 활용함으로써 생산성 및 GDP 증가가 얼마나 일어났는지 등등을 꼼꼼히 따져야 할 것 같아요. 아쉽게도 이런 자료는 찾을 수 없었지만ㅜㅜ 어쨌든 골드만 삭스의 견해에 따르면

• 반도체 분야에서는 AI에의 투자를 늘릴 거라고 보고 있고, 이로 인해 37% 이상의 수익이 기대된다고 말하고 있어요[6].
• AI 활용으로 인해 2027년부터는 매년 0.4%p의 GDP 성장이 기대되고, 장기적으로는 1.5%p까지도 기대해볼 수 있을 것 같아요[9].

그러니 '겨우' 6.1%라고 보기에는 이 수치를 과소평가하는 것이 아닌가, 하는 생각도 들어요.

게다가 2023년 기준으로 봤을 때 금융업과 보험산업이 미국의 명목 GDP의 8%를 웃도는 수준이고, 이는 미국 산업 분야 중 5위이기 때문에, 이들이 AI에 투자해서 생산성 및 수익 향상을 기대한다면 "전체 기업 중 6.1%"는 사실 경제 규모로 생각했을 때 작지 않은 수치일 수도 있어요[9]. 사실 저는 경제에는 문외한이라 '이정도면 꽤괜인데?ㅇㅅㅇa' 하는 정도로밖에 말할 수 없지만 😂 어쨌든 경제성장에 유의미한 기여를 할 것으로 보인다고 결론짓고 싶네요.

Papers Overview

Agent-as-a-Judge

메타에서 발표한 프로젝트인데요, 기존의 LLM-as-a-Judge에서 착안해 이번엔 Agent가 judge 역할을 한다는.. 고런 논문입니다.

사실 이 논문의 타이틀은 agent-as-a-judge이지만, 이 논문을 통해 DevAI라는 소프트웨어 개발의 AI 자동화 시스템에 필요한 데이터셋을 공개했어요. 세 가지에 방점을 두고 연구를 했다는데요,

• 실용적이고 현실적인 개발 상황을 반영해야 한다.
• final output보다 개발 과정도 (모델이) 잘 학습해야 한다.
• 이 데이터셋을 통한 모델의 성능 검증이 비용효율적이어야 하며, 장시간 소요되는 학습이 필요없는 데이터셋이어야 한다.

마지막 조건 때문에 agent-as-a-judge라는 평가 방식을 도입했나보군요~.~ 데이터셋 샘플을 하나 살펴볼까요?

Directed Acyclic Graph (DAG) 형태의 구조화된 instruction을 주는 데이터셋이에요. DAG에 대한 자세한 내용은 일단 여기서는 스킵!

출처: Agent-as-a-Judge 논문[9]

솔직히 말해 Agent-as-a-Judge가 대단한 개념은 아닌 듯하지만ㅋㅋ 그럼에도 LLM-as-a-Judge부터 간략히 설명하자면, 다른 AI 모델의 output에 대해 위의 왼쪽 그림처럼 Judge LLM이 평가를 해주는 파이프라인을 의미합니다. 반면 agent는 단순히 아웃풋을 생성하는 데에 그치지 않고 태스크 자동화는 물론 decision making까지 독립적으로 진행하는 존재이기 때문에, 아예 성능 평가까지 맡겨버리겠다는 거예요. 얼마나 귀찮으면..

ㅋㅋ 귀찮아서 그러는 게 아니라는 걸 보여주기 위해, 연구팀은 Human-as-a-Judge와 비교했을 때 Agent-as-a-Judge를 통한 이 평가 파이프라인이 얼마나 효율적인지를 확인했어요. 사람들에게 Agent가 생성한 코드를 검토해 달라고 했을 때에는, 약 1300 USD에 90시간 정도가 들어갔대요. 개발자마다 코딩하는 스타일도 조금씩 달라서 그런지 서로의 평가에 약간의 불일치가 있기도 했고요. 반면, Agent는 API 비용으로 31 USD를 쓴 게 전부이고, 약 2시간 이내로 평가가 끝났다고 했어요. 인간의 평가 방식과도 잘 align되기 때문에 믿을 만하다고 보여지기도 하고요. 

 

이제는 인간이 AI를 평가하는 것마저 대체되다니.. 다시금 AI와 인간의 상생에 대해 생각해보게 되네요🤔

 

 

---

다다음주에도 유익한 소식을 물고 오겠습니다~.~

이만 총총!

---

Reference

[1] H. Neven, “Meet Willow, our state-of-the-art quantum chip,” Google, Dec. 09, 2024. https://blog.google/technology/research/google-willow-quantum-chip/ (accessed Dec. 20, 2024).

[2] J. Schneider and I. Smalley, “Quantum computing,” IBM, Aug. 25, 2024. https://www.ibm.com/topics/quantum-computing (accessed Dec. 20, 2024).

[3] “TTA정보통신용어사전.” https://terms.tta.or.kr/dictionary/dictionaryView.do?subject=%ED%81%90%EB%B9%84%ED%8A%B8 (accessed Dec. 20, 2024).

[4] R. Ferguson, “Google’s Willow Quantum Chip: A Leap Toward AI-Driven Innovation,” CloudTweaks, Dec. 10, 2024. https://cloudtweaks.com/2024/12/googles-willow-quantum-chip-a-leap-toward-ai-driven-innovation (accessed Dec. 20, 2024).

[5] Y. Boger, “The dual-pronged energy-saving potential of quantum computers,” Data Center Dynamics, Jun. 23, 2023. https://www.datacenterdynamics.com/en/opinions/the-dual-pronged-energy-saving-potential-of-quantum-computers/ (accessed Dec. 20, 2024).

[6] PYMNTS, “Goldman Sachs: Just 6.1% of American companies using AI,” PYMNTS.com, Dec. 16, 2024. https://www.pymnts.com/artificial-intelligence-2/2024/goldman-sachs-just-6-1-percent-of-american-companies-using-ai/ (accessed Dec. 20, 2024).

[7] PYMNTS, “78% of CFOs plan to increase GenAI investments despite limited ROI,” PYMNTS.com, Nov. 19, 2024. https://www.pymnts.com/artificial-intelligence-2/2024/78-of-cfos-plan-to-increase-genai-investments-despite-limited-roi/ (accessed Dec. 20, 2024).

[8] “AI may start to boost US GDP in 2027,” Goldman Sachs, Nov. 07, 2023. https://www.goldmansachs.com/insights/articles/ai-may-start-to-boost-us-gdp-in-2027 (accessed Dec. 21, 2024).

[9] G. Bhutada, “Visualizing U.S. GDP by industry in 2023,” Visual Capitalist, Nov. 29, 2023.  https://www.visualcapitalist.com/visualizing-u-s-gdp-by-industry-in-2023/ (accessed Dec. 21, 2024).

[10] M. Zhuge et al., “Agent-as-a-Judge: Evaluate Agents with Agents”, arXiv [cs.AI]. 2024.