LEC03 Agentic AI Frameworks & AutoGen / Building a Multimodal Knowledge Assistant (Chi Wang & Jerry Liu)

하 연사들 라인업 무슨 일이지.. 각각 DeepMind와 LlamaIndex에서 나오심ㅜㅜ

Agentic AI Frameworks & AutoGen w/ Chi Wang

영상 초반에 AI agent로 huggingface 모델 explore&download하는 웹사이트 만드는 거 보여줬다.. 진짜 미친 듯

Agentic AI Framework로 기대하는 건 다음과 같다:

출처: lecture slide by Wang

유저의 프롬프트가 주어지면 commander, writer, 그리고 safeguard처럼 여러 agent간의 interaction —role-playing이라고도 하는 듯— 으로 구성되는 프레임 워크 => 사람의 개입 없이도 직관적인 프로그램 구조로 자동화를 가능하게 함!

 

연사 Wang은 특히 agentic programming, 즉 agent가 프로그래밍 코드 짜주는 상황을 강의 주제로 다루고 있는데, Agent들이 복잡한 알고리즘도 잘 짠다고..합니다... 그리고 여러 agent들 사이에서의 orchestration (한국어로 지휘라고 하나?) 도 가능해서 자동화 시스템으로 구현이 가능.

 

심지어는 이런 agent system을 자동으로 만들어주는 AutoBuild라는 것도 나왔다고 한다

Agent AutoBuild - Automatically Building Multi-agent Systems | AutoGen

아이디어 좋은 듯,, 유저가 시킨 task가 담긴 프롬프트에 따라서 어떤 agent가 필요한지 분석, 이에 따라 agent를 만들고 서로 role-playing 해가며 task execution까지 진행하는 데 LLM만 있으면 다 가능하니까..

Building an Multimodal Knowledge Assistant w/ Jerry Liu

Liu씨의 발표는 llamaindex의 기술 홍보(?)나 다름 없어서 그냥 Llamaindex 찾아본 내용을 쓰자면.. LlamaIndex는 LLM+Data 프레임워크라고 할 수 있는데, close-sourced 데이터를 가지고 LLM을 연결해 다양한 작업을 할 수 있도록 하는 플랫폼임

 

홈페이지: https://www.llamaindex.ai/

LlamaIndex, Data Framework for LLM Applications

RAG를 위해 많이 사용되긴 하지만 역시 이 툴을 가지고도 agentic system을 구현할 수 있단다. 아래 네 개에 대해 다루고 있음:

1. High-quality multi-modal RAG
2. Complex output generation
3. Agentic reasoning over complex input
4. Towards a scalable, full-stack application

최근에 document parser인 LlamaParse를 출시하면서 hallucination에 더 강해진 RAG가 가능해졌다고 함

나는 항상 pdf 등에 있는 이미지와 테이블 이런 것들을 어떻게 잘 벡터화 할 수 있을지 궁금했는데 문서 자체를 이런 요소들로 구분지어서 나누고 각각에 대한 text representation을 생성한다고 함 

 

Agentic RAG: agent가 rag나 sql 툴을 활용해 복잡한 질문에도 준수한 응답을 할 수 있는 'personalized' QA 시스템 구현

contrained랑 unconstrained 형태가 있는데, 후자가 query에 retrieve된 데이터에 국한되지 않고 자유롭게 응답 생성을 할 수 있는 조건인가봄

 

full-stack application에 관하여서는.. 

아직 ongoing인가봄~.~ 아무튼 이를 위한 llama-deploy를 소개했는데: https://www.llamaindex.ai/blog/introducing-llama-deploy-a-microservice-based-way-to-deploy-llamaindex-workflows

Introducing llama-deploy, a microservice-based way to deploy LlamaIndex Workflows — LlamaIndex, Data Framework for LLM Applica

흠터레스팅..