newsie11 [Fortnightly Tech Digest] October-November Crossover 10월 5주차~11월 1주차 주요 뉴스Trump's Gov & AI빅테크의 mixed blessing: the good, the bad, and the ugly future of AICLEAR: Multimodal Machine Unlearning BenchmarkData Poisoning in LLMs: Jailbreak-Tuning and Scaling Laws글이 점점 길어지니까 입맛에 맞는 섹션만 골라서 읽어도 좋은.. 응집성이라곤 찾아볼 수 없는 뉴스레터ㅜㅜThe States' Election & AI's Future현지 시간으로 11월 5일 미국의 대선이 있었는데요, 사전 여론조사에서 해리스와 트럼프의 '박빙'을 예상했던 것과 달리 24시간도 채 되지 않아 트럼프의 압승으로 끝났어요. 사실 대.. 2024. 11. 8. [Fortnightly Tech Digest] October's Second Half 10월 3-4주차 주요 뉴스빅테크의 원전 투자OpenAI의 MLE-BenchState of AI Report 2024MedNIST Dataset & BenchmarkBig Tech on Nuclear Power*이 단락은 데일리 뉴스레터 The Neuron의 내용을 참고하여 작성했습니다.아시다시피 AI는 엄청난 양의 전력을 필요로 하는 기술입니다. GPT-3를 한 번 학습시키는 데 필요한 전력량은 130개의 가정에서 1년 동안 사용하는 전력량과 맞먹는다고 하죠[1]. 그래서 GPU 대신 FPGA, ASIC 등의 연산장치가 최근에 주목을 받기도 했고, 모델도 175B이었던 GPT-3에 비해 최근까지도 가벼운 모델들이 출시되었어요. 요즘은 MoE로 전력 소모를 최소화하되 파라미터 수를 늘리는 기법을 사용한대.. 2024. 10. 26. [Fortnightly Tech Digest] October's First Half 10월 1-2주차 주요 테크 뉴스:Liquid Foundation Models (LFMs) releasesCross capabilities of LLMs by MetaDepth Pro by AppleNobel Prize goes to AI researchersLiquid Foundation Models기술보고서: https://www.liquid.ai/liquid-foundation-models 스타트업 Liquid AI가 개발 중인 Liquid Neural Network(이하 LNN)는 연속적인 데이터 —시계열 데이터를 비롯한 영상, 텍스트, 신호, … 등등— 를 좀 더 효율적으로 처리할 수 있도록 개발된 범용적인(general-purpose) 모델이라고 합니다. Liquid는 액체를 의미하는데, 이름.. 2024. 10. 12. Mixture of Experts 요즘 뜨는 LLM 소식~ Mixture of Experts (MoE)! REFhttps://huggingface.co/blog/moehttps://taewan2002.medium.com/mixture-of-experts-with-expert-choice-routing-5f829b36448dLLM의 발전은 GPT 등장 이후 scale-up을 하다가(대표적인 예가 PaLM 등등..), 자원을 너무 잡아먹는 것 때문에 다시 모델을 scale-down 했었습니다. 그 era에 등장한 아이들이 아마.. Llama, gemma, mistral 같은 아이들이었던 것 같아요. 이 자원 문제를 계속 태클하면서 최근에 주목을 받고 있는 방법이 Mixture of Experts인 것 같군요~.~ 이 방법론이 제안된 건 좀 .. 2024. 7. 18. KAN: Kolmogorov-Arnold Network 흐헣ㅎ 마크다운으로 수업 내용 정리하는 거 질려버려서 한동안 블로그에 글 안 씀..그러나 AI 대학원 지망생은 AI 소식에 항상 up-to-date한 상태여야 하기 때문에! 따끈따끈한 소식 들고 왔습니다. 지금까지의 패러다임 모델이었던 multi-layer perceptron 대신, 새로운 구조의 신경망을 MIT에서 발표했대요. 뭔지 한번 살펴나봅시다~!논문: https://arxiv.org/abs/2404.19756Overview뭔가 학자들의 이름이 붙었다는 건.. 왠지.. 누군가가 정립한 공식(formula)나 정리(theorem)를 구현한 것 같은 스멜이 나네요.우와 아니나다를까.. https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Arnold_represent.. 2024. 5. 19. 이전 1 2 다음
