헬창 개발자

arXiv 2025. [Paper] [Github]Niklas Muennighoff, Zitong Yang, Weijia Shi, Xiang Lisa Li, Li Fei-Fei, Hannaneh Hajishirzi, Luke Zettlemoyer, Percy Liang, Emmanuel Candès, Tatsunori HashimotoStanford University | University of Washington | Allen Institute for AI | Contextual AI31 Jan 2025개요해당 논문은 Test-time scaling이라는 개념을 활용하여 언어 모델의 성능 향상시키는 방법을 탐구한다. 최근 OpenAI의 o1모델이 이 기술을 사용하여 뛰어난 성능을 보였으나, 구체적인 ..

🤔들어가기전에 알고가기1. DeepSeek-V3 개요DeepSeek-V3는 671B(6710억) 개의 총 파라미터를 가진 Mixture-of-Experts (MoE) 기반 대규모 언어 모델이다. 하지만 한 번의 토큰 예측 시 활성화되는 파라미터는 37B로 효율성을 극대화하였다.주요 특징:Multi-Head Latent Attention (MLA): 메모리 절약과 빠른 추론을 위한 새로운 주의(attention) 기법DeepSeekMoE with Auxiliary-Loss-Free Load Balancing: 부가적인 손실(auxiliary loss) 없이 부하 균형(load balancing)을 유지하는 새로운 MoE 아키텍처Multi-Token Prediction (MTP): 여러 개의 토큰을 한 번..

✅개요Phi-4 모델: 14억 파라미터의 언어 모델로, 데이터 품질에 중점을 둔 새로운 학습 방식을 적용.기존 Phi-3 모델의 구조를 기반으로 개발되었으나, 합성 데이터의 활용 및 사후 학습(post-training) 혁신을 통해 성능을 크게 개선.주요 목표: 추론 및 문제 해결 능력을 강화한 모델 제공.phi-4의 개발은 세 가지 핵심 기둥에 의해 진행됨.사전 훈련 및 중간 훈련을 위한 합성 데이터고품질 유기 데이터의 큐레이션 및 필터링SFT 데이터 세트의 새로운 개량된 버전과 핵심 토큰 검색을 기반으로 DPO 쌍을 생성하는 새로운 기술을 개발💡정리  비교 대상Phi-4, Phi-3, GPT-4o, GPT-4o-mini, Qwen 2.5, Llama-3.3결과Phi-4는 MATH(80.4), GPQ..

핵심 개념Graph RAG (Retrieval-Augmented Generation)대규모 언어 모델(LLM)이 전체 문서 집합에 대한 질문에 답변하기 위해, 지식 그래프를 생성하고 이를 활용해 질의 중심 요약(Query-Focused Summarization)을 수행하는 새로운 접근법기존 RAG의 한계지역적 텍스트 추출은 전체 문서 요약을 다루기에 충분하지 않음LLM의 컨텍스트 윈도우 크기 제한으로 인해 텍스트의 중요한 정보 손실제안된 해결책그래프 기반 지식 인덱스를 생성하고 커뮤니티 탐지 알고리즘(Leiden)을 적용해 효율적이고 종합적인 응답 제공문제 의식기존 RAG는 Chunk 단위로 전체 맥락을 가져오기 때문에, 전체 맥락을 가져오지 못 할 수도 있고, 전체 코퍼스에 대한 질의 중심의 추상적인 ..

윈도우(Host) WSL Docker 위와 같은 환경으로 웹 서버를 열어 통신을 하려고 서버를 열었지만, localhost:8888은 통신이 되지만, 내 아이피:8888은 통신이 안되는 현상을 겪었다. 도커 브릿지 문제인가 확인을 했지만 이상이 없었고 Docker IP:8888, WSL IP:8888 도 접속이 가능했다. 나중에 패킷을 분석해보니 윈도우(Host) WSL 이 통신이 안되고 있었다. 그러다가 포트를 8000번으로 바꿔서 통신이 되는걸 보고.. 아하 포트 포워딩을 안해줬구나 하고 깨달았다. 그래서 이 글은 윈도우 powershell 환경에서 wsl로 포트 포워딩을 하는 방법을 알려주는 글 이다.먼저 호스트에서 포트 포워딩 상태를 확인 해 보자netsh interface portproxy..

FastAPI를 사용한 파일 처리 (업로드/다운로드)FastAPI는 비동기 기반의 빠르고 유연한 웹 프레임워크로, 파일 업로드 및 다운로드와 같은 기능을 쉽게 구현할 수 있습니다. 이 글에서는 파일 업로드와 다운로드를 FastAPI를 통해 구현하는 방법을 알아보고, 파일 처리 시 UUID를 활용해 중복되지 않는 파일명을 만드는 방법까지 설명하겠습니다.FastAPI 파일 업로드의 기본 개념FastAPI에서 uploadFile 이라는 타입을 사용하여 파일을 처리합니다. 이 클래스는 파일 이름, 내용, 메타데이터 등을 관리할 수 있게 해줍니다. 이를 통해 비동기 방식으로 파일을 처리하므로 효율적이고 빠릅니다.예제파일 업로드import osimport shutilfrom uuid import uuid4from ..

데이터를 다루다 보면 사용자가 입력하는 값이 의도한 범위 내에서 유효한지 검증하는 작업이 필수적다.이를 위해 Python에서는 pydantic이라는 아주 유용한 라이브러리를 제공한다. Pydantic은 Python에서 데이터 검증 및 설정을 쉽게 할 수 있도록 도와주는 라이브러리이다. Pydantic은 Python의 타입 힌트를 활용하여 데이터의 유효성을 검사하고, 자동으로 변환하며, 데이터 모델을 정의하는 데 유용하다. 주로 FastAPI와 함께 사용되며, 데이터 모델을 정의하고 검증하는 데 강력한 도구로 기능하다.  Installation pip install pydanticImportfrom datetime import datetimefrom typing import List, Optionalfro..

다음 내용은 Llama 3.1 기준으로 작성 되었습니다. 추론 메모리 요구 사항추론의 경우 메모리 요구 사항은 모델 크기와 가중치의 정확도에 따라 달라진다.다음은 다양한 구성에 필요한 대략적인 메모리를 보여주는 표이다.모델 크기FP16FP8INT48B16 GB8 GB4 GB70B140 GB70 GB35 GB 405B810 GB405 GB203 GB참고: 위에 인용된 숫자는 모델 체크포인트를 로드하는 데 필요한 GPU VRAM을 나낸다. 예를 들어, H100 노드(8x H100)는 약 640GB의 VRAM을 가지고 있으므로 405B 모델은 다중 노드 설정에서 실행하거나 더 낮은 정밀도(예: FP8)에서 실행해야 하며, 이것이 권장되는 접근 방식임. 낮은 정밀도(예: INT4)는 정확도가 다소 떨어질 수 있..

LLM(대규모 언어 모델, Large Language Model)을 특정 도메인에 효과적으로 적용하기 위해서는 몇 가지 중요한 방법론과 고려사항이 있다. 각 도메인에 맞는 최적의 방법을 선택하는 것이 중요한데, 아래 표를 봐보면 비용측면에서는 파인튜닝 비용이 비싸지만 성능은 그만큼 값을하는 결과를 보인다. 다만 매번 업데이트를 해줘야하기에 rag 방법을 썩어줄 필요가 있다. SK TECH SUMMIT 2023에서 발표된 내용으로. PEFT와 RAG PoC를 각각 진행한 결과, PEFT 단독 사용 시 데이터 수가 많아질수록 정답 비율이 증가하는 경향을 확인했지만, 지속적인 fine-tuning이 필요하고 망각 대응이 어려우며 원본 위치나 첨부파일 제공이 어렵다는 한계로 RAG 결합이 필요하다는 결과가 도출..

최근 웹 개발의 트렌드는 빠르고 효율적인 API 개발로 이동하고 있다. 그 중에서도 LLM 모델 서빙에서는 FastAPI는 특히 주목받고 있는 프레임워크이다. FastAPI는 빠른 개발 속도와 높은 성능을 자랑하며, API 설계와 문서화에서 많은 장점을 제공한다.FastAPI란 무엇인가?FastAPI는 Python 3.6 이상을 지원하며, 비동기 프로그래밍을 통해 높은 성능을 자랑하는 웹 API 프레임워크다. Starlette과 Pydantic을 기반으로 구축된 FastAPI는 다음과 같은 주요 특징을 가지고 있다.빠른 성능: FastAPI는 비동기 프로그래밍을 지원하여 매우 빠른 응답 속도를 제공. 이는 고성능 웹 애플리케이션을 구축하는 데 큰 장점이 됨.자동화된 문서화: FastAPI는 Swagger..