헬창 개발자

Langchain의 여러가지 기능 중에 하나로 다양한 문서 분할 옵션을 제공합니다. 이를 통해 사용자는 대용량 문서를 더 작고 관리 가능한 덩어리로 나눌 수 있습니다. 다음은 LangChain의 문서 분할의 주요 기능과 예시입니다. LangChain의 문서 분할 주요 기능 CharacterTextSplitter기능: 기본적인 문자 기반 텍스트 분할기.설명: 주어진 텍스트를 문자 수를 기준으로 분할합니다.from langchain.text_splitter import CharacterTextSplittersplitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=20)chunks = splitter.split_text(text)for chunk in ..

1. nvidia-smi2. nvcc --version CUDA는 2개의 API를 가지고 있는데, 하나는 runtime API이고 다른 하나는 driver API이다.각 API가 각자의 version을 가지고 있다.nvidia-smi 의 CUDA는 runtime API를 나타내며, GPU 드라이버에 의해 설치된다.nvcc의 CUDA는 CUDA toolkit에 의해 설치된다.설치한 CUDA 버전을 확인하는건 2. nvcc --version 명령어가 옳다.* 만약  nvcc --version 명령어가 안될 경우 CUDA toolkit 을 설치해 줘야 한다.  호환되는 버전은 아래 링크 참고 Wikiwand - CUDAIn computing, CUDA is a proprietary parallel comput..

키워드 검색 (Keyword Search)시나리오 사용자가 "AI 산업혁명"을 검색합니다.결과 Keyword Search 엔진은 'AI'와 '산업혁명'이라는 단어가 포함된 문서를 찾습니다. 결과는 AI에 관한 일반적인 기사, 산업혁명에 대한 역사적 기사, 또는 단순히 'AI'와 '산업혁명'이라는 단어가 포함된 모든 문서가 될 수 있습니다. 예를 들어,“AI 기술의 최신 동향”이나 “19세기 산업혁명의 역사”와 같은 문서가 검색 결과에 포함될 수 있습니다.의미 검색 (Semantic Search)시나리오동일하게 사용자가 "AI 산업혁명"을 검색합니다.결과Semantic Search 엔진은 'AI'와 '산업혁명'의 결합된 의미와 사용자의 의도를 파악하려고 시도합니다.이 경우, 결과는 AI가 현재 산업에 어떤..

LCEL (LangChain Expression Language) LCEL은 Generative AI 애플리케이션 또는 LLM 체인 개발을 추상화하는 접근 방식으로 볼 수 있습니다. LCEL의 다양한 구성요소는 파이프 기호( |)로 구분된 순서대로 배치됩니다. 체인 또는 LCEL은 왼쪽에서 오른쪽으로 실행됩니다. 체인의 간단한 예는 다음과 같습니다. chain = prompt | model | output_parser from langchain_core.output_parsers import StrOutputParserfrom langchain_core.prompts import ChatPromptTemplateprompt = ChatPromptTemplate.from_template("tell me a..

사전 지식강화학습 딥러닝 (8) - [RL1] 강화학습(Reinforcement Learning)이란?Writer: Harim Kang 해당 포스팅은 '시작하세요! 텐서플로 2.0 프로그래밍'책의 흐름을 따라가면서, 책 이외에 검색 및 다양한 자료들을 통해 공부하면서 정리한 내용의 포스팅입니다. 해당 내용은 강davinci-ai.tistory.comGPT 구조 GPT (Generative Pre-trained Transformer) 학습시키기들어가며 오늘은 Generative Pre-trained Transformer (GPT) 의 구조에 대해 자세히 글을 써보려고 한다. 아래의 링크들은 참고하면 좋을만한 사이트들이다. 특히 유튜브 영상은 ETRI 임준호 박사님이 GPT-3에ainote.tistory.c..

LLM(Large Language Models, 대규모 언어 모델)을 기반으로한 대화형 챗봇 시스템이 우리의 일상 생활에서 더욱 중요한 역할을 하고 있다. 그러나, 많은 챗봇 시스템은 사용자의 요구에 부합하는 정보를 제공하는데 한계가 있고, 더 나아가 사용자 맞춤형 질의응답을 제공하는데 거짓정보, 최신정보 처리의 어려움을 겪고 있다. 또한 AI의 학습 및 생성 과정에서 생겨나는 할루시네이션(Hallucination)은 중요한 문제 중 하나다. 할루시네이션은 AI 모델이 특정 주제에 대해 현실과 무관한, 가끔은 사실과 다른 정보를 생성하는 현상을 지칭한다. 이는 모델이 학습한 데이터의 부족, 모순된 정보, 혹은 문맥 파악의 어려움에 기인할 수 있다. 이런 문제점을 해결하기 위해서는 왜 그런 결과물이 생성됐..

https://www.youtube.com/watch?v=oE2Ud4-MAK0 연구실에서 교수님이 크림 크롤링 코드를 작성해달라고 하셔서 구현을 하는중에 크림 사이트는 get 방식으로 데이터를 업데이트 한다. 동적 사이트 크롤링으로 코드를 수정중에 selenium이 버전이 업그레이드 되고 문법이 많이 바뀌여서 챗쌤, 바쌤을 이용했지만 성과가 없었다. 열심히 구글링을 하면서 다른 사람 코드를 이리쓰고 저리써봐도 내부 창 스크롤을 내리는 방법이 없었다. 더구나 크림은 내부 창 스크롤을 내릴려면 키보드는 안먹고 마우스 휠로만 내려야 한다. 마지막 희망으로 공식문서를 봐볼까 했는데 다음 같은 코드가 있는것이다 설마 되겠어 ?? 했는데 됐다 ㅜㅜ 구글링을 해보니까 버전업이 돼서 나처럼 해메고 있는 사람이 있을까봐..

https://github.com/whcksdud/board 전체 프로젝트는 해당 깃허브에서 다운 가능합니다 GitHub - whcksdud/board Contribute to whcksdud/board development by creating an account on GitHub. github.com Spring Initializr로 Spring Boot 프로젝트 생성하기 https://start.spring.io/ 스프링부트 버전은 3.1.2 자바는 17 버전을 사용한다. 의존성은 다음 처럼 추가하자 파일을 다운받아서 인텔리제이로 열면 위 처럼 프로젝트 구조가 만들어 진다. 그러면 src 폴더 내부를 다음 처럼 구조화 하자 (jsp, js, css 파일은 깃허브에서 다운) 그리고 applicatio..

pip install pystan pip install plotly pip install prophet (에러시) conda install -c conda-forge conda conda install -c conda-forge prophet pip install --upgrade plotly 이후 from prophet import Prophet 선언

도커란? 도커 : 컨테이너 기술을 기반으로 한 가상화 플랫폼, 즉 독립된 환경을 만들어서 하드웨어를 효율적으로 활용하는 기술 가상화와 컨테이너 도커의 분할된 가상 머신들은 각각 독립적인 환경으로 구동됩니다. 이 때 베이스가 되는 기존의 환경을 Host OS, 그리고 가상 머신으로 분할된 각각의 환경을 Guest OS라고 부릅니다. 가상화 : 물리적 자원인 하드웨어를 효율적으로 활용하기 위해서 하드웨어 공간위에 가상의 머신을 만드는 기술 컨테이너 : 컨테이너가 실행되고 있는 호스트 os의 기능을 그대로 사용하면서 프로세스를 격리해 독립된 환경을 만드는 기술 가상 머신을 생성하기 위해서는 하이퍼바이저라는 소프트웨어를 사용합니다. 하이퍼바이저는 호스트 하드웨어에 설치되어 호스트와 게스트를 나누는 역할을 하고,..