본문 바로가기
반응형

IT39

GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection 대규모 언어 모델(LLM) 훈련은 상당한 양의 메모리와 컴퓨팅 파워를 요구합니다. 예를 들어, LLaMA 7B 모델을 처음부터 사전 훈련하려면 단일 배치 크기에 최소 58GB의 메모리가 필요합니다. 이러한 메모리 문제를 완화하기 위해 등장한 한 방법은 Low-rank Adaptation (LoRA)입니다. 이 접근 방식은 각 계층에 훈련된 Low-rank 행렬을 추가함으로써 파라미터의 수를 줄입니다. 그러나, 이 방법은 Low-rank subspace 내에서 파라미터 검색을 제한하고, 학습을 다이나믹하게 변경하며, full-rank 의 웜 스타트를 필요로 할 수 있어, full-rank 가중치로 훈련했을 때보다 열등한 성능을 초래할 수 있습니다. GaLore: Gradient Low-Rank Projec.. 2024. 3. 26.
스파크(Spark) 최적화하기 스파크(Spark)란 무엇인가? 아파치 스파크(Apache Spark)는 클러스터 환경 내에서 병렬 데이터 처리를 위해 설계된 일련의 라이브러리와 함께하는 통합 컴퓨팅 엔진입니다. 병렬 처리를 위한 가장 활발하게 개발되는 오픈소스 엔진으로서, 스파크는 빅 데이터 작업에 참여하는 개발자들과 데이터 과학자들 사이에서 표준 도구로 빠르게 부상하고 있습니다. 스파크는 파이썬, 자바, 스칼라, R과 같은 인기 있는 프로그래밍 언어와 호환되며, SQL부터 스트리밍, 머신러닝에 이르기까지 다양한 기능을 다루는 광범위한 라이브러리를 제공합니다. 스파크는 다양하게 활용될 수 있으며, 단일 노트북에서부터 수천 대의 서버로 구성된 광대한 클러스터에 이르기까지 다양한 환경에서 운영될 수 있습니다. 이러한 기능을 활용함으로써 .. 2024. 3. 21.
Git 브랜치 전략 Git 이란? Git은 속도와 효율성을 갖춘 소규모에서 매우 큰 프로젝트에 이르기까지 모든 것을 처리할 수 있도록 설계된 무료이자 오픈 소스 분산 버전 관리 시스템입니다. 2005년 리누스 토발즈에 의해 리눅스 커널의 개발을 지원하기 위해 만들어졌습니다. Git은 소프트웨어 개발 중 소스 코드의 변경 사항을 추적하면서 개발자들이 프로젝트의 다른 부분에서 동시에 작업할 수 있도록 함으로써 개발자 간의 협업을 용이하게 합니다. 분기(Branching)는 Git의 핵심 기능 중 하나입니다. 개발자는 분기를 생성하여 메인 프로젝트(보통 "master" 브랜치)로부터 독립적으로 새로운 기능이나 수정 사항을 작업할 수 있습니다. 분기에서의 작업이 완료되면, 그것을 메인 브랜치나 다른 브랜치로 병합할 수 있습니다. .. 2024. 3. 7.
AI 채팅을 내 컴퓨터에서 실행하기: LLAMA2 with Text generation web UI LLaMA (Large Language Model by Meta AI)는 Meta Platforms, Inc. (이전의 Facebook, Inc.)에 의해 개발된 대규모 언어 모델입니다. 이 모델은 자연어 처리(NLP) 분야에서 다양한 과제를 해결하기 위해 설계되었으며, 텍스트 생성, 이해, 요약, 번역, 질문 응답 등 다양한 언어 기반 작업을 수행할 수 있습니다. LLaMA는 다른 유명한 언어 모델들과 비슷한 트랜스포머 기반 아키텍처를 사용합니다. 트랜스포머 아키텍처는 주의 메커니즘(Attention Mechanism)을 통해 문장 내의 단어들 사이의 관계를 더 잘 이해하고, 이를 통해 문맥을 더 잘 파악하여 더 자연스러운 텍스트를 생성하거나 특정 질문에 대한 답변을 제공할 수 있습니다. Meta는 이.. 2024. 3. 7.
반응형

티스토리툴바