본문 바로가기
반응형

AI3

LoRA: Low-Rank Adaptation of Large Language Models 인공 지능과 기계 학습의 끊임없이 변화하는 풍경 속에서, 더 효율적이고 효과적인 모델 튜닝 방법을 찾는 탐구는 계속되고 있습니다. 주목받고 있는 한 가지 흥미로운 접근 방식은 LoRA, 즉 Low-Rank Adaptation입니다. LoRA는 특히 자원이 제한된 환경이나 대규모 데이터셋을 다룰 때 모델의 성능을 향상시키는 유망한 해결책을 제공합니다. LoRA 방법론의 핵심은 Low-Rank Decomposition입니다. 실제로, 이는 대규모 차원의 행렬 연산을 낮은 차원으로 분해하는 것을 포함합니다. Self-attention 연산을 고려해 보겠습니다. Self Attention에서는 행렬 연산을 사용하여 Q, K, V를 구성해야 합니다. Q, K, V를 생성하는 데 사용되는 행렬 W는 매우 고차원입니.. 2024. 3. 20.
AI 채팅을 내 컴퓨터에서 실행하기: LLAMA2 with Text generation web UI LLaMA (Large Language Model by Meta AI)는 Meta Platforms, Inc. (이전의 Facebook, Inc.)에 의해 개발된 대규모 언어 모델입니다. 이 모델은 자연어 처리(NLP) 분야에서 다양한 과제를 해결하기 위해 설계되었으며, 텍스트 생성, 이해, 요약, 번역, 질문 응답 등 다양한 언어 기반 작업을 수행할 수 있습니다. LLaMA는 다른 유명한 언어 모델들과 비슷한 트랜스포머 기반 아키텍처를 사용합니다. 트랜스포머 아키텍처는 주의 메커니즘(Attention Mechanism)을 통해 문장 내의 단어들 사이의 관계를 더 잘 이해하고, 이를 통해 문맥을 더 잘 파악하여 더 자연스러운 텍스트를 생성하거나 특정 질문에 대한 답변을 제공할 수 있습니다. Meta는 이.. 2024. 3. 7.
아마존의 AI 코드 자동 생성기 Amazon CodeWhisperer 설치 및 사용 최근 가장 핫한 이슈중 하나는 ChatGPT가 쏘아 올린 AI라고 생각됩니다. 이러한 시대 흐름에서 아마존이 프로그래밍 코드를 자동으로 생성해주는 CodeWhisperer를 무료로 풀었습니다. 유료버전에 비해 약간의 제약이 있긴하지만 일반 개인 사용자의 경우 거의 모든 기능을 사용할 수 있습니다. 잠깐 사용해보니 잘 쓰기만 한다면 상당히 도움이 되겠구나라는 생각이 듭니다만 아직까지는 ChatGTP마냥 일반인들이 막 접근할 수준은 되지 않습니다. 사용 방법은 기존의 IDE에 추가 기능으로 설치해서 바로 사용하실 수 있습니다. 현재 지원하는 IDE는 VisualStudio Code, IntelliJ IDEA, PyCharm, AWS Cloud9, AWS Lambda Console이며 지원하는 프로그래밍 언어.. 2023. 4. 25.
반응형