본문 바로가기
반응형

전체 글304

LoRA: Low-Rank Adaptation of Large Language Models 인공 지능과 기계 학습의 끊임없이 변화하는 풍경 속에서, 더 효율적이고 효과적인 모델 튜닝 방법을 찾는 탐구는 계속되고 있습니다. 주목받고 있는 한 가지 흥미로운 접근 방식은 LoRA, 즉 Low-Rank Adaptation입니다. LoRA는 특히 자원이 제한된 환경이나 대규모 데이터셋을 다룰 때 모델의 성능을 향상시키는 유망한 해결책을 제공합니다. LoRA 방법론의 핵심은 Low-Rank Decomposition입니다. 실제로, 이는 대규모 차원의 행렬 연산을 낮은 차원으로 분해하는 것을 포함합니다. Self-attention 연산을 고려해 보겠습니다. Self Attention에서는 행렬 연산을 사용하여 Q, K, V를 구성해야 합니다. Q, K, V를 생성하는 데 사용되는 행렬 W는 매우 고차원입니.. 2024. 3. 20.
독일에서 이자 4% 통장 갖기: TradeRepublic 독일 은행들의 이자율은 낮습니다. 학생이 아닌 경우에는 오히려 수수료를 지급해가며 돈을 맡겨야 하기도 합니다. COVID-19이후로 전 세계적으로 금리가 올라가며 그나마 인터넷 은행들은 예금 이자율이 올라가긴 했었지만 이제 다시 금리가 내려가고 있는 추세입니다. 이런 시기에 4%의 이자를 주는 곳이 있습니다. 바로 트레이드 리퍼블릭(TRADE REPUBLIC)입니다. 트레이드 리퍼블릭은 주식이나 코인투자를 주 업무로 하는 인터넷 은행입니다. 트레이드 리퍼블릭의 가장 큰 장점이라면 투자를 할 경우 세금 계산하기가 어려운데, 연말 정산을 위한 세금 정산서를 발급해주기 때문에 다른 브로커들보다 세금 계산하기가 정말 편합니다. 여기에 투자를 직접 하지 않더라도 예금의 5만 유로까지 연 4%에 해당하는 이자를 매.. 2024. 3. 18.
도이칠란드 티켓: 49유로로 독일 여행하기 독일은 철도가 정말 잘 깔려져 있는 나라입니다. 대도시들은 또한 지하철, 트램, 버스로 촘촘히 잘 구성되어 있습니다. 대중교통으로 여행하기 좋은 나라이지요. COVID-19 의 규제가 끝나가고 독일 내수 경제를 위해서 또한 환경보호를 위해서 독일은 대중교통 활성화를 위해 정책을 내놓습니다. 2022년 여름에 독일 정부는 9유로 티켓이라는 파격적인 프로모션을 실행했습니다. 한 달 동안 9유로라는 가격으로 독일 전역의 대중 교통을 이용할 수 있는 것입니다(단, ICE나 IC같은 장거리 기차 노선은 제외). 목적은 대중 교통의 사용을 장려하여 환경 보호에 기여하고, 생활비 부담을 줄이는 것이었습니다. 9유로 티켓은 단 3개월 동안만 한시적으로 운영되었지만 폭발적인 인기를 얻으며 주말에는 사람이 너무 붐벼 대중.. 2024. 3. 17.
[베를린] PlusAchtZwo(+82), 베를린의 새로운 한국식 술집 2023년 겨울, 베를린의 식당 지도에 새롭게 이름을 올린 PlusAchtZwo(+82)를 소개하고자 합니다. 이 식당의 이름이 단순하면서도 독특한 느낌을 주는 것은, 바로 +82라는 한국의 국가 코드를 사용함으로써, 한국식당임을 간결하면서도 명확하게 표현하고자 한 것으로 보입니다. 노이쾰른 지역에 위치해 있으며, 조금 외진 곳에 있지만, 그만큼 찾아가는 재미가 있는 곳입니다. https://maps.app.goo.gl/wmvdRj6AF47iQ3Gz7 Plus Acht Zwo (+82) · Richardstraße 107, 12043 Berlin, 독일 ★★★★★ · 한식당 www.google.com 식당의 내부 분위기는 마치 한국의 전통 포차를 연상케 합니다. 메뉴 구성 역시, 단순한 밥집이 아닌 술집.. 2024. 3. 13.
Git 브랜치 전략 Git 이란? Git은 속도와 효율성을 갖춘 소규모에서 매우 큰 프로젝트에 이르기까지 모든 것을 처리할 수 있도록 설계된 무료이자 오픈 소스 분산 버전 관리 시스템입니다. 2005년 리누스 토발즈에 의해 리눅스 커널의 개발을 지원하기 위해 만들어졌습니다. Git은 소프트웨어 개발 중 소스 코드의 변경 사항을 추적하면서 개발자들이 프로젝트의 다른 부분에서 동시에 작업할 수 있도록 함으로써 개발자 간의 협업을 용이하게 합니다. 분기(Branching)는 Git의 핵심 기능 중 하나입니다. 개발자는 분기를 생성하여 메인 프로젝트(보통 "master" 브랜치)로부터 독립적으로 새로운 기능이나 수정 사항을 작업할 수 있습니다. 분기에서의 작업이 완료되면, 그것을 메인 브랜치나 다른 브랜치로 병합할 수 있습니다. .. 2024. 3. 7.
AI 채팅을 내 컴퓨터에서 실행하기: LLAMA2 with Text generation web UI LLaMA (Large Language Model by Meta AI)는 Meta Platforms, Inc. (이전의 Facebook, Inc.)에 의해 개발된 대규모 언어 모델입니다. 이 모델은 자연어 처리(NLP) 분야에서 다양한 과제를 해결하기 위해 설계되었으며, 텍스트 생성, 이해, 요약, 번역, 질문 응답 등 다양한 언어 기반 작업을 수행할 수 있습니다. LLaMA는 다른 유명한 언어 모델들과 비슷한 트랜스포머 기반 아키텍처를 사용합니다. 트랜스포머 아키텍처는 주의 메커니즘(Attention Mechanism)을 통해 문장 내의 단어들 사이의 관계를 더 잘 이해하고, 이를 통해 문맥을 더 잘 파악하여 더 자연스러운 텍스트를 생성하거나 특정 질문에 대한 답변을 제공할 수 있습니다. Meta는 이.. 2024. 3. 7.
오스트리아 인스부르크(Innsbruck) 오스트리아, 인스부르크하면 어떤게 떠오르시나요? 알프스 산맥에 자리잡고 있는 도시로서 관광객들이 많은 도시이지만, 몇몇 패키지 여행에서 잠시 거쳐가는 도시 아니면 스위스 여행만 생각해서 뒤로 미뤄지는 도시 중 하니이지요. 하지만! 인스부르크는 오스트리아 서부에 위치한 도시로, 티롤 주의 주도입니다. 알프스 산맥에 둘러싸여 있어서 자연 경관이 아름답고, 겨울 스포츠와 하이킹, 마운틴 바이킹 등 다양한 야외 활동을 즐길 수 있는 곳으로 유명합니다. 인스부르크는 역사적으로도 중요한 도시로, 중세 시대부터 번영했으며, 그 흔적으로 많은 역사적 건축물과 명소들이 남아 있습니다. 특히나 알프스의 아름다운 경치를 보여주며 상대적으로 스위스에 비해 물가가 저렴해 더욱 인기가 많습니다. 역사적 명소 황금 지붕 (Gold.. 2024. 2. 13.
Selgros(독일 회원제 대형마트) 가입하기 Selgros라는 대형 마트를 아시나요? Metro 와 마찬가지로 회원제로 운영되는 사업자들을 위한 마트입니다. 따라서 가입할 때 Metro 와 마찬가지로 사업자 등록증등이 서류를 요구합니다. 하지만!! 일반 개인도 가입할 수 있는 길이 있습니다. 이전 Metro를 가입했던 방법과 같은 'nicht eingetragener Verein' 을 이용하면 가입을 할 수 있습니다. 해당 협회 설립 방법은 이전 글을 참고해 주세요(https://neyanara.tistory.com/164) Metro 의 경우 홈페이지에 명시적으로 'nicht eingetragener Verein'도 가입할 수 있다고 되어 있으나 Selgros는 해당 사항을 홈페이지에서 찾아볼 수 없었습니다. 따라서 안되는구나 생각했었는데 그래도.. 2023. 8. 25.
아마존의 AI 코드 자동 생성기 Amazon CodeWhisperer 설치 및 사용 최근 가장 핫한 이슈중 하나는 ChatGPT가 쏘아 올린 AI라고 생각됩니다. 이러한 시대 흐름에서 아마존이 프로그래밍 코드를 자동으로 생성해주는 CodeWhisperer를 무료로 풀었습니다. 유료버전에 비해 약간의 제약이 있긴하지만 일반 개인 사용자의 경우 거의 모든 기능을 사용할 수 있습니다. 잠깐 사용해보니 잘 쓰기만 한다면 상당히 도움이 되겠구나라는 생각이 듭니다만 아직까지는 ChatGTP마냥 일반인들이 막 접근할 수준은 되지 않습니다. 사용 방법은 기존의 IDE에 추가 기능으로 설치해서 바로 사용하실 수 있습니다. 현재 지원하는 IDE는 VisualStudio Code, IntelliJ IDEA, PyCharm, AWS Cloud9, AWS Lambda Console이며 지원하는 프로그래밍 언어.. 2023. 4. 25.
반응형

티스토리툴바