본문 바로가기

전체 글

(51)
삶의 지도_계속 불안해할렵니다 새벽에도 일어나게 하는 짜증나는 불안감나는 어렸을 때부터 유독 불안감이 많은 편이었다. 손톱을 물어뜯는 것은 당연하고 초등학교 2학년 때부터는 자다가 새벽에 깨서 교과서가 등교 가방 안에 순서대로 정렬되어 있는지 확인하는 습관이 생길 정도였다. 여행을 가도, 영화를 봐도, 축구를 해도, 나의 불안감이 해소되지 않기 때문에 지금까지도 마땅한 취미생활이 없다. 고등학생 때는 나의 불안감을 증오했다. 중간고사나 기말고사가 끝나도 수능이 불안해서 시험이 끝난 날에도 다른 아이들과 PC방이나 노래방을 가지 않고 독서실로 향한 내가 원망스럽기도 했다. 대학생이 되고 나서도 나의 불안감을 지우거나 해소하는 방법을 찾지 못했다. 수많은 불안 해소 방법론을 옛날부터 찾았기 때문에 20대부터는 TV나 신문에서 스트레스 줄..
AWS Bedrock : Prompt Engineering Labs 저번 글에 이어서 이번에는 Prompt Engineering Labs를 구현할 것이다. 프롬프트 엔지니어링(Prompt Engineering)은 LLM과 소통하는 기술이다. 즉, 응답을 생성하기 위해 모델에 보내는 메시지라고 할 수 있다. 프롬프트 엔지니어링에는 크게 Word Choice (단어 선택), Phrasing (문구), Providing addtional information (추가 정보 제공), Providing examples (예제 제공) 등을 포함하기도 한다. 지금 구현할 모델을 통해 프롬프트를 실험하고 그 결과를 비교할 수 있다.  Run the prompt app시작하기 위해서는 AWS Cloud9에서 프롬프트 앱을 실행시켜야 한다. cd ~/environment/workshop/c..
AWS Bedrock : Chatbot with RAG 만들기 나의 테크 역량을 개선하고 프로덕트의 완성도를 높이기 위해 할 수 있는 것들을 생각해보다가 AWS Bedrock을 직접 사용해보면 좋다는 생각을 했다. 따라서, Bedrock을 사용해 간단한 챗봇을 만들고자 한다. 실제로 다른 부서나 외부 파트너사에게 우리 부서에 대한 프로젝트를 문의할 때 약간의 피곤함을 느끼는데 챗봇 링크 하나 던져주고 해결할 수 있을 것 같아 챗봇을 만들기로 결정했다.  AWS Bedrock은 Meta, Mistral, Anthropic 같은 AI 회사의 다양한 고성능 FM을 단일 API를 통해 제공하는 관리형 서비스이다. 이 서비스를 통해 생성형 AI 어플리케이션을 구축하는 데 필요한 기능 세트를 활용할 수 있다. AWS Bedrock을 사용하기 전에 기본적인 세팅이 필요하지만 A..
R 공부 (8편) - 쉽게 배우는 R 데이터 분석 지도 시각화지역별 통계치를 색깔의 차이로 표현한 지도를 '단계 구분도'라고 한다. 단계 구분도를 보면 지역별 특성이 어떻게 다른지 쉽게 이해할 수 있다.  미국 주별 강력 범죄율 데이터를 이용해서 단계 구분도를 만들어보겠다. 필요한 데이터 전처리 과정은 생략하겠다. 단계 구분도는 'ggiraphExtra' 패키지를 이용해서 만들 수 있다. 또한, 미국 주별 위경도 데이터가 들어있는 'maps' 패키지를 사용하겠다. install.packages("ggiraphExtra")library(ggiraphExtra)library(ggplot2)states_map  'ggChoropleth' 를 이용해 단계 구분도를 만들어봤다.  추가로, 마우스 움직임에 반응하는 인터랙티브 단계 구분도는 ggChoropleth(..
Sementic Search (시맨틱 검색)_토스는 똑똑해 시멘틱 검색?시맨틱 검색은 사용자의 검색 의도를 이해하고 자연어의 의미를 기반으로 검색 결과를 제공하는 기술이다. 이는 단순한 키워드 매치에 의존하지 않고, 문맥과 의미를 파악하여 더 정확한 정보를 제공하려는 접근 방식이다. 간닥하게 자동 원리로는자연어 처리와 AI 기술을 활용하는데 사용자가 입력한 질의의 의미를 이해한다고 보면 된다.  실제로, 우리가 실생활에서 사용하는 앱들에서 시맨틱 검색이 적용된 사례를 찾아볼 수 있다. 대표적으로, 금융 앱에서 쉽게 확인할 수 있다. 금융 앱에서 다루는 용어들은 기본적으로 일반 사용자들이 어려워하는 경우가 많다. 때문에 시맨틱 검색 같이 사용자가 의도하는 검색 결과를 유추해서 앱 사용의 불편성을 느끼지 않게 하는 것이 중요하다.  토스 VS 카카오페이'카카오페이'..
R 공부 (7편) - 쉽게 배우는 R 데이터 분석 문자로 된 데이터에서 가치 있는 정보를 얻어 내는 분석 기법을 '텍스트 마이닝'이라고 한다. 텍스트 마이닝을 하기 전에는 '형태소 분석'을 하는데, '형태소 분석' 이란 문장을 구성하는 어절들이 어떤 품사로 되어 있는지 파악하는 것이다. 따라서, '형태소 분석' 으로 어절들을의 품사를 파악하고 품사의 단어들을 추출한 다음 얼마나 많이 등장했는지를 확인할 수 있다.  먼저, 필요한 패키지들을 설치 및 확인한다. 그 다음 extractNoun() 함수를 사용해서 명사를 추출한다. # 필요한 라이브러리 설치 및 로드install.packages("multilinguer")library(multilinguer)install_jdk()# KoNLP의 의존성 패키지 설치install.packages(c("strin..
R 공부 (6편) - 쉽게 배우는 R 데이터 분석 '한국복지패널데이터' 사용한 데이터 분석을 하겠다. 한국복지패널데이터는 한국보건사회연구원에서 가구의 경제활동을 연구한 자료로 경제 활동, 생활 실태, 복지 욕구 등 천여 개의 변수로 구성되어 있다.  필요한 데이터는 한국복지패널 사이트에서 다운 받으면 된다. install.packages("foreign") # foreign 패키지 설치library(foreign) # SPSS 파일 로드library(dplyr) # 전처리library(ggplot2) # 시각화library(readxl) # 엑셀 파일 불러오기# 데이터 불러오기file_path   필요한 패키지를 설치하고 데이터를 불러온다. 그리고 원활한 분석을..
R 공부 (5편) - 쉽게 배우는 R 데이터 분석 그래프R에서는 'ggplot2' 패키지를 사용해서 다양한 그래프를 만들 수 있다. 'ggplot2' 문법은 레이어 구조로 되어 있다. 1단계에서는 배경 설정(축)을 하고 2단계에서는 그래프를 추가하며, 3단계에서는 축 범위, 색, 표식 같은 설정을 추가한다.  아래는 산점도 그래프를 구현하는 코드이다. geom_point() 함수를 이용하면 산점도 표현이 가능하다.library(ggplot2) # 패키지 설치ggplot(data = mpg, aes(x = displ, y = hwy)) # x, y축 설정ggplot(data = mpg, aes(x = displ, y = hwy)) + geom_point() # 산점도 추가ggplot(data = mpg, aes(x = displ, y = hwy)) ..