본문 바로가기

분류 전체보기47

huggingface에서 모델 다운로드 받기 huggingface에서 LLM test해보려구 모델을 다운 받으려는데, 아 맞네, 하고 key 생성을 위해서 아래 방법을 참조했으나,  Command Line Interface (CLI)The huggingface_hub Python package comes with a built-in CLI called huggingface-cli. This tool allows you to interact with the Hugging Face Hub directly from a terminal. For example, you can login to your account, create a repository, upload and download fhuggingface.co처참하게 아래와 같이 command not.. 2024. 7. 8.
일정도 한눈에 볼 수 있도록(아쉬워) - Notion Calendar 목차 Notion Calendar Notion Calendar 설치를 하고 setting을 해보았다ㅎㅎ 우선은 아쉽다.. 양방향 입력은 되는데 Google Calendar에서 Notion에서 추가한 것을 볼수없고(구독 안됨) Notion Calendar 앱은 매-우 별로다. 좌측이 기존에 쓰는 minical(google calendar 연동) 일정이 있을 경우, 달력하단에 언더바표시. 우측은 Notion Calendar 아무런 표시가 없다. 업데이트(1.22 16시간전) 가 계속 되고 있으니 일단은 기다려볼까... 그러면서 notion calendar subscription to google calendar 검색해보는 나 나중에 몇 개 글 보고 시도를 해볼지도 설정 방법 1. 우선 데이터 베이스 설정 날.. 2024. 2. 8.
KRX 증시 데이터 크롤링 시 참고해야 하는 휴장일 정보 현재 KRX 정보 시스템에서 여러 정보를 크롤링하는데, 주로 일단위 정보로 주가 정보, 개인/외국인/기관 매수량, 매수금액 등을 저장하고 있다. 일 단위로 돌리다보면 데이터를 합치는 경우 가끔 Key Error가 나는데, 휴장일 정보를 놓치는 경우가 대부분의 Error이다. 24년 휴장일 정보를 찾다보니 아, 작년에 KRX 에서 휴장일 데이터를 엑셀로 다운 받았었는데...! 기억이 나질 않아 뒤적뒤적하다 기록해두는 휴장일 정보 Market | 시장동향 | 증시일정 | 휴장일 open.krx.co.kr 24년도 화이팅이다...! 2024. 1. 12.
KRX 업종 분류 crawling error 해결 정부 관련 홈페이지가 working이 안되고나서, 복구 후에 다시 crawling 시도하자 생긴 error가 있었다. ① ValueError: Excel file format cannot be determined, you must specify an engine manually. KRX stockcode crawling completed : 20231120 Traceback (most recent call last): File "crawling-candle.py", line 15, in File "crawlingmodule.py", line 285, in krx_stock_type File "pandas\util\_decorators.py", line 211, in wrapper File "pandas\.. 2023. 12. 7.
python 패키지 설치 목록 requirements.txt로 저장하기 이전에 사용했던 Python 환경을 다음에 또 사용하고 싶을 때, 설치 목록을 저장해두고 설치하는 등의 관리를 쉽게 해주는 명령어 pip freeze > requirements.txt 위 명령어를 사용하면 파이썬 내 설치되어있는 패키지들이 알파벳 순으로 해당 txt 파일에 저장이 된다. 또한 저 txt 파일을 아래의 명령어를 활용하면 설치가 된다! pip install -r requirements.txt 2023. 10. 19.
Python/Pandas - Google Drive/Sheet에서 데이터 프레임으로 데이터 불러오기, 저장하기 목차 얼마 전 데이터 크롤링 이후 Python에서 CSV 파일로 결과를 저장했는데, 내 노트북에 Office류가 인증이 되어있지 않은 것을 확인했다 ㅎㅎ 노트북에서 Office 잘 안 쓰는데 결과를 보자고 돈을 지불하자니 애매하여 구글 드라이브의 구글시트를 활용하기로... 오랜만에 또 연동하려니 생각이 잘 안 나서 이번에는 기록으로 남겨둔다! 사전 준비 Google Cloud 내 프로젝트 계정이 있을 경우ㅎ python ↔ Google Drive/Sheet 연동을 위한 신청인증키 발급 단계 인증키 생성 및 다운로드 IAM & Admin에서 service account 생성 생성한 account의 Key(json파일)를 다운로드하여 내 프로젝트(workspace)에 위치 구글 시트 생성 후 공유자에 ser.. 2023. 3. 21.
Python 3.11 32bit - Pandas 설치 Fail 오류 해결하기 웹 크롤링할 일이 있어서 Pandas, Bs4를 설치하려던 와중에 마주친 설치 에러 메시지 Microsoft C++ Build Tools가 없어서 Pandas 설치가 불가하다고.. ① 가운데 링크를 눌러서 C++ Build Tools로 이동 ② Build Tools 다운로드 클릭 후 Visual Studio Installer 설치 ③ C++를 사용한 데스크톱 개발 선택 (용량이 ...) ④ 설치 성공! 2023. 3. 16.
Python 기본 설치 라이브러리 확인하는 법 sqlite 라이브러리를 사용하기 위해서 pip install sqlite3 명령어를 열심히 활용하였으나 내가 마주친 건 아래와 같은 Eror 열심히 stackoverflow 돌아다녔더니 sqlite3는 Python에 기본으로 포함된 패키지라고... 그럼 기본으로 포함된 패키지는 어디서 확인할 수 있을까? 당연하게도 공식 문서다 ㅎㅎㅎ 위치: Python > Documentation > Library Reference The Python Standard Library While The Python Language Reference describes the exact syntax and semantics of the Python language, this library reference manual des.. 2023. 1. 27.
sqlite3 에러 해결하기(sqlite3.OperationError, sqlite3.ProgrammingError) 목차 In memory DB로 서버가 아니라 응용 프로그램에 임베디드 되어 사용하는 가벼운 데이터베이스 - SQLite SQLite는 쓰기 작업 시 데이터베이스를 잠그므로 여러 동시 쓰기 작업이 실행되는 앱에서는 성능 문제가 발생할 수 있어 업무 자동화를 위한 혼자만의 작업이라던가... 미니시스템으로 SQL을 배우거나 할 때 사용해 보기 좋다. 파이썬(3.11.0)에는 sqlite3라는 패키지 이름으로 기포함되어 있다. 아래는 조금씩 활용하다가 마주친 에러를 해결방법을 공유! Task - XML 파일 파싱 후, 정규화(Normalization)하기 import xml.etree.ElementTree as ET import sqlite3 conn = sqlite3.connect('trackdb.sqlite.. 2023. 1. 25.
VS Code로 키움 증권 API 활용하여 금융 데이터 가져오기 (1/2) 목차 갑자기 1-2년 전에 사놓은 주식 거래 시스템 구축하기 책이 눈에 뜨이길래... 강화학습이나 돌려볼까하고 일단 데이터를 내려받아보기로 일단 환경준비까지가 1편, 2편에서는 실제 데이터를 가져오는 것까지 해보기로 ① 키움증권 가입하기 + 하루 기다리기 키움증권을 가입하고 HTS도 설치 주식 계좌도 인증되는 용으로 공동인증서 발급 신분증의 진위를 확인하여야하기 때문에 사실상 접속해서 데이터를 받으려면 다음 날이 되어야한다 ② 키움 Open API 설치 설치 관련해서는 해당 페이지에 아주 자세하게 나와있다ㅎㅎ 개발 가이드도 있고! ③ 상시 모의투자를 신청 알고리즘 개발 시 검증을 위한 상시 모의투자를 신청 ④ VS Code에서 Python 가상환경 생성 증권사 API를 활용하려면 Python은 32Bit.. 2023. 1. 21.
[네이버 사이트 진단] <H1> 요소가 2개 이상 발견 - 원인 파악 및 검색 최적화 하기 목차 쪼물쪼물 귀여운 내 블로그 네이버 서치 어드바이저에서 어떤 글에 대해 URL 검사를 했더니 사이트 최적화 관련 이슈가 보인다! 무엇인지 찾아보다 정리하는 오늘의 글! ① 나의 글이 잘 수집되었는지 URL 검사 수집 요청 이후에 글이 잘 수집되고 있나하여 URL 검사를 했더니 이런 글이 두둥-- ② 무엇이 문제인지 개발자 도구로 살펴보자 F12를 눌러서 위에서 h1을 검색하면 제목 [둥이 임신 일기] ~~ 에 걸리는 것이 아닌 eple 로그에 h1 tag가 걸려있는 걸 확인할 수 있다. ③ 스킨 편집에서 HTML tag, CSS 변경하기 티스토리의 스킨 편집으로 들어가서 h1 tag를 검색해보자 이 h1 tag가 중복이므로 p tag으로 변경해주고 이와 동시에 HTML tag에 입혀질 CSS도 동시 .. 2023. 1. 17.
[혹시 PM이세요? Notion으로 - ⑥개발 문서 및 타임 라인(로드맵, 일정 관리) 활용하기] 목차 노션을 쓰다 보면 드는 생각인데 프로덕트 매니저가 너무 힘들어서 (자료 작성과 찾기에 치여서) 이런 제품을 만들었나 싶을 때가 있다 ㅎㅎ Notion (노션) 소개 - 비하인드 스토리 미래의 업무 방식과 도구, 그리고 올인원 워크스페이스에서 워크플로를 관리하는 방법. www.notion.so 그만큼 노션 쓰다 보면 자료작성과 찾기가 좀 더 수월하고 유기적으로 얽혀있게 잘 만들었다고 느껴지기 때문인 것 같다ㅎㅎ 우리 회사는 Jira/Confluence를 사용하는데 버전이 낮아서, 유료 플러그인을 구입하지 않아서인지 로드맵과 Jira 같이 보기 부분이 구리다🤮 만약 내가 스타트업 PM이었다면 아마 구매를 적극 추진하자고 설득했을 듯..! 오늘은 타임라인(로드맵), Task 관리 부분에 대한 활용 방안 .. 2023. 1. 13.
GCP에 나만의 docker 기반 분석 환경 jupyterlab(GPU) 만들기 목차 잘 안 쓸 거 같지만 이상하게도 나만의 분석 환경을 갖고 싶다ㅎㅎ 내 노트북에는 AI를 학습시킬 GPU가 없기 때문에 Google Cloud Platform을 활용하여 docker기반 gpu 활용가능한 jupyter lab을 실행해 보잣 ① Google Cloud Platform을 활용하여 VM 할당받기 만들기 크게는 3단계 정도로 구분된다. GCP에서 GPU가 있는 VM(Virtual Machine)을 신청하자 외부에서 접속가능한 External IP를 구성하고 방화벽을 열어준다 그리고 GCP SSH를 클릭하여 접속! 1에서 바로 신청가능하지 않고 하루이틀 기다려서 메일이 오는 경우도 있으니 참고! 보통 한달에 15,000~20,000원 사이의 지출이 이루어진다. Setting up Jupyter.. 2023. 1. 10.
[네이버 사이트 진단] Alt 속성 누락 해결하기 쪼물쪼물 귀여운 내 블로그 네이버 서치 어드바이저에서 사이트 진단을 했더니 사이트 최적화 관련 이슈가 보인다! 무엇인지 찾아보다 정리하는 오늘의 글! Alt 속성 누락이란? 이름에서도 느껴지듯이 Alt - Alternative 대체 F12 개발자 도구를 눌러 살펴보면 이미지 별로 이미지가 로딩되지 않았을 경우 보여줄 수 있게 하는 Alt 속성이 있다. 이미지 별로 저 속성이 잘 달려있는지 아닌지에 따라 네이버에서는 최적화가 잘 되었는지 안되었는지 판단하는 하나의 기준이 되기도 하는 것! 글에 이미지를 삽입했다면 그 이미지가 무엇인지 설명하는 것도 추가해 주기로! 2023. 1. 6.
VS Code에서 HTML/CSS/JavaScript 개발 환경 구축/실행하기 목차 어렴풋하게만 알고 있었던 Front-end(HTML, CSS, Javascript, react 등) 손에 좀 익히면서 구동 원리도 자세히 알고자 하여 강의의 miniproject도 수행하고 개발 환경을 구축! [Frontend] 개념 개념 HTML - 웹 콘텐츠의 구조를 짜고 의미를 부여하는 마크업 언어, 예를 들어 페이지의 어디가 문단이고, 헤딩이고, 데이터 표와 외부 이미지/비디오인지 정의 CSS - HTML 콘텐츠에 스타일을 적용할 수 있는 스타일 규칙 언어 Javascript - 동적으로 콘텐츠를 바꾸고, 멀티미디어를 제어하고, 애니메이션을 추가하는 등 거의 모든 것을 만들 수 있는 스크립팅 언어 즉 웹 페이지는 웹 콘텐츠의 구조를 가진 HTML이 CSS 파일을 참조함으로써 스타일(색, 위치.. 2023. 1. 4.
[Notion - ⑤ 외부 데이터 가져오기 및 꿀팁) Key 보존하기] 목차 알콩이/달콩이 준비물을 다시 정리해 보고자 외부(구글 클라우드 - 구글 스프레드 시트)에 있던 자료를 노션으로 가져와 정리했다ㅎㅎ 가져오다 시행착오를 겪으실 분들께 방법과 노하우 전달! 그리고 일단 내가 기억해야지 외부 데이터 가져오기 ① 구글 스프레드 시트에서 CSV 형태로 내보내기 ② Notion에서 왼쪽 대메뉴 > 가져오기 클릭 ③ CSV 형태 선택 ④ 그럼 아래와 같은 형태로 데이터를 가져온다! 데이터베이스 - 전체 페이지 형태 정말 엑셀을 그대로 가져오고, 속성은 지맘대로 ㅎㅎ 꿀팁) Key 보존하기 그러나 좀 더 자세히 확인해봐야한다! Aa라고 되어있는 부분이 보통 변경할 수 없는 키인데, 구글 시트 순서 상 가장 왼쪽에 있는 대분류 정도가 키로 표현!? Aa 키 속성은 데이터베이스 생성.. 2023. 1. 1.
[Notion - ④ Notion의 꽃, 데이터베이스 배우기(보기 설정) (2/2)] 목차 이전 편 보기 2022.12.28 - [배움 로그/실력] - [Notion - ③ Notion의 꽃, 데이터베이스 배우기(1/2)] [Notion - ③ Notion의 꽃, 데이터베이스 배우기(1/2)] 목차 데이터베이스 - 표 며칠 동안 만져본 결과, 데이터베이스의 표는 Notion의 핵심 기능이다! 이 데이터베이스를 잘 이해해야 생성한 데이터를 바탕으로 ① 보드, 리스트, 갤러리 등의 부가 뷰를 eplelog.tistory.com 데이터베이스에 데이터 Record를 채웠다면 보기 설정의 레이아웃 변경을 통해 다양한 뷰로 확인할 수 있다. (4) ④ 데이터베이스를 여러 View로 살펴보기 - 1) 보드 (태그, 점수 별) 내가 작성한 데이터베이스를 쉽게 다른 View로 바꿔 볼 수 있다는 점에서 .. 2022. 12. 28.
[Notion - ③ Notion의 꽃, 데이터베이스 배우기(1/2)] 목차 데이터베이스 - 표 며칠 동안 만져본 결과, 데이터베이스의 표는 Notion의 핵심 기능이다! 이 데이터베이스를 잘 이해해야 생성한 데이터를 바탕으로 ① 보드, 리스트, 갤러리 등의 부가 뷰를 활용할 수 있고, ② 필터, 정렬 기능을 통해 데이터를 더 잘 이해할 수 있다. 오늘은 데이터베이스의 기능들을 정리/이해해보도록 하자 공식 도움말은 여기서! 데이터베이스 소개 데이터베이스를 사용하면 정보를 다양한 형태로 구성할 수 있습니다. 필요에 맞게 데이터베이스를 정리, 분류, 라벨 지정, 필터링, 검색, 열람, 활용해 보세요. 이 페이지에서는 Notion 데이터베이 www.notion.so 예제 - 책, 영화 등의 별점, 완료 리스트 만들기 ① 데이터베이스 생성하기 / 입력 후, 위와 같이 블록 중에 데.. 2022. 12. 28.
입덧이 심하다면 CELL TI MOM 유산균 추천(내돈내산) 기존에 먹던 프로스랩 여성 유산균이라서 질염, 방광염이나 이런 부분은 딱히 모지란 것 없이 만족하던 제품이었는데...! 7-16주 차 입덧과 함께 유산균 먹으면 토하는 현상 발생 아무래도 가루 타입에 특정 맛(달달한 맛)이 나다 보니 받아들이지 못한 모양 1. 가루가 아니고, 2. 알약이 작고 3. 맛이 안나고 4. 임산부 특화 등으로 검색 레이더 발동을 통해 찾은 CELL TI MOM 유산균 [셀로닉스 공식몰] 쎌티아이 맘 임산부, 수유부 추천 프로바이오틱스. 모유유래 균주 L.루테리, L.가세리 추가, 핵심균주 90% 이상 조성. www.cellonix.co.kr 주문하면 왼쪽처럼 엄청난 포장과 함께 온다. 스티로폼 포장 + 보냉 포장 + 박스 포장 + 그 안에 알루미늄으로 한 알씩 포장 한편으론 꼼.. 2022. 12. 21.
[Notion - ② Wiki 작성하기, 기본 블록 활용 방법 배우기] 목차 Wiki 작성 목적 저기요..? 나한테 하는 말인가요? 쌍둥이 출산 전에 나의 10년차 지식, Lesson & Learned 들을 체계적으로 정리하고 싶은 마음이 있었고 알고 있는 건 정확하게 모르는 건 채워넣고 싶어서 시작 그리고 기본블록 사용법을 배워보자 작성을 해봅시다! - 기본 블록 활용법 1. 페이지 추가 2. 난 좀 더 이쁘게 페이지를 쓰고프다 "아이콘이 있는 빈 페이지" 클릭하여 아이콘 추가 아이콘 클릭해서 원하는 아이콘으로 변경 3. 제목 입력 + 내 Wiki의 변경사항 입력하기 위한 댓글 남기기 제목 없음 클릭하여 제목 입력 "댓글 추가" 클릭하여, 이력 관련한 댓글을 남겨두면 - 나 혼자 사용할 수 있는 이력관리! 👈Tip 4. 글을 작성 단위로 잘라주기 + 구분선 넣기 / 입력 .. 2022. 12. 16.

티스토리툴바