배움 로그/data science9 huggingface에서 모델 다운로드 받기 huggingface에서 LLM test해보려구 모델을 다운 받으려는데, 아 맞네, 하고 key 생성을 위해서 아래 방법을 참조했으나, Command Line Interface (CLI)The huggingface_hub Python package comes with a built-in CLI called huggingface-cli. This tool allows you to interact with the Hugging Face Hub directly from a terminal. For example, you can login to your account, create a repository, upload and download fhuggingface.co처참하게 아래와 같이 command not.. 2024. 7. 8. KRX 증시 데이터 크롤링 시 참고해야 하는 휴장일 정보 현재 KRX 정보 시스템에서 여러 정보를 크롤링하는데, 주로 일단위 정보로 주가 정보, 개인/외국인/기관 매수량, 매수금액 등을 저장하고 있다. 일 단위로 돌리다보면 데이터를 합치는 경우 가끔 Key Error가 나는데, 휴장일 정보를 놓치는 경우가 대부분의 Error이다. 24년 휴장일 정보를 찾다보니 아, 작년에 KRX 에서 휴장일 데이터를 엑셀로 다운 받았었는데...! 기억이 나질 않아 뒤적뒤적하다 기록해두는 휴장일 정보 Market | 시장동향 | 증시일정 | 휴장일 open.krx.co.kr 24년도 화이팅이다...! 2024. 1. 12. KRX 업종 분류 crawling error 해결 정부 관련 홈페이지가 working이 안되고나서, 복구 후에 다시 crawling 시도하자 생긴 error가 있었다. ① ValueError: Excel file format cannot be determined, you must specify an engine manually. KRX stockcode crawling completed : 20231120 Traceback (most recent call last): File "crawling-candle.py", line 15, in File "crawlingmodule.py", line 285, in krx_stock_type File "pandas\util\_decorators.py", line 211, in wrapper File "pandas\.. 2023. 12. 7. python 패키지 설치 목록 requirements.txt로 저장하기 이전에 사용했던 Python 환경을 다음에 또 사용하고 싶을 때, 설치 목록을 저장해두고 설치하는 등의 관리를 쉽게 해주는 명령어 pip freeze > requirements.txt 위 명령어를 사용하면 파이썬 내 설치되어있는 패키지들이 알파벳 순으로 해당 txt 파일에 저장이 된다. 또한 저 txt 파일을 아래의 명령어를 활용하면 설치가 된다! pip install -r requirements.txt 2023. 10. 19. Python/Pandas - Google Drive/Sheet에서 데이터 프레임으로 데이터 불러오기, 저장하기 목차 얼마 전 데이터 크롤링 이후 Python에서 CSV 파일로 결과를 저장했는데, 내 노트북에 Office류가 인증이 되어있지 않은 것을 확인했다 ㅎㅎ 노트북에서 Office 잘 안 쓰는데 결과를 보자고 돈을 지불하자니 애매하여 구글 드라이브의 구글시트를 활용하기로... 오랜만에 또 연동하려니 생각이 잘 안 나서 이번에는 기록으로 남겨둔다! 사전 준비 Google Cloud 내 프로젝트 계정이 있을 경우ㅎ python ↔ Google Drive/Sheet 연동을 위한 신청인증키 발급 단계 인증키 생성 및 다운로드 IAM & Admin에서 service account 생성 생성한 account의 Key(json파일)를 다운로드하여 내 프로젝트(workspace)에 위치 구글 시트 생성 후 공유자에 ser.. 2023. 3. 21. Python 3.11 32bit - Pandas 설치 Fail 오류 해결하기 웹 크롤링할 일이 있어서 Pandas, Bs4를 설치하려던 와중에 마주친 설치 에러 메시지 Microsoft C++ Build Tools가 없어서 Pandas 설치가 불가하다고.. ① 가운데 링크를 눌러서 C++ Build Tools로 이동 ② Build Tools 다운로드 클릭 후 Visual Studio Installer 설치 ③ C++를 사용한 데스크톱 개발 선택 (용량이 ...) ④ 설치 성공! 2023. 3. 16. Python 기본 설치 라이브러리 확인하는 법 sqlite 라이브러리를 사용하기 위해서 pip install sqlite3 명령어를 열심히 활용하였으나 내가 마주친 건 아래와 같은 Eror 열심히 stackoverflow 돌아다녔더니 sqlite3는 Python에 기본으로 포함된 패키지라고... 그럼 기본으로 포함된 패키지는 어디서 확인할 수 있을까? 당연하게도 공식 문서다 ㅎㅎㅎ 위치: Python > Documentation > Library Reference The Python Standard Library While The Python Language Reference describes the exact syntax and semantics of the Python language, this library reference manual des.. 2023. 1. 27. VS Code로 키움 증권 API 활용하여 금융 데이터 가져오기 (1/2) 목차 갑자기 1-2년 전에 사놓은 주식 거래 시스템 구축하기 책이 눈에 뜨이길래... 강화학습이나 돌려볼까하고 일단 데이터를 내려받아보기로 일단 환경준비까지가 1편, 2편에서는 실제 데이터를 가져오는 것까지 해보기로 ① 키움증권 가입하기 + 하루 기다리기 키움증권을 가입하고 HTS도 설치 주식 계좌도 인증되는 용으로 공동인증서 발급 신분증의 진위를 확인하여야하기 때문에 사실상 접속해서 데이터를 받으려면 다음 날이 되어야한다 ② 키움 Open API 설치 설치 관련해서는 해당 페이지에 아주 자세하게 나와있다ㅎㅎ 개발 가이드도 있고! ③ 상시 모의투자를 신청 알고리즘 개발 시 검증을 위한 상시 모의투자를 신청 ④ VS Code에서 Python 가상환경 생성 증권사 API를 활용하려면 Python은 32Bit.. 2023. 1. 21. GCP에 나만의 docker 기반 분석 환경 jupyterlab(GPU) 만들기 목차 잘 안 쓸 거 같지만 이상하게도 나만의 분석 환경을 갖고 싶다ㅎㅎ 내 노트북에는 AI를 학습시킬 GPU가 없기 때문에 Google Cloud Platform을 활용하여 docker기반 gpu 활용가능한 jupyter lab을 실행해 보잣 ① Google Cloud Platform을 활용하여 VM 할당받기 만들기 크게는 3단계 정도로 구분된다. GCP에서 GPU가 있는 VM(Virtual Machine)을 신청하자 외부에서 접속가능한 External IP를 구성하고 방화벽을 열어준다 그리고 GCP SSH를 클릭하여 접속! 1에서 바로 신청가능하지 않고 하루이틀 기다려서 메일이 오는 경우도 있으니 참고! 보통 한달에 15,000~20,000원 사이의 지출이 이루어진다. Setting up Jupyter.. 2023. 1. 10. 이전 1 다음
