Python8 KRX 업종 분류 crawling error 해결 정부 관련 홈페이지가 working이 안되고나서, 복구 후에 다시 crawling 시도하자 생긴 error가 있었다. ① ValueError: Excel file format cannot be determined, you must specify an engine manually. KRX stockcode crawling completed : 20231120 Traceback (most recent call last): File "crawling-candle.py", line 15, in File "crawlingmodule.py", line 285, in krx_stock_type File "pandas\util\_decorators.py", line 211, in wrapper File "pandas\.. 2023. 12. 7. python 패키지 설치 목록 requirements.txt로 저장하기 이전에 사용했던 Python 환경을 다음에 또 사용하고 싶을 때, 설치 목록을 저장해두고 설치하는 등의 관리를 쉽게 해주는 명령어 pip freeze > requirements.txt 위 명령어를 사용하면 파이썬 내 설치되어있는 패키지들이 알파벳 순으로 해당 txt 파일에 저장이 된다. 또한 저 txt 파일을 아래의 명령어를 활용하면 설치가 된다! pip install -r requirements.txt 2023. 10. 19. Python/Pandas - Google Drive/Sheet에서 데이터 프레임으로 데이터 불러오기, 저장하기 목차 얼마 전 데이터 크롤링 이후 Python에서 CSV 파일로 결과를 저장했는데, 내 노트북에 Office류가 인증이 되어있지 않은 것을 확인했다 ㅎㅎ 노트북에서 Office 잘 안 쓰는데 결과를 보자고 돈을 지불하자니 애매하여 구글 드라이브의 구글시트를 활용하기로... 오랜만에 또 연동하려니 생각이 잘 안 나서 이번에는 기록으로 남겨둔다! 사전 준비 Google Cloud 내 프로젝트 계정이 있을 경우ㅎ python ↔ Google Drive/Sheet 연동을 위한 신청인증키 발급 단계 인증키 생성 및 다운로드 IAM & Admin에서 service account 생성 생성한 account의 Key(json파일)를 다운로드하여 내 프로젝트(workspace)에 위치 구글 시트 생성 후 공유자에 ser.. 2023. 3. 21. Python 3.11 32bit - Pandas 설치 Fail 오류 해결하기 웹 크롤링할 일이 있어서 Pandas, Bs4를 설치하려던 와중에 마주친 설치 에러 메시지 Microsoft C++ Build Tools가 없어서 Pandas 설치가 불가하다고.. ① 가운데 링크를 눌러서 C++ Build Tools로 이동 ② Build Tools 다운로드 클릭 후 Visual Studio Installer 설치 ③ C++를 사용한 데스크톱 개발 선택 (용량이 ...) ④ 설치 성공! 2023. 3. 16. Python 기본 설치 라이브러리 확인하는 법 sqlite 라이브러리를 사용하기 위해서 pip install sqlite3 명령어를 열심히 활용하였으나 내가 마주친 건 아래와 같은 Eror 열심히 stackoverflow 돌아다녔더니 sqlite3는 Python에 기본으로 포함된 패키지라고... 그럼 기본으로 포함된 패키지는 어디서 확인할 수 있을까? 당연하게도 공식 문서다 ㅎㅎㅎ 위치: Python > Documentation > Library Reference The Python Standard Library While The Python Language Reference describes the exact syntax and semantics of the Python language, this library reference manual des.. 2023. 1. 27. sqlite3 에러 해결하기(sqlite3.OperationError, sqlite3.ProgrammingError) 목차 In memory DB로 서버가 아니라 응용 프로그램에 임베디드 되어 사용하는 가벼운 데이터베이스 - SQLite SQLite는 쓰기 작업 시 데이터베이스를 잠그므로 여러 동시 쓰기 작업이 실행되는 앱에서는 성능 문제가 발생할 수 있어 업무 자동화를 위한 혼자만의 작업이라던가... 미니시스템으로 SQL을 배우거나 할 때 사용해 보기 좋다. 파이썬(3.11.0)에는 sqlite3라는 패키지 이름으로 기포함되어 있다. 아래는 조금씩 활용하다가 마주친 에러를 해결방법을 공유! Task - XML 파일 파싱 후, 정규화(Normalization)하기 import xml.etree.ElementTree as ET import sqlite3 conn = sqlite3.connect('trackdb.sqlite.. 2023. 1. 25. VS Code로 키움 증권 API 활용하여 금융 데이터 가져오기 (1/2) 목차 갑자기 1-2년 전에 사놓은 주식 거래 시스템 구축하기 책이 눈에 뜨이길래... 강화학습이나 돌려볼까하고 일단 데이터를 내려받아보기로 일단 환경준비까지가 1편, 2편에서는 실제 데이터를 가져오는 것까지 해보기로 ① 키움증권 가입하기 + 하루 기다리기 키움증권을 가입하고 HTS도 설치 주식 계좌도 인증되는 용으로 공동인증서 발급 신분증의 진위를 확인하여야하기 때문에 사실상 접속해서 데이터를 받으려면 다음 날이 되어야한다 ② 키움 Open API 설치 설치 관련해서는 해당 페이지에 아주 자세하게 나와있다ㅎㅎ 개발 가이드도 있고! ③ 상시 모의투자를 신청 알고리즘 개발 시 검증을 위한 상시 모의투자를 신청 ④ VS Code에서 Python 가상환경 생성 증권사 API를 활용하려면 Python은 32Bit.. 2023. 1. 21. GCP에 나만의 docker 기반 분석 환경 jupyterlab(GPU) 만들기 목차 잘 안 쓸 거 같지만 이상하게도 나만의 분석 환경을 갖고 싶다ㅎㅎ 내 노트북에는 AI를 학습시킬 GPU가 없기 때문에 Google Cloud Platform을 활용하여 docker기반 gpu 활용가능한 jupyter lab을 실행해 보잣 ① Google Cloud Platform을 활용하여 VM 할당받기 만들기 크게는 3단계 정도로 구분된다. GCP에서 GPU가 있는 VM(Virtual Machine)을 신청하자 외부에서 접속가능한 External IP를 구성하고 방화벽을 열어준다 그리고 GCP SSH를 클릭하여 접속! 1에서 바로 신청가능하지 않고 하루이틀 기다려서 메일이 오는 경우도 있으니 참고! 보통 한달에 15,000~20,000원 사이의 지출이 이루어진다. Setting up Jupyter.. 2023. 1. 10. 이전 1 다음
