개발 이야기/TIL
-
[TIL][Conda] conda 환경세팅 yml개발 이야기/TIL 2024. 9. 30. 16:36
python에서 requirement 파일을 이용하여 pip package를 인스톨하는 과정과 유사한 방법으로최근 과제에서 yml 파일로 환경세팅을 추천하여서 글을 작성하였다. github에도 conda 환경에서 사용가능한 yml 파일을 함께 배포해주는 경우가 많이 있어서 yml 파일을 이용하여 가상환경을 생성하고 관련 패키지를 설치해주는 과정을 알아보고자 한다. 아래와 같이 env.yml 파일이 존재한다면name: HW1channels: - defaults - anacondadependencies: - jupyter - matplotlib - numpy - python=3.7 - scikit-learn - gensim 다음 명령어로 가상환경을 세팅해보자. conda env create ..
-
[Gurobi] 최적화 프로그램 gruobi academic license 다운로드(학생판)개발 이야기/TIL 2024. 7. 25. 15:44
cvxopt로 최적화 문제를 풀려했는데...sovler memory 제한에 걸려서 다른 최적화 툴을 알아보다가 Gurobi를 알게되어 다운받아보려한다. https://www.gurobi.com/downloads/gurobi-software/ Gurobi Software - Gurobi OptimizationDownloads & Licenses Gurobi Software Download the Gurobi Optimizer and the Gurobi Compute Server Package. Login Required This page is for Gurobi registrants. Please login or register for an account here to view this content...
-
[Data] 파이썬을 이용한 주가 데이터 수집하기개발 이야기/TIL 2024. 7. 23. 18:51
들어가기에 앞서주가 데이터를 수집할 때, 중요한 것은 여러 금융 이벤트들에 의해 주가가 변화 가능하다는 것이다. 실제 시장에서는 중간에 상장 폐지되거나, 합병이 되거나, 주식 분할이 일어나는 등 다양한 이벤트가 있어서 잘 정제된 데이터를 모으는 것은 백테스팅의 성과를 측정하는데 매우 중요한 지표이다. 이번 여름에 Index tracking을 주제로 연구를 진행하고 있는데 이를 위한 자료를 모으는데 정말 엄청난 우여곡절이 많았다(도서관가서 유료데이터 신청하고 뽑아오고 기타 등등, 상장과 지수편입에는 차이가 있음). 이번에는 그런 금융이벤트들을 최대한 반영하는 방법을 위주로 작성하였지만 다소 부족하거나 틀린 내용이 있을 수 있으니 언제든지 알려주시면 매우 감사..!하겠으며 동시에 차후에 알게된 내용이 있으..
-
[Finance&OR&ML] 금융 및 최적화 관련 참고할 학술지개발 이야기/TIL 2024. 7. 3. 00:06
아직도 어떤 학술지를 믿고..! 어떤 논문을 찾아봐야할지는 정말 잘 모르는것 같다. 이번에는 금융 및 재무 분야 학술지와 OR, 최적화 분야의 학술지들을 추가해서 작성해보았다. 간단히 정리해보았고, 학회 리스트는 Unisit Felab의 Journal Club에 작성된 학술지들을 참고하였다. 전통적인 재무 학술지Journal of Finance (JF) 재무 분야에서 가장 권위 있는 학술지 중 하나로, 광범위한 재무 주제를 다룸 Review of Financial Studies (RFS) 높은 영향력을 가진 재무 학술지로, 최신 재무 연구를 폭넓게 다룸 Journal of Quantitative and Financial Analysis (JFQA) 정량적 방법론을 활용한 재무 분석에 중점을 둔 학술지 J..
-
[Error] sh syntax error: unexpected end of file개발 이야기/TIL 2024. 4. 26. 14:48
Error shell script를 실행하던 중 아래의 에러가 발생했다LongForecasting/Linear/exchange_rate.sh: not found-LongForecasting/Linear/exchange_rate.sh: 1:scripts/EXP-LongForecasting/Linear/exchange_rate.sh: 67: Syntax error: end of file unexpected (expecting "then")"""" 현재 환경은 ubuntu에서 shell script를 돌리려고했었고(이전 window multiprocessing관련 에러로 인해) sh 파일의 경우에는 문제가 없었다..(친구의 맥에서는 문제없이 돌아가는걸 확인) 한참을 해매하다가 https://thumbsupge..
-
[Error] github에 공개된 모델을 돌려보는 법(sh, window multi process error)개발 이야기/TIL 2024. 4. 25. 14:37
최근 캡스톤을 진행하면서 기존에 발표된 모델들을 하나씩 찾아보고, 실행이 필요한 경우 실행하고 있는데...!보통 아래와 같이 공개 github이 있는 경우 친절하게 방법들을 설명해두었다. 문제는 git clone하고까지는 문제없이 진행했지만, sh 명령어가 윈도우에서 가끔 안 먹는 경우가 많아서 ㅎㅎㅎ 방법을 간단히 정리할겸 블로그에 글을 쓰게 되었다. 1. Git clone하기!우선 보고자하는 논문의 모델이 공개된 경우 github에 공개된 경우가 많다. 해달 repository를 포크 뜬 다음에 git clone 명령어를 통해서 내 로컬에 다운받도록 하자. 명령어는 아래와 같다. git clone [해당 repo 링크] 2. Dataset 다운 dataset의 경우 보통 repository가 아닌 ..
-
[Colab] 패키지 영구 설치하기 & 문제점개발 이야기/TIL 2024. 3. 27. 00:53
최근 colab pro를 사용하고 있는데, 매번 pip를 하다 보니 당연하게도 컴퓨팅 용량을 너무 많이 잡아먹어서..! 찾아보고 작성하게 되었다. 본 내용은 아래 링크를 기반으로 작성하였다. https://dacon.io/codeshare/4200 [Tip] Colab에 영구적으로 패키지 설치하기! dacon.io Google colab에서 작업하면 정말 좋은 환경을 이용가능하고, pre-built된 library가 일부 있지만, 때로는 몇몇 라이브러리 및 패키지는 !pip install를 이용하여 업그레이드 혹은 설치해줄 필요가 있다. 이를 위해 링크를 연결하여 원본파일을 직접 사용하는 것과 같은 효과를 내는 심볼릭 링크를 이용하여 해당 위치에 패키지를 설치하고 이용해보려고 한다. 심볼릭 링크 연결하기..
-
[Pandas] Stat series를 dataframe으로 바꾸는법개발 이야기/TIL 2024. 3. 10. 16:00
최근에 통계 관련 scipy를 import해서 사용하던 중에 해당 결과를 dataframe으로 바꾸어서 이것저것 다루고 싶은데 여러 어려움을 겪다가 드디어 알아낸 방법을 간단히 작성해보려고 한다. 아래의 stackoverflow와 gpt를 열심히 괴롭혀서 알아낸 방법이다. https://stackoverflow.com/questions/51734180/converting-statsmodels-summary-object-to-pandas-dataframe Converting statsmodels summary object to Pandas Dataframe I am doing multiple linear regression with statsmodels.formula.api (ver 0.9.0) on Wi..