소품집

Gaussian Process Regression (GPR)Gaussian Process (GP)는 무엇인가?전통적으로 Classification이나 Regression과 같은 Supervised Learning은 Parametric 모델들을 통해 풀어왔음여기서 말하는 Parametric Model 들은 모델 학습동안 Training data의 정보를 model의 parameter에 absorbs(흡수) 시키는 방법들을 의미함이러한 모델들은 설명 가능하다는 장점을 가지나 복잡한 데이터 셋에서는 제대로 작동하기 힘듦이러한 상황에서 SVM이나 GP와 같은 Kernel based model의 등장은 보다 유연한 지평을 열게 됨Gaussian Process Definition임의의 집합 S가 있을 때, S에 대..

https://github.com/zhouhaoyi/Informer2020 GitHub - zhouhaoyi/Informer2020: The GitHub repository for the paper "Informer" accepted by AAAI 2021. The GitHub repository for the paper "Informer" accepted by AAAI 2021. - zhouhaoyi/Informer2020 github.com Transformer 모델이 장기 시퀀스 데이터에 대하여 효율적인 학습을 개선하기 위한 연구가 많이 진행되고 있는데, 기존 self-attention 메커니즘은 feature 간의 상관 계수를 직접 계산하여 시퀀스 내의 장기 의존성을 캡쳐할 수 있는 장점이 있으나..

지난주 11/3(금)~11/4(토) 부산에서 열린 KDBC2023에서 MuFaSA: 다단계 태양광 발전량 예측을 위한 멀티 퓨전 딥러닝과 셀프어텐션 논문으로 딥러닝 부분에서 우수논문상 동상을 받았습니다. 😊 * MuFaSA: Multi-Fusion Deep Learning and Self-Attention)의 약어인데, 교수님께서 강렬하게 모델명을 지어주셨닼ㅋ. 사실 데이터베이스 컨소시엄이라, 키노트랑 특강이 데이터베이스 관련한 지식이었지만 재밌었다! 언어모델 증강 필요성에 대한 주제였는데, 인코더에서 처리 %^&*하면 SQL 문을 짜주는.. 그런 내용이고,, 이해는 반도 못해도 재미는 느낄수 있으니까,,ㅎ ** 그리고 이번에 발표하는데 너무 떨어서; 발표 연습을 해야겠다고 생각했고, 생각하는 힘도 길러..

딥러닝 학습할 때 보통 verbose 옵션으로 잔여 epochs를 확인하는데, GPU 잡고 학습하니까 ETA, 오차율은 보여주는데 희한하게 잔여 epochs를 확인할 수 없었다. 예를 들어 1 epochs에 7분 정도 걸렸는데 100으로 설정했으면 7*100 = 700/60 = 약 11시간 걸리니까.. 지금 몇 번 돌았는지도 모르고 이건 아니다 싶었음 찾다가 나온 TensorBoard 1. 모델 학습 전, 텐서보드 경로 지정 2. 모델 학습 시, callbacks 함수 지정 # Log data를 저장할 디렉터리 이름 설정 dir_name = 'Learning_log' # C:\Users\user\Learning_log # main 디렉터리와 sub 디렉터리 생성 def make_Tensorboard_di..

DAsp 따려고 알아보다가 보수교육 있던 거 생각나서 봤더니 3개월 남았네요. 😅 아예 잊고있다가 자격증 취소되는 사람 될 뻔 ㅎ 다들 꼭 보수교육 들으세용

이번에 연구실에서 연구 데스크탑을 받았는데 다 밀은 상태여서 처음부터 시작했다. 태초의 상태로 나와 함께 가는 !! 데스크탑 사양은 아래와 같다. CPU : Intel(R) Core(TM) i7-9700 RAM : 64GB SSD : Samsung 860 EVO 500GB GPU : NVIDIA GeForce RTX 2080 Ti * 2개 Tensorflow GPU 잡기 1. Anconda 설치 2. Anconda Prompt에서 tensorflow 설치 3. Tensorflow 버전 확인 pip freeze * 나는 추후를 생각해 conda 가상환경을 만들어서 했다. 나중에 충돌나면 안되니까... 4. Tensorflow GPU와 호환되는 CUDA, cuDNN의 버전 확인 나는 tensorflow 2...

1. Shapley Value Shapley Value란, 게임이론을 바탕으로 Game에서 각 Player의 기여분을 계산하는 방법임. 하나의 feature에 대한 중요도를 얻기 위해 다양한 feature의 조합을 구성하고, 해당 feature의 유무에 따른 평균적인 변화를 통해 얻은 값임. 따라서 Shapley Value는 전체 성과(판단)을 창출하는 데 각 feature가 얼마나 공헌했는지 수치로 표현할 수 있음. ✔️ 게임이론 여러 주제가 서로 영향을 미치는 상황에서 서로가 어떤 의사결정이나 행동을 하는지에 대해 이론화한 것 ϕi : i 데이터에 대한 Shapley Value F : 전체 집합 S : 전체 집합에서, i 번째 데이터가 빠진 나머지의, 모든 부분 집합 fS∪i(xS∪i) : i 번째 ..

첫 세미나는 한 달 동안 공부한 내용을 발표하는 거였다. 연구실 첫 세미나다 보니까 지금까지 했던 연구를 되짚으면서 발표하면 좋을 것 같았다. 그래서 학부 연구와 연구소에서 한 연구를 리뷰했고, 한 달 동안 논문 보면서 배운 기술과 코드 리뷰를 발표하며 앞으로의 석사 연구 방향에 대해 발표했다. 앞으로 세미나 자료도 티스토리에 올려봐야징.

Basic 보루타 알고리즘은 랜덤포레스트를 기반으로 변수를 선택하는 래퍼 방법(Wrapper Method)으로 기본적인 아이디어는 기존 변수를 복원 추출해서 만든 변수(shadow)보다 모형 생성에 영향을 주지 못했다고 하면 이는 중요도가 떨어지는 변수로 인식해 제거하는 방법. Feature selection method Filter Method : 모델링 기법에 의존하지 않고 데이터에 대한 통상적인 특성 예를 들면 상호 정보량, 상관계수로부터 변수 순위를 정하고 가장 높은 순위의 변수들을 선택하는 방법 Wrapper Method : 변수의 일부만을 사용해 모델링을 수행하고 그 결과를 확인하는 작업을 반복하여 변수를 선택하는 방법으로, 예측 정확도 측면에서 가장 좋은 성능을 보이는 부분 집합을 뽑아내는 ..

안녕하세요! 오늘은 한 달 만에 돌아온 KT 에이블스쿨 4차 미니젝트 회고를 해보려 합니다. 이번 미니프로젝트는 특이하게 에이블 데이가 함께 있었는데요! 에이블 데이 때는 KT에서 주관하는 AICE 시험을 봤습니다. 시험 범위는 데이터 분석, 시각화, EDA, 모델링이었습니다! 에이블스쿨 교육에서 배운 내용이 시험 범위 + 오픈북 + 사전 실습자료 배포를 해주셨습니다. 무난히 통과할 만큼은 한 것 같지만 결과는 나와봐야 알겠죠! ^_^ ( 합격 했습니다~!ㅎㅎ) 학교 캠퍼스에도 AICE 자격증 홍보 플랜카드도 붙어있더라고요 신설 자격증이고, 우대 기업도 많으니 알아보고 필요하시면 취득하는 것도 좋은 것 같습니다. https://aice.study/ AICE aice.study 다시 돌아와서 미니프로젝트!..