소품집

모니터링 서비스 - CloudWatch AWS 리소스 및 애플리케이션에 대한 각종 성능 지표를 수집, 모니터링하며 관리하기 위한 서비스 전체 시스템의 리소스 사용률, 애플리케이션 성능, 운영 상태를 종합적으로 파악 CloudWatch 작동방식 CloudWatch는 AWS 서비스의 지표와 로그 저장소로 저장된 지표를 모니터링하고 로그를 분석함 오토 스케일링 기능은 모니터링하며 리소스를 자동으로 확장/축소하며 리소스 비용을 최적화하는 데 용이함 애플리케이션을 통해 수신하는 클라이언트 요청을 SQS 대기열에 적제 > CloudWatch를 활용해 메시지가 쌓일 경우 경보 발생 CloudTrail 기업 내에서는 클라우드 내에서 자원을 저장하고 조회하게 되는데, 적법한 사용자만 클라우드 서비스에 접근했는지 감사하고..

아키텍처 비즈니스 요구사항을 만족하는 시스템을 구축하기 위해 필요한 전체 시스템에 대한 구조를 최적화하여 정의한 설계 문서 아키텍처 인프라를 구축할 때 고려해야 할 사항으로는 고가용성, 성능, 비용 측면 등이 있음 클라우드 아키텍처를 구성하기 위해서 우리는 가용 / 리소스 / 서비스가 어떤 역할, 기능을 제공하는 서비스인지 파악하는 것이 중요함 Networking Service - AWS VPC 가용 영역과 리전 가용 영역(Availability Zone) : 여러 데이터 센터의 집합으로, 각각의 가용 영역 간에는 고속 프라이빗 전용선으로 연결되어 있음 리전(Region) : 가용영역의 집합 VPC : Virtual Private Cloud 클라우드의 가상 프라이빗 네트워크 공간으로 AWS 리소스를 사용..

1. OSI 7 계층 모델 네트워크 프로토콜이 통신하는OSI 7 계층은 위와 같이 7개의 계층으로 구성되고, 각 계층 간 상호 동작하는 방식을 정리한 모델 송신 측은 보내고자 하는 데이터가 각 계층을 지나 내려가면서 헤더가 첨가되고, 수신 측에서는 수신한 패킷을 위로 올려보내며 헤더를 하나씩 확인, 제거한다. 동일한 계층끼리 헤더를 통해 정보를 주고받는 모습을 보고 “동일한 계층끼리 논리적으로 연결되어 있다”라고 표현하기도 한다. 물리 계층 (Physical Layer) > 장비: 허브, 리피터 물리 계층은 OSI 최하위 계층에 속하며, 상위 계층에서 전송된 데이터를 물리 매체(허브, 라우터, 케이블 등)를 통해 다른 시스템에 전기적 신호를 전송하는 역할을 한다. 전송 단위: 비트(bit) 데이터 링크 ..

네트워크 1. 패킷의 처리 인터넷은 여러 네트워크의 연결로 구성되어 있기 때문에 송신지에서 목적지까지 도달할 수 있는 경로가 여러개 있을 수 있다. 여기서 어느 하나의 올바른 경로를 선택하는 것이 라우팅(경로 설정)이며 이는 네트워크 계층의 핵심적인 기능이다. 1) 패킷의 발송 IP 패킷이 네트워크가 통과 시킬 수 있는 최대 바이트보다 클 경우에는 단편화(Fragmentation) 전송하게 되는데 그 단표화 정보도 IP 패킷의 헤더에 저장하여 보내게 된다. 2) 최종 목적지 단편화된 패킷을 받은 목적지에서는 다면, 단편들을 모아서 하나의 온전한 패킷을 조립한다. 여기서 만약 하나의 온전한 패킷으로 조립이 불가능 하다면 모두 폐기시키고 이를 송신지에게 CMP(Internet Control Message P..

https://sodayeong.tistory.com/142?category=977648 [Deep Learning] CNN 입출력, 파라미터 계산 다음 조건과 같은 이미지를 학습하는 CNN의 각 레이어별 입력 데이터와 출력 데이터의 Shape을 계산해 보고 네트워크가 학습시키는 파라미터의 개수를 계산해 보겠습니다. 입력 데이터 Shape: (39, 31 sodayeong.tistory.com - 코랩 환경에서 이미지 분류 데이터 셋으로 유명한 MNIST 데이터로 CNN 모델을 실습했다. - 강의 진도 상 오늘은 실습만 하고, 추후 이론 설명을 해주신다고 하셨다. - 지난번에 기록한 딥러닝 CNN 입출력, 파라미터 계산을 공부하고 내일 수업 듣자.

데이터 분석 프로세스 1. 비즈니스 이해 - 문제 정의 (따릉이 배치 장소를 추가하자) - 데이터 분석 방향, 목표 설정 (따릉이 수요와 공급이 맞는 장소에 배치를 늘린다) - 가설 수립 (따릉이 대여량은 따릉이 배치 시설과 관련이 있다) 2. 데이터 이해 - EDA & CDA - 데이터 통계량 확인 3. 데이터 전처리 - 결측치 확인 (대치, 삭제, 변환 등) - 가변수화 (범주 > 수치) - 스케일링 * 표준화, 정규화 - 데이터 분할 (train, validation) 4. 모델링 - 분류 > logistic, Naive bayes, DT, SVM, catboost, ensemble.. - 회귀 > liner, Gradient desent, ridge, lasso.. - 모델 학습 - 검증 및 평가..

앙상블 앙상블은 여러 분류기의 결과를 하나로 합치며 모델을 통합하는 것과 같고, 여러 개의 DT를 결합하며 하나의 모델을 사용했을 때 보다 더 높은 성능을 낼 수 있도록 한다. 앙상블 기법 중 많이 사용되는 학습 방법으로는 Voting, Bagging, Boosting, ECOC (Error-correcting output coding), Stacking 등이 있다. 1. 보팅 (voting) 일반적으로 보팅은 여러 가지 머신러닝 모델(여기에선 KNN, Logistic Regression, DT)을 같은 데이터 셋에 대하여 학습시킨 뒤, 예측한 결과를 투표하여 최종 결과로 선정하는 방식으로 진행된다. 보팅 방식에도 소프트 보팅과 하드 보팅으로 나뉜다. - 하드보팅 : 다수결 투표와 동일한 개념. 이 경우..

오늘은 지난주에 있었던 에이블 데이 후기를 알려드리려고 합니다. 에이블 데이는 쉬어가는 타임(?) 답게 추석 연휴 이전으로 잡아주셨어요! 에이블 데이 일주일 전인가 집으로 택배가 도착해서 보니까!! 에이블스쿨에서 보내주신 기프트 박스였어요. 저 평소에 블루보틀 진짜 좋아하거든요.. 저 텀블러도 원래 사용하던 건데! 완전 기분 좋았어요 ㅎ_ㅎ 저희 대전 1반은 이번 에이블 데이 때 오프라인으로 만났습니다! 둔산동에 있는 스터디 카페로 정해졌고, 저는 학교에 있어서 새벽에 KTX 타고 대전으로 갔어요! 너무 배고파서 좌석 앉자마자 바로 텀블러에 싸온 시리얼에 우유 말아 먹었습니닿..ㅋㅋㅋ 에이블 데이는 코테 수여식 / 코테 리뷰 / 특강 / 기자단 발표(제가 했어요 ㅎㅎ) / 반 세션으로 진행됐고 저는 반 ..

사이킷런(sklearn) - 파이썬에서 머신러닝 모델을 돌릴 때 유용하게 사용할 수 있는 라이브러리 - 여러 가지 머신러닝 모듈로 이루어져 있음. 모듈 불러오기 - 자주 사용되는 모듈을 불러오자 import numpy as np ## 기초 수학 연산 및 행렬계산 import pandas as pd ## 데이터프레임 사용 import seaborn as sns ## plot 그릴때 사용 import matplotlib.pyplot as plt ## plot 그릴때 사용 from sklearn import datasets ## iris와 같은 내장 데이터 사용 from sklearn.model_selection import train_test_split ## train, test 데이터 분할 from skl..

2주 전 1차 프로젝트에 이어서 2차 미니프로젝트 절차도 회고해보려 합니다. 코드 리뷰 형식으로 쓰고 싶지만.. 안 되는 것 같아서 회고 형식으로 써보겠습니다. 팀원은 1차 때와 동일하게 랜덤으로 정해서 공지해주셨고, 이번 프로젝트 기간은 총 4일로 진행됐습니다. DAY 1 첫날에는 지금까지 배운 내용을 정리하고 적용해보는 시간을 갖으며 서울시 버스 수요 분석을 위해 총 4개의 데이터를 기반으로 단변량, 이변량, 시각화, EDA 등 데이터 전처리부터 결과까지 훑어보는 시간을 가졌습니다. 개인 프로젝트로 진행됐고, 종료 후에는 셀프 테스트도 있었습니다. DAY 2 둘째 날은 KT 의사소통 방법인 NGT 방법론, 프로토타입 방법론 등을 배우며 팀플 과정에서 팀원들과 원활하게 소통하며 의견을 낼 수 있는 방법..