서윤로그

빅데이터분석기사 필기 요약🔑 과대적합방지/ 데이터증강/ 모델복잡도감소/ 가중치규제/ L1규제/ L2규제/ 드롭아웃/        매개변수최적화/ 확률적 경사 하강법/ 모멘텀/ AdaGrad/ Adam/       취합방법론/ 다수결/ 배깅/ 페이스팅/ 랜덤서브스페이스/ 랜덤패치/ 랜덤포레스트/        부스팅방법론/ 에이다부스트/ 그래디언트부스트 IV. 빅데이터 결과 해석   01. 분석 모형 평가 및 개선      1. 분석 모형 평가      2. 분석 모형 개선  2. 분석 모형 개선 [1] 과대 적합 방지 (1) 과대 적합 (Over-fitting) | 지나친 학습 → 일반화↓과대 적합- 제한된 학습데이터셋에- 지나치게 특화되어,- 새로운 데이터에 대한- 오차가 매우 커지는 현상과대 적합이 ..

빅데이터분석기사 필기 요약🔑 모집단평균/ Z-검정/ T-검정/ 분산분석/ 모집단분산/ 카이제곱검정/ F-검정/ 적합도검정/        정규성검정/ 샤피로-윌크 검정/ 콜모고로프-스미르노프 검정(K-S검정)/ Q-Q Plot IV. 빅데이터 결과 해석   01. 분석 모형 평가 및 개선      1. 분석 모형 평가    1. 분석 모형 평가 [4] 모수 유의성 검정  (1) 모집단과 모수 관계모집단 (Population): 분석/관심 대상 전체 그룹모수 (Parameter): 모집단을 설명하는 어떤 값/ 모집단의 특성을 나타내는 값표본 (Sample): 모집단 일부/ 모집단 분석을 위해 추출한 한 집단의 관측치통계량 (Statistic): 모집단을 설명하는 어떤 값을 표본으로부터 구한 값/ 표본의 특..

빅데이터분석기사 필기 요약🔑 교차검증/ 홀드 아웃 교차 검증/ 랜덤 서브샘플링/ K-Fold Cross Validation/ LOOCV/ LpOCV/ RLT/ 부트스트랩 IV. 빅데이터 결과 해석   01. 분석 모형 평가 및 개선      1. 분석 모형 평가  1. 분석 모형 평가 [3] 교차 검증 (1) 교차 검증 | 홀드 아웃 교차 검증/ 랜덤 서브샘플링/ K-Fold Cross Validation/ LOOCV/ 부트스트랩교차 검증 (Cross Validation)- 모델의 일반화 오차에 대해- 신뢰할만한 추정치를 구하기 위하여- 훈련&평가 데이터를 기반한- 검증 기법홀드 아웃교차 검증랜덤서브샘플링K-FoldLOOCVLpOCVRLT부트스트랩Holdout Cross ValidationRandom ..

빅데이터분석기사 필기 요약🔑 회귀 모형 평가지표/ SSE/ SST/ SSR/ R²=결정계수/ R²adj/ Mallow's Cp/        분류 모형 평가지표/ 혼동 행렬/ ROC 곡선/ AUC/ 이익도표/ 홀드 아웃 교차 검증/ 다중 교차 검증       정확도/ 오차비율/ 민감도/ 특이도/ 거짓긍정률/ 정밀도/ F1-score/ 카파통계량 IV. 빅데이터 결과 해석   01. 분석 모형 평가 및 개선      1. 분석 모형 평가       1. 분석 모형 평가 모형의 유용성 판단/ 비교/ 평가 과정은 중요하다!모형을 만든 것으로 끝이 아니다!- 객관적인 평가지표를 통해 실무에서 사용 가능한지 평가- 기존 운영시스템과의 연계/ 통합을 통해 지속적인 개선분석 모형 평가란? 다음 사항들에 대해 분석하..

빅데이터분석기사 필기 요약🔑 비모수통계/ 부호 검정/ 윌콕슨 부호 순위 검정/ 윌콕슨 순위 합 검정/ 대응 표본 검정/        크루스칼-왈리스 검정/ 런 검정 III. 빅데이터 모델링   02. 분석기법 적용      1. 분석기법      2. 고급 분석기법 2. 고급 분석기법 [8] 비모수 통계 (1) 비모수 통계비모수 통계 (Non-parametric statistics)- 평균, 분산과 같은- 모집단의 분포에 대한 (분포 무관)- 모수성을 가정하지 않고 = 모수에 대한 가정을 전제하지 않고- 분석하는 통계적 방법그럼 모수는??모수: 모집단의 분포 특성을 규정짓는 척도 & 모집단의 특성치모수에 대한 통계적 추론: 모집단에서 추출한 표본 특성을 분석 → 모수에 대한 추론비모수 통계의 특징통계량..

빅데이터분석기사 필기 요약🔑 앙상블분석/ 배깅/ 부트스트랩/ 부스팅/ AdaBoost/        랜덤포레스트/ 배깅을 이용한 포레스트 구성/ 임의노드 최적화/        중요 매개변수/ 포레스트 크기/ 최대 허용 깊이/ 임의성 정도 III. 빅데이터 모델링   02. 분석기법 적용      1. 분석기법      2. 고급 분석기법    2. 고급 분석기법 [7] 앙상블 분석 (1) 앙상블 (Ensemble)앙상블 기법- 여러 개의- 동일 or 상이한 모형들의- 예측 or 분류 결과를 종합하여- 최종적인 의사결정에 활용하는 기법앙상블 특징: 신뢰성↑ 정확도↑ 원인분석 X 높은 신뢰성: 다양한 모형의 결과를 결합 → 단일 모형보다 높은 신뢰성 확보높은 정확도: 이상값 대응력 상승/ 전체 분산 감소 ..

빅데이터분석기사 필기 요약🔑 사회연결망분석(SNA)/ 연결정도/ 포괄성/ 밀도/ 연결정도 중심성/ 근접 중심성/ 매개 중심성/       감성분석/ 오피니언마이닝/ 텍스트마이닝/ 웹마이닝  III. 빅데이터 모델링   02. 분석기법 적용      1. 분석기법      2. 고급 분석기법       2. 고급 분석기법 [6] 비정형 데이터 분석 (1) 비정형 데이터 분석비정형 데이터 분석- 비정형 데이터 안에서- 통계적 규칙/ 패턴을 탐색하고- 의미있는 정보로 변환하여- 기업의 의사결정에 적용하는 분석기법 (2) 비정형 데이터 분석기법: 사회 연결망 분석/ 감성 분석/ 오피니언 마이닝/ 텍스트 마이닝/ 웹 마이닝사회 연결망 분석SNA감성 분석Sentiment Analysis오피니언 마이닝Opinion..

빅데이터분석기사 필기 요약🔑 딥러닝/ DNN/ 은닉층/ 역전파/ CNN/ 컨볼루션/ 피처맵/ 서브샘플링/ RNN III. 빅데이터 모델링   02. 분석기법 적용      1. 분석기법      2. 고급 분석기법  2. 고급 분석기법 [5] 딥러닝 분석 (1) 딥러닝딥러닝 ⊂ 머신러닝 ⊂ 인공지능딥러닝 (Deep Learning)- 여러 비선형 변환기법의 조합을 통해- 높은 수준의 추상화를 시도하는- 기계학습 알고리즘의 집합- 추상화(Abstraction): 많고 복잡한 데이터를 핵심 요약!딥러닝 부각이유- 기울기 소실 해결: 기존 인공신경망 모델의 문제점이었음- 분석 시간의 단축: 강력한 GPU를 연산에 활용함 → 하드웨어 연산속도↑- 데이터 확보 가능: 빅데이터 등장 & SNS 활용↑   (2) ..