서윤로그

[빅데이터분석기사 필기 2과목] II. 빅데이터 탐색 01. 데이터 전처리  데이터 전처리: 데이터 정제 - 결측값 처리 - 이상값 처리 - 분석 변수 처리데이터 정제(Cleansing)- 결측값&이상값 처리를 통해 데이터 신뢰도를 높이는 작업- 오류 데이터값을 정확한 데이터로 수정/삭제하는 과정- 오류 원인 분석 - 정제 대상 선정 - 정제 방법 결정 데이터 오류 원인: 결측값(Missing Value)/ 노이즈(Noise)/ 이상값(Outlier)결측값:  누락된 값노이즈:  잘못 판단된 값이상값:  범위에서 많이 벗어난 값필수적인 데이터가 입력되지 않음(ex) NA, NaN, NULL, inf, 999999입력되지 않았는데 입력되었다고 판단됨범위에서 많이 벗어난 아주 작은/큰 값  데이터 일관성 유..

[빅데이터분석기사 필기 1과목] I. 빅데이터 분석 기획 03. 데이터 수집 및 저장 계획  데이터 처리기술: 필터링/ 변환/ 정제/ 통합/ 축소필터링변환정제통합축소목적에 맞지 않는 정보- 보정/ 삭제/ 중복성 등일관성 있는 형식- 평활화/집계/정규화 등불일치성 교정- 결측값/ 잡음 처리 등출처 다름, 상호연관성 있는 데이터 결합불필요한 데이터 축소고유한 특성은 손상 X  데이터 수집 프로세스: 수집데이터 도출 - 목록작성 - 소유기관 파악&협의 - 데이터 유형분류&확인 - 수집기술 선정 - 수집주기 결정 - 수집실행수집 데이터의 대상: 내부 데이터 - 서비스/ 네트워크/ 마케팅 & 외부 데이터 - 소셜/ 네트워크/ 공공내부 데이터 - 주로 정형 데이터외부 데이터 - 주로 비정형 데이터서비스네트워크마케팅..

[빅데이터분석기사 필기 1과목] I. 빅데이터 분석 기획 01. 빅데이터의 이해 빅데이터: 수십 TB 이상의 정형/비정형 데이터 & 데이터에서 가치추출&결과분석하는 기술DIKW 피라미드: Data - Information - Knowledge - WisdomData 데이터Information 정보Knowledge 지식Wisdom 지혜객관적 사실데이터간 연관관계&의미도출정보를 구조화&일반화깊은이해 → 창의적 아이디어제품X가 사이트A에서 10,000원제품X는 사이트A보다 사이트B에서 더 비싸게 판매함사이트A에서 더 싸므로 제품X를 구매할 계획임사이트B의 타제품들도 사이트A보다 더 비쌀 것으로 예측됨  바이트 크기 비교: 킬로 테라(=10^12바이트) (KMGT PEZY)빅데이터 특징: 3V (규모/ 다양성/..

빅데이터분석기사 필기 요약🔑 성능모니터링/ 모니터링솔루션/ 샤이니(R)/ 분석주기/ 성능이벤트/ 임계치/ 리모델링 IV. 빅데이터 결과 해석   02. 분석 결과 해석 및 활용      1. 분석 결과 해석      2. 분석 결과 시각화      3. 분석 결과 활용    3. 분석 결과 활용 [3] 분석 모형 모니터링 (1) 분석 모형 모니터링 | 실시간/배치(일괄) 스케줄러 실행 → 주기별로 자동 모니터링 → 이상 시에만 확인분석 모형의 성과가 예상했던 수준으로 나오고 있는지 모니터링!모니터링 솔루션: 자체 상태/ 정상 작동상태 유무/ 데이터 처리 및 분석 소요시간/ 모델에 따른 처리성능 관점에서 모니터링 수행R Shiny(샤이니)- 모델링 결과를 간단히 배포 가능- 구성: 사용자 작업 파일(ui..

빅데이터분석기사 필기 요약🔑 분석모형전개/ 운영시스템적용/ 운영및개선방안/ 예측오차/ 추적신호/ 활용분야분류/        초기아이디어개발관점/ 마인드맵방식/ 친화도표방식/ 피라미드방식/ 가치사슬관점/       서비스모형/ 채널시스템활용/ 비즈니스모형활용/ 비즈니스모델캔버스 IV. 빅데이터 결과 해석   02. 분석 결과 해석 및 활용      1. 분석 결과 해석      2. 분석 결과 시각화      3. 분석 결과 활용    3. 분석 결과 활용 [1] 분석 모형 전개 (1) 빅데이터 모형 운영 시스템 적용방안 | 모형개발&운영 → 적용방안 → 적용단계빅데이터 모형 개발 및 운영:분석목적 정의 → 가설검토 → 데이터 준비&처리 → 모델링 및 분석 → 정확도&성능평가 → 운영분석목적 정의가설검토..

빅데이터분석기사 필기 요약🔑 시간시각화/ 막대그래프/ 누적 막대그래프/ 선그래프/ 영역차트/ 계단식그래프       공간시각화/ 등치지역도/ 등치선도/ 도트맵/ 도트플롯맵/ 버블맵/ 버블플롯맵/ 카토그램       관계시각화/ 산점도/ 산점도 행렬/ 버블차트/ 히스토그램       비교시각화/ 플로팅바차트/ 히트맵/ 체르노프페이스/ 스타차트/ 평행좌표그래프/ 인포그래픽 IV. 빅데이터 결과 해석   02. 분석 결과 해석 및 활용      1. 분석 결과 해석      2. 분석 결과 시각화  2. 분석 결과 시각화 [1] 시공간 시각화 (1) 시간 시각화 | 시간에 따른 데이터 변화를 표현주요 관심요소: 경향성/트렌드/추세시간 시각화 유형: 막대그래프/ 누적 막대그래프/ 선그래프/ 영역차트/ 계단식그..

빅데이터분석기사 필기 요약🔑 데이터시각화/ 시간시각화/ 분포시각화/ 관계시각화/ 비교시각화/ 공간시각화/        시각화도구/ 태블로/ 인포그램/ 차트블록/ 데이터래퍼/        비즈니스기여도평가/ 총소유비용(TCO)/ 투자대비효과(ROI)/ 순현재가치(NPV)/ 내부수익률(IRR)/ 투자회수기간(PP) IV. 빅데이터 결과 해석   02. 분석 결과 해석 및 활용      1. 분석 결과 해석    1. 분석 결과 해석 [1] 분석 모형 해석 (1) 데이터 시각화 (Data Visualization)데이터 시각화란- 데이터에 대한 이해를 돕기위해,- 그림/도형과 같은 그래픽 요소들을 이용하여,- 데이터를 묘사/표현하는 과정데이터 시각화를 어떻게 하는가- 선/막대/원 등의 기하나 도형과 같은 양..

빅데이터분석기사 필기 요약🔑 과대적합방지/ 데이터증강/ 모델복잡도감소/ 가중치규제/ L1규제/ L2규제/ 드롭아웃/        매개변수최적화/ 확률적 경사 하강법/ 모멘텀/ AdaGrad/ Adam/       취합방법론/ 다수결/ 배깅/ 페이스팅/ 랜덤서브스페이스/ 랜덤패치/ 랜덤포레스트/        부스팅방법론/ 에이다부스트/ 그래디언트부스트 IV. 빅데이터 결과 해석   01. 분석 모형 평가 및 개선      1. 분석 모형 평가      2. 분석 모형 개선  2. 분석 모형 개선 [1] 과대 적합 방지 (1) 과대 적합 (Over-fitting) | 지나친 학습 → 일반화↓과대 적합- 제한된 학습데이터셋에- 지나치게 특화되어,- 새로운 데이터에 대한- 오차가 매우 커지는 현상과대 적합이 ..