서윤로그

빅데이터분석기사 필기 요약🔑 이상값/ 이상값 검출/ 통계 기법/ ESD/ 기하평균/ 사분위 수/ 표준화 점수/ 딕슨의 Q검정/ 그럽스 T-검정/ 카이제곱 검정       시각화/ 머신러닝 기법/ 마할라노비스 거리/ LOF/ iForest       이상값 처리/ 삭제/ 대체법/ 변환/ 박스플롯 해석/ 분류하여 처리 II. 빅데이터 탐색   01. 데이터 전처리      1. 데이터 정제       1. 데이터 정제 [3] 데이터 이상값 처리 (1) 데이터 이상값 개념데이터 이상값 (Data Outlier)- 관측된 데이터의 범위에서 많이 벗어난- 아주 작은 값 or 아주 큰 값- 입력 오류, 데이터 처리 오류 등의 이유로- 특정 범위에서 벗어난 데이터값 (2) 데이터 이상값 발생 원인 | 입력 오류/ ..

빅데이터분석기사 필기 요약🔑 데이터 전처리/ 데이터 정제/ 데이터 세분화/ 결측값/ 단순 대치법/ 다중 대치법 II. 빅데이터 탐색   01. 데이터 전처리      1. 데이터 정제         1. 데이터 정제 [1] 데이터 정제 (1) 데이터 전처리의 중요성데이터 전처리는 반드시 거쳐야 하는 과정!분석 결과에 직접 영향을 주므로, 반복적인 전처리 수행 필요!데이터 분석의 단계 중 가장 많은 시간 소요.. 전체 중 80% 정도..데이터 전처리 순서: 데이터 정제 → 결측값 처리 → 이상값 처리 → 분석 변수 처리 (2) 데이터 정제 개념 | 오류 데이터값을 정확한 데이터로 수정하거나 삭제하는 과정데이터 정제(Data Cleansing)- 결측값을 채우거나- 이상값을 제거하여- 데이터 신뢰도를 높이..

빅데이터분석기사 필기 요약🔑 빅데이터 저장 시스템/ 분산 파일 시스템/ 데이터베이스 클러스터/ NoSQL/ BASE/ CAP 이론 I. 빅데이터 분석 기획   03. 데이터 수집 및 저장 계획      1. 데이터 수집 및 전환      2. 데이터 적재 및 저장         2. 데이터 적재 및 저장 [2] 데이터 저장 (1) 빅데이터 저장기술빅데이터 저장 시스템: 대용량 데이터 집합을 저장, 관리하는 시스템- 대용량 저장공간/ 빠른 처리성능/ 확장성/ 신뢰성/ 가용성 등을 보장해야 함비대칭성(Asymmetric) 클러스터 파일 시스템: 메타데이터를 별도의 전용서버로 관리함 (접근 경로가 분리되어 있음) (2) 빅데이터 저장기술 분류      ⇒ 분산 파일 시스템/ 데이터베이스 클러스터/ NoSQL..

빅데이터분석기사 필기 요약🔑 데이터 적재/ 데이터 적재 아키텍처/ 서버 노드 아키텍처/ 데이터 아키텍처/ 네트워크 아키텍처/ 플루언티드 I. 빅데이터 분석 기획   03. 데이터 수집 및 저장 계획      1. 데이터 수집 및 전환      2. 데이터 적재 및 저장       2. 데이터 적재 및 저장 [1] 데이터 적재 (1) 데이터 적재 아키텍처 수립아키텍처 정의: 요구사항을 구현하기 위한 기반 기술을 정의- 요구사항을 반영하여 하드웨어, 소프트웨어 아키텍처 정의 → 정보시스템을 위한 기술적 기반이 됨!빅데이터 적재 아키텍처 요구사항 정의: 장비/ 소프트웨어/ 성능/ 인터페이스장비 요구사항 정의: 서버/ 네트워크/ 스토리지 장비 규격 정의소프트웨어 도입 요구사항 정의- 자체 구축(온프레미스): ..

빅데이터분석기사 필기 요약🔑 데이터 보안관리/ 비식별화/ 가명처리/ 총계처리/ 데이터값 삭제/ 범주화/ 데이터 마스킹/ 적정성 평가/ 데이터 품질검증 I. 빅데이터 분석 기획   03. 데이터 수집 및 저장 계획      1. 데이터 수집 및 전환         1. 데이터 수집 및 전환 [4] 데이터 비식별화 (1) 데이터 보안 관리수집 데이터 보안: 개인정보/ 데이터 연계/ 빅데이터 보안 관점에서 고려해야 한다.- 개인정보 보안 관점: 개인정보가 포함되어 있을 경우 삭제 혹은 비식별 조치- 데이터 연계 보안 관점: 다양한 데이터의 연계 처리 시 보안 취약점 제거- 빅데이터 보안 관점: 데이터 흐름에 대한 보안 고려/ 암호화를 통해 유출 시 무결성 유지 필요빅데이터 수명 주기별 보안 관리: 수집/ 저..

빅데이터분석기사 필기 요약🔑 데이터 속성/ 데이터 측정 척도/ 명목척도/ 순서척도/ 등간척도/ 비율척도/ 데이터 변환/ 평활화/ 집계/ 일반화/ 정규화 I. 빅데이터 분석 기획   03. 데이터 수집 및 저장 계획      1. 데이터 수집 및 전환         1. 데이터 수집 및 전환 [2] 데이터 유형 및 속성 파악 (1) 데이터 유형 | 구조/ 시간/ 저장 형태 관점에 따라 분류함구조 관점: 정형/ 비정형/ 반정형스키마 구조 또는 연산 가능 여부에 따라 분류한다.정형 데이터: 스키마(형태) 구조 기반 형태/ 고정된 필드에 저장/ 일관성 O/ 칼럼, 로우 구조- 관계형 데이터베이스(RDB), 스프레드시트(SpreadSheet)/ ERP/ CRM/ SCM반정형 데이터: 스키마 구조 형태 가짐/ 메..

빅데이터분석기사 필기 요약🔑 데이터 처리/ 데이터 수집/ ETL/ FTP/ Sqoop/ Crawling/ RSS/ Scrapy/ Apache Kafka/ Flume/ Scribe/ Chukwa I. 빅데이터 분석 기획   03. 데이터 수집 및 저장 계획      1. 데이터 수집 및 전환         1. 데이터 수집 및 전환 필터링: 목적에 맞지 않는 정보를 필터링하여 분석시간 및 저장공간을 효율적으로 사용- 정형 데이터: 오류 발견/ 보정/ 삭제/ 중복성 검사 등- 비정형 데이터: 자연어처리, 기계학습과 같은 추가 기술 적용 → 오류 및 중복과 같은 저품질 데이터 필터링변환: 분석하기 쉽도록 일관성 있는 형식으로 변환- 평활화/ 집계/ 일반화/ 정규화/ 속성 생성 기술을 사용정제: 데이터의 불일..

빅데이터분석기사 필기 요약🔑 분석문제/ 하향식 접근방식/ 상향식 접근방식/ 디자인사고/ 빅데이터 분석 방법론/ KDD/ CRISP-DM/ SEMMA I. 빅데이터 분석 기획   02. 데이터 분석 계획      1. 분석 방안 수립      2. 분석 작업 계획      1. 분석 방안 수립 [1] 분석 로드맵 설정 (1) 분석 로드맵 개념 | 단계별로 목표 명확히/ 선·후행 단계 고려/ 단계별 추진내용 정렬 (2) 분석 로드맵 단계데이터 분석체계 도입: 분석기회 발굴/ 과제 정의/ 로드맵 수립데이터 분석 유효성 검증: 알고리즘 설계/ 아키텍처 설계/ 파일럿 수행데이터 분석 확산 및 고도화: 변화 관리/ 시스템 구축/ 유관 시스템 고도화 [2] 분석 문제 정의 (1) 분석 문제의 의미과제: 처리해야할 ..