자격증/빅데이터분석기사-필기
-
[빅데이터분석기사 필기 요약] II.빅데이터 탐색 - 01. 데이터 전처리 (3)자격증/빅데이터분석기사-필기 2021. 3. 14. 18:46
빅데이터분석기사 필기 요약🔑 변수/ 종속변수/ 독립변수/ 변수선택/ 필터기법/ 정보 소득/ 카이제곱 검정/ 피셔 스코어/ 상관계수/ 래퍼기법/ 전진선택법/ 후진제거법/ 단계적방법/ RFE/ SFS/ 유전 알고리즘/ 단변량 선택/ mRMR/ 임베디드기법/ 라쏘/ 릿지/ 엘라스틱넷/ SelectFromModel II. 빅데이터 탐색 01. 데이터 전처리 1. 데이터 정제 2. 분석 변수 처리 2. 데이터 정제 [1] 변수 선택 (1) 변수 개념변수(Feature): 데이터 모델에서 예측에 사용되는 입력변수RDBMS에서 속성/열 = 머신러닝에서 변수변수 유형: 알려진 값 & 예측값- 알려진 값: 변수/ 속성/ 예측변수/ 차원/ 관측치/ 독립변수- 예측 ..
-
[빅데이터분석기사 필기 요약] II.빅데이터 탐색 - 01. 데이터 전처리 (2)자격증/빅데이터분석기사-필기 2021. 3. 14. 00:13
빅데이터분석기사 필기 요약🔑 이상값/ 이상값 검출/ 통계 기법/ ESD/ 기하평균/ 사분위 수/ 표준화 점수/ 딕슨의 Q검정/ 그럽스 T-검정/ 카이제곱 검정 시각화/ 머신러닝 기법/ 마할라노비스 거리/ LOF/ iForest 이상값 처리/ 삭제/ 대체법/ 변환/ 박스플롯 해석/ 분류하여 처리 II. 빅데이터 탐색 01. 데이터 전처리 1. 데이터 정제 1. 데이터 정제 [3] 데이터 이상값 처리 (1) 데이터 이상값 개념데이터 이상값 (Data Outlier)- 관측된 데이터의 범위에서 많이 벗어난- 아주 작은 값 or 아주 큰 값- 입력 오류, 데이터 처리 오류 등의 이유로- 특정 범위에서 벗어난 데이터값 (2) 데이터 이상값 발생 원인 | 입력 오류/ ..
-
[빅데이터분석기사 필기 요약] II.빅데이터 탐색 - 01. 데이터 전처리 (1)자격증/빅데이터분석기사-필기 2021. 3. 13. 21:43
빅데이터분석기사 필기 요약🔑 데이터 전처리/ 데이터 정제/ 데이터 세분화/ 결측값/ 단순 대치법/ 다중 대치법 II. 빅데이터 탐색 01. 데이터 전처리 1. 데이터 정제 1. 데이터 정제 [1] 데이터 정제 (1) 데이터 전처리의 중요성데이터 전처리는 반드시 거쳐야 하는 과정!분석 결과에 직접 영향을 주므로, 반복적인 전처리 수행 필요!데이터 분석의 단계 중 가장 많은 시간 소요.. 전체 중 80% 정도..데이터 전처리 순서: 데이터 정제 → 결측값 처리 → 이상값 처리 → 분석 변수 처리 (2) 데이터 정제 개념 | 오류 데이터값을 정확한 데이터로 수정하거나 삭제하는 과정데이터 정제(Data Cleansing)- 결측값을 채우거나- 이상값을 제거하여- 데이터 신뢰도를 높이..
-
[빅데이터분석기사 필기 요약] I.빅데이터 분석 기획 - 03. 데이터 수집 및 저장 계획 (5)자격증/빅데이터분석기사-필기 2021. 3. 13. 01:17
빅데이터분석기사 필기 요약🔑 빅데이터 저장 시스템/ 분산 파일 시스템/ 데이터베이스 클러스터/ NoSQL/ BASE/ CAP 이론 I. 빅데이터 분석 기획 03. 데이터 수집 및 저장 계획 1. 데이터 수집 및 전환 2. 데이터 적재 및 저장 2. 데이터 적재 및 저장 [2] 데이터 저장 (1) 빅데이터 저장기술빅데이터 저장 시스템: 대용량 데이터 집합을 저장, 관리하는 시스템- 대용량 저장공간/ 빠른 처리성능/ 확장성/ 신뢰성/ 가용성 등을 보장해야 함비대칭성(Asymmetric) 클러스터 파일 시스템: 메타데이터를 별도의 전용서버로 관리함 (접근 경로가 분리되어 있음) (2) 빅데이터 저장기술 분류 ⇒ 분산 파일 시스템/ 데이터베이스 클러스터/ NoSQL..
-
[빅데이터분석기사 필기 요약] I.빅데이터 분석 기획 - 03. 데이터 수집 및 저장 계획 (4)자격증/빅데이터분석기사-필기 2021. 3. 12. 20:42
빅데이터분석기사 필기 요약🔑 데이터 적재/ 데이터 적재 아키텍처/ 서버 노드 아키텍처/ 데이터 아키텍처/ 네트워크 아키텍처/ 플루언티드 I. 빅데이터 분석 기획 03. 데이터 수집 및 저장 계획 1. 데이터 수집 및 전환 2. 데이터 적재 및 저장 2. 데이터 적재 및 저장 [1] 데이터 적재 (1) 데이터 적재 아키텍처 수립아키텍처 정의: 요구사항을 구현하기 위한 기반 기술을 정의- 요구사항을 반영하여 하드웨어, 소프트웨어 아키텍처 정의 → 정보시스템을 위한 기술적 기반이 됨!빅데이터 적재 아키텍처 요구사항 정의: 장비/ 소프트웨어/ 성능/ 인터페이스장비 요구사항 정의: 서버/ 네트워크/ 스토리지 장비 규격 정의소프트웨어 도입 요구사항 정의- 자체 구축(온프레미스): ..
-
[빅데이터분석기사 필기 요약] I.빅데이터 분석 기획 - 03. 데이터 수집 및 저장 계획 (3)자격증/빅데이터분석기사-필기 2021. 3. 12. 11:33
빅데이터분석기사 필기 요약🔑 데이터 보안관리/ 비식별화/ 가명처리/ 총계처리/ 데이터값 삭제/ 범주화/ 데이터 마스킹/ 적정성 평가/ 데이터 품질검증 I. 빅데이터 분석 기획 03. 데이터 수집 및 저장 계획 1. 데이터 수집 및 전환 1. 데이터 수집 및 전환 [4] 데이터 비식별화 (1) 데이터 보안 관리수집 데이터 보안: 개인정보/ 데이터 연계/ 빅데이터 보안 관점에서 고려해야 한다.- 개인정보 보안 관점: 개인정보가 포함되어 있을 경우 삭제 혹은 비식별 조치- 데이터 연계 보안 관점: 다양한 데이터의 연계 처리 시 보안 취약점 제거- 빅데이터 보안 관점: 데이터 흐름에 대한 보안 고려/ 암호화를 통해 유출 시 무결성 유지 필요빅데이터 수명 주기별 보안 관리: 수집/ 저..
-
[빅데이터분석기사 필기 요약] I.빅데이터 분석 기획 - 03. 데이터 수집 및 저장 계획 (2)자격증/빅데이터분석기사-필기 2021. 3. 11. 19:41
빅데이터분석기사 필기 요약🔑 데이터 속성/ 데이터 측정 척도/ 명목척도/ 순서척도/ 등간척도/ 비율척도/ 데이터 변환/ 평활화/ 집계/ 일반화/ 정규화 I. 빅데이터 분석 기획 03. 데이터 수집 및 저장 계획 1. 데이터 수집 및 전환 1. 데이터 수집 및 전환 [2] 데이터 유형 및 속성 파악 (1) 데이터 유형 | 구조/ 시간/ 저장 형태 관점에 따라 분류함구조 관점: 정형/ 비정형/ 반정형스키마 구조 또는 연산 가능 여부에 따라 분류한다.정형 데이터: 스키마(형태) 구조 기반 형태/ 고정된 필드에 저장/ 일관성 O/ 칼럼, 로우 구조- 관계형 데이터베이스(RDB), 스프레드시트(SpreadSheet)/ ERP/ CRM/ SCM반정형 데이터: 스키마 구조 형태 가짐/ 메..
-
[빅데이터분석기사 필기 요약] I.빅데이터 분석 기획 - 03. 데이터 수집 및 저장 계획 (1)자격증/빅데이터분석기사-필기 2021. 3. 11. 14:49
빅데이터분석기사 필기 요약🔑 데이터 처리/ 데이터 수집/ ETL/ FTP/ Sqoop/ Crawling/ RSS/ Scrapy/ Apache Kafka/ Flume/ Scribe/ Chukwa I. 빅데이터 분석 기획 03. 데이터 수집 및 저장 계획 1. 데이터 수집 및 전환 1. 데이터 수집 및 전환 필터링: 목적에 맞지 않는 정보를 필터링하여 분석시간 및 저장공간을 효율적으로 사용- 정형 데이터: 오류 발견/ 보정/ 삭제/ 중복성 검사 등- 비정형 데이터: 자연어처리, 기계학습과 같은 추가 기술 적용 → 오류 및 중복과 같은 저품질 데이터 필터링변환: 분석하기 쉽도록 일관성 있는 형식으로 변환- 평활화/ 집계/ 일반화/ 정규화/ 속성 생성 기술을 사용정제: 데이터의 불일..