서윤로그

데이터자격검정센터에서 주관하는 SQL 관련 자격증은 2가지 SQL 개발자 (SQLD; SQL Developer) SQL 전문가 (SQLP; SQL Professional) SQLD보다 SQLP가 상위수준 SQLD가 2급이라면, SQLP가 1급이라고 볼 수 있음. 검정센터에서 정의한 SQL 개발자와 전문가를 비교하면 다음과 같다. 확실히 전문가 직무는 개발자 직무의 플러스 알파! SQL 개발자 (SQLD; SQL Developer) SQL 전문가 (SQLP; SQL Professional) SQL 개발자(SQLD*, SQL Developer)란 데이터베이스와 데이터 모델링에 대한 지식을 바탕으로 응용 소프트웨어를 개발하면서 데이터를 조작하고 추출하는데 있어서 정확하고 최적의 성능을 발휘하는 SQL을 작성할..

빅데이터 분석기사란, 빅데이터 이해를 기반으로 빅데이터 분석 기획, 빅데이터 수집·저장·처리, 빅데이터 분석 및 시각화를 수행하는 실무자를 말한다. 직무분야: 정보통신 중직무분야: 정보기술 직무내용: 대용량의 데이터 집합으로부터 유용한 정보를 찾고 결과를 예측하기 위해 목적에 따라 분석기술과 방법론을 기반으로 정형/비정형 대용량 데이터를 구축, 탐색, 분석하고 시각화를 수행하는 업무를 수행한다. 필기 시험 주요내용 필기검정방법: 객관식 문제개수: 80문제 (4과목 20문제씩) 시험시간: 120분 (총 2시간) 필기 4과목 - 1과목: 빅데이터 분석기획 (20문제) - 2과목: 빅데이터 탐색 (20문제) - 3과목: 빅데이터 모델링 (20문제) - 4과목: 빅데이터 결과 해석 (20문제) 필기 과목명 주요..

[빅데이터분석기사 필기 4과목] IV. 빅데이터 결과 해석 02. 분석 결과 해석 및 활용  데이터 시각화 (Data Visualization)데이터에 대한 이해를 돕기 위해, 그림/도형 등의 그래픽 요소들을 이용하여 데이터를 묘사/표현기하/도형 양식을 이용하여, 데이터 특징을 설명할 수 있는 모양으로 만든다데이터 시각화 기능: 설명/ 탐색/ 표현데이터 시각화 목적: 정보전달/ 설득데이터 시각화 절차- 설명: 분석 결과를 설명사용자가 주제에 대해 더 잘 이해!① 구조화- 탐색: 숨겨진 관계/패턴 찾음- 정보 전달 (실용적/과학적 측면)② 시각화- 표현: 이야기 전달/표현/공감- 설득 (추상적/예술적 측면)③ 시각표현  데이터 시각화 유형: 시간/ 분포/ 관계/ 비교/ 공간 시각화시간 시각화분포 시각화관계..

[빅데이터분석기사 필기 4과목] IV. 빅데이터 결과 해석 01. 분석 모형 평가 및 개선  분석모형 평가기준: 일반화 가능성/ 효율성/ 예측과 분류의 정확성일반화 가능성효율성예측과 분류의 정확성데이터를 확장하여 적용할 수 있는가(안정적인 결과를 제공하는가)적은 입력변수가 필요할수록효율성이 높은 것으로 평가함정확성 측면에서 평가함  모형 평가지표회귀 모형 (예측 모형) 평가지표분류 모형 평가지표- 실제값/ 예측값/ 평균값- 오차제곱합 SSE- 전체제곱합 SST- 회귀제곱합 SSR- 결정계수 R² = SSR / SST (and 수정된 결정계수)- Mallow's Cp- 혼동 행렬 Confusion Matrix- 정확도/ 민감도/ 정밀도/ F1-score- ROC Curve- AUC (Area Under R..

[빅데이터분석기사 필기 3과목] III. 빅데이터 모델링 02. 분석기법 적용 - [2] 고급 분석기법  범주형 자료분석: 종속변수가 1개&범주형인 데이터를 분석하여, 모형&독립변수의 유의성을 알아보는 분석방법독립변수(X)가 범주형독립변수(X)가 연속형분할표분석/ 카이제곱검정/ 피셔정확검정로지스틱회귀분석  분할표 분석 (Contingency Table): 행-독립/ 열-종속/ 주변합-마지막 행열에 총계승산비: 특정 조건이 있을 때의 성공승산을, 다른 조건이 있을 때의 성공승산으로 나눈 값상대위험도 (RR; Relative Risk)승산비(Odds Ratio) = 교차비 = 대응위험도비교집단 위험률 대비, 관심집단 위험률승산 = p / (1-p) = (특정 사건 발생 확률) / (발생하지 않을 확률)RR ..

[빅데이터분석기사 필기 3과목] III. 빅데이터 모델링 02. 분석기법 적용 - [1] 분석기법  회귀분석: 1개 이상의 독립변수들이 종속변수에 미치는 영향을 추정할 수 있는 통계기법변수들 사이의 인과관계를 밝히고 모형을 적합하여, 관심있는 변수를 예측/추론하기 위한 분석방법회귀모형 가정회귀모형 검증선형성    독립변수-종속변수 관계 선형통계적 유의미F-통계량, p-value독립성    잔차-독립변수 값 관계없음회귀계수 유의미T-통계량, p-value, 신뢰구간등분산성오차들의 분산 일정모형의 설명력결정계수(R²)비상관성오차들끼리 상관없음모형이 데이터를 적합잔차 그래프정상성    오차항이 정규분포 이룸데이터가 가정 만족5개 가정  편차 vs. 오차 vs. 잔차편차 Deviation오차 Error잔차 Re..

[빅데이터분석기사 필기 3과목] III. 빅데이터 모델링 01. 분석 모형 설계  모델(모형): 객체/시스템/개념에 대한 구조/작업을 보여주기 위한 패턴/계획/설명- 탐색적 데이터 분석: 현상에서 패턴을 발견- 통계적 추론: 현상에서 결론을 도출- 기계 학습 (머신러닝): 현상을 예측 빅데이터 분석 모형: 통계/ 데이터마이닝/ 머신러닝 기반통계 기반 분석모형: 기술통계/ 상관분석/ 회귀분석/ 분산분석/ 주성분분석/ 판별분석데이터마이닝 기반 분석모형: 분류/ 예측/ 군집화/ 연관규칙 분석머신러닝 기반 분석모형: 지도학습/ 비지도학습통계 기반 분석모형데이터마이닝 기반 분석모형머신러닝 기반 분석모형기술통계분포 특징 파악분류Classification지도학습정답 포함/ 예측상관분석단순-변수 2개통계적로지스틱회귀로..

[빅데이터분석기사 필기 2과목] II. 빅데이터 탐색 02. 데이터 탐색  데이터 탐색: 데이터 분석 전, 그래프/통계적 방법으로 다양한 각도에서 데이터 특징 파악&직관적으로 보는 분석방법탐색적 데이터 분석(EDA)의 4가지 주제: 저항성/ 잔차해석/ 자료재표현/ 현시성 (Four R's)저항성잔차 해석자료 재표현현시성ResistanceResidualsRe-expressionRepresentation이상값에 영향 적게 받음주 경향으로부터 벗어난 정도적당한 척도로 바꾸는 것쉽게 이해할 수 있도록 시각화  개별 변수/ 다차원 데이터 탐색 방법범주형 (질적)수치형 (양적)범주형-범주형수치형-수치형범주형-수치형- 명목척도&순위척도- 빈도수/ 최빈값/ 비율- 막대형 그래프- 등간척도&비율척도- 평균/ 분산/ 표준..