서윤로그

[MySQL] SQL 숫자형함수 사용예시 (ABS, ROUND, CEIL, FLOOR, MOD, POWER, SQRT)

서윤L — Tue, 13 Aug 2024 16:54:23 +0900

1️⃣ 절댓값 :: ABS

SELECT ABS(숫자) ⇒ 입력한 숫자의 절댓값을 반환

ABS 예시 (1)
ABS 예시 (2)

2️⃣ 반올림 :: ROUND

SELECT ROUND(숫자, N) ⇒ 입력한 숫자의 소숫점 아래 N의 자리까지 반올림한 값을 반환

ROUND 예시 (1)
ROUND 예시 (2)

3️⃣ 올림 / 내림 :: CEIL / FLOOR

SELECT CEIL(숫자) : 입력한 숫자의 올림값(정수)를 반환
SELECT FLOOR(숫자) : 입력한 숫자의 내림값(정수)를 반환

CEIL 예시
FLOOR 예시

4️⃣ 나머지 :: MOD

SELECT MOD(a, b) ⇒ a를 b로 나눈 나머지값을 반환

MOD 예시 (1)
MOD 예시 (2)

5️⃣ 거듭제곱 :: POWER

SELECT POWER(숫자, N) ⇒ 입력한 숫자를 N번 거듭제곱한 값을 반환 (입력한 숫자의 N승)

POWER 예시 (1)
POWER 예시 (2)

6️⃣ 제곱근 :: SQRT

SELECT SQRT(숫자) ⇒ 입력한 숫자의 제곱근 값을 반환

SQRT 예시 (1)
SQRT 예시 (2)

[MySQL] SQL 연산자 모음 및 사용예시 (BETWEEN, IN, LIKE, UNION, UNION ALL)

서윤L — Tue, 13 Aug 2024 01:18:58 +0900

✅ SQL 연산자 종류

연산자 구분		연산자	연산자 설명
비교 연산자		=	같음
		>	보다 큼 (초과)
		<	보다 작음 (미만)
		>=	보다 크거나 같음 (이상)
		<=	보다 작거나 같음 (이하)
		<> , !=	같지 않음
논리 연산자		AND	AND 앞뒤의 조건을 모두 만족할 때
		OR	OR 앞뒤의 조건 중 하나라도 만족할 때
		NOT	NOT 뒤의 조건과 반대일 때
산술 연산자		+	덧셈
		-	뺄셈
		*	곱셈
		/	나눗셈
집합 연산자		UNION	2개 이상의 테이블의 합집합 (중복 행은 제거함)
집합 연산자		UNION ALL	2개 이상의 테이블을 중복행 포함해 합침
특수 연산자	BETWEEN	BETWEEN a AND b	a와 b의 값 사이
	BETWEEN	NOT BETWEEN a AND b	a와 b의 값 사이가 아님
	IN	IN (List)	리스트에 포함됨 값일 때
	IN	NOT IN (List)	리스트에 포함된 값이 아닐 때
	LIKE	LIKE 'A%'	문자열이 A로 시작하는
		LIKE '%A'	문자열이 A로 끝나는
		LIKE '%A%'	문자열이 A를 포함하는
		NOT LIKE '%A%'	문자열이 A를 포함하지 않는
	NULL	IS NULL	NULL과 같을 때
	NULL	IS NOT NULL	NULL이 아닐 때

1️⃣ 집합 연산자 UNION , UNION ALL

집합 연산자를 사용하려면, 대상 테이블들의 열 개수와 데이터타입이 일치해야 합니다. 테이블들을 위아래로 붙이는 셈이니까요.
명령어는 아래 예시처럼 SELECT문 사이에 써줍니다.

UNION	UNION ALL
2개 이상의 테이블에서 UNION을 사용하면, 테이블간 중복되는 행은 제외시켜줍니다. 다시말해 2개 이상 중복되는 그대로 남겨져있지 않고 1개만 남아있도록 정리해줍니다. 이렇게 중복이 제외되므로, 합쳐진 결과 테이블의 행수는 원래 테이블들의 행수의 합보다 작을 수 있습니다.	같은 상황에서 UNION ALL을 사용하면, 합쳐지면서 중복되는 행이 생겨도 제외하지 않습니다. 같은 데이터 행이 2개 3개 있어도 그대로 유지됩니다. 따라서 합쳐진 결과 테이블의 행수는 원래 테이블들의 행수의 합과 같아야 합니다.

2️⃣ 특수 연산자

특수 연산자는 보통 WHERE 절에서 조건을 걸어, 데이터를 필터링 하는데에 많이 쓰입니다.
위에서 정리했듯이, BETWEEN, IN, LIKE, NULL 등이 있습니다.

2️⃣-1. BETWEEN 사용예시

BETWEEN a AND b	NOT BETWEEN a AND b

2️⃣-2. IN 사용예시

주로 IN 뒤에 리스트를 사용하며, 이 리스트에 포함된 값인지 아닌지를 판단하는 조건절로 많이 쓰입니다.

IN (List)	NOT IN (List)

2️⃣-3. LIKE 사용예시

문자열을 기준으로 판단하고자 할 때, WHERE 조건절에서 LIKE를 사용하면 됩니다.

LIKE 'S%' : S로 시작하는	LIKE '%N' : N으로 끝나는

LIKE '%AE%' : AE를 포함하는	NOT LIKE '%EO%' : EO를 포함하지 않는

참고1: boostcourse 강좌 (기초 데이터 분석을 위한 핵심 SQL)

[MySQL] 뷰VIEW 생성, 수정, 삭제하기 (CREATE VIEW, ALTER VIEW, DROP VIEW)

서윤L — Mon, 12 Aug 2024 20:55:28 +0900

0️⃣ 뷰 VIEW

뷰는 사용자가 정의한 "가상의 테이블" 입니다.
이름 그대로, 1개 이상의 테이블에 있는 데이터를 "보여주기만 하는" 용도입니다. 데이터를 저장하지는 않습니다.
가상이긴 하지만 테이블이므로, 보통 테이블과 마찬가지로 중복되는 열을 가질 수 없습니다.
뷰를 생성/수정/삭제하기 위해 사용하는 명령어 또한, 테이블의 명령어와 동일합니다.
아래와 같이 생성할 때는 CREATE, 수정은 ALTER, 삭제는 DROP 을 사용합니다.

1️⃣ 뷰 생성하기 :: CREATE VIEW

예를들어 JOIN, UNION 등의 결과물이 계속 필요한 경우, 수시로 만들지 않고 뷰에 임시저장해서 사용하면 편리합니다.
서버를 종료하기 전까지는 테이블처럼 불러와서 사용할 수 있습니다.
아래처럼 CREATE VIEW 뷰이름 AS ... 로 뷰를 생성할 수 있습니다.

2️⃣ 뷰 수정하기 :: CREATE VIEW

이미 생성한 뷰를 수정하려면 ALTER VIEW 뷰이름 AS ... 를 사용합니다.
또는 CREATE OR REPLACE 를 사용해도 되는데, 뷰를 생성하거나 이미 해당 이름의 뷰가 있다면 덮어씌운다는 의미입니다.

3️⃣ 뷰 삭제하기 :: DROP VIEW

생성한 뷰를 삭제하고 싶다면 DROP VIEW 뷰이름 을 사용합니다.
굳이 삭제하지 않아도 서버를 종료하면 사라지지만, 뷰를 삭제할 필요가 생길 수 있겠죠.

참고1: boostcourse 강좌 (기초 데이터 분석을 위한 핵심 SQL)

[MySQL] 서브쿼리Subquery 활용해 데이터 조회하기

서윤L — Sat, 10 Aug 2024 21:21:25 +0900

0️⃣ 서브쿼리 Subquery

서브쿼리란, 말그대로 쿼리 안에 다시 쿼리를 사용하는 SQL문을 말합니다.
- 메인쿼리의 특정 절 안에서 괄호를 치고, 그 괄호 안에서 SELECT~ FROM~ .. 쿼리가 들어가는 형태입니다.
- 이 때 어떤 절 안에 들어가느냐에 따라, 아래처럼 다르게 칭합니다.

인라인 뷰 (Inline view)	스칼라 서브쿼리 (Scala Subquery)	서브쿼리
- FROM절 안에 들어가는 서브쿼리 - 가상의 테이블을 하나 만드는 효과	- SELECT절 안에 들어가는 서브쿼리 - 연산속도가 비교적 느려 잘 사용하지 않음	- WHERE절 안에 들어가는 서브쿼리

1️⃣ FROM 절 내 서브쿼리 :: 인라인 뷰

FROM절은 원래 데이터를 조회할 테이블을 선택하는 부분이니,
FROM절 안에서 사용하는 서브쿼리는 가상의 테이블을 하나 만들어내는 효과를 발휘합니다.
따라서, 아래 예시의 AS A 부분처럼 테이블 이름을 지정해줘야 합니다.
아래는 sales 테이블에서 회원별로 그룹핑해서 주문횟수를 조회하고, 그 횟수가 3번 이상인 데이터만 출력한 결과입니다.

2️⃣ SELECT 절 내 서브쿼리 :: 스칼라 서브쿼리

스칼라란 1개의 값만 보유하는 원자량을 의미합니다.
마찬가지로 스칼라 서브쿼리는, 1개 행 1개 열만 반환해야 합니다. 즉 1개 값만 반환해야 합니다.
아래 예시에서는 "평균구매개수" 라는 1개 값을 반환해서 하나의 열로 붙여주었습니다.

스칼라 서브쿼리를 조인(Join)처럼 사용할 수도 있습니다.
아래 예시에서는 sales 테이블을 전부 조회하고,
회원번호(member_no) 기준으로 customer 테이블의 성별(gender)를 가져와서 맨 끝에 붙였습니다.
이렇게 사용할 수는 있지만, 조인보다 처리속도가 느리기 때문에 일반적으로는 잘 사용하지 않습니다.

3️⃣ WHERE 절 내 서브쿼리

WHERE절은 테이블에서 특정 조건에 맞는 행만 필터링하는 부분입니다.
그러니 WHERE절 내 서브쿼리로 한번 걸러낸 데이터 리스트를 들고와서, 메인쿼리 WHERE절에서 또 필터링하는 것입니다.
따라서 WHERE절 내 서브쿼리는 "중첩 서브쿼리" 라고도 부릅니다.
아래는 customer 테이블에서 가입연도가 2019년인 회원번호만 들고와서 (서브쿼리)
sales 테이블에서 해당 회원들의 총 주문횟수를 구하는 쿼리문입니다. (메인쿼리)

참고1: boostcourse 강좌 (기초 데이터 분석을 위한 핵심 SQL)

참고2: https://buly.kr/3CMGPjd

[MySQL] 조인JOIN 으로 테이블 결합하기 (INNER JOIN, LEFT JOIN, RIGHT JOIN

서윤L — Sat, 10 Aug 2024 01:07:54 +0900

0️⃣ 조인JOIN 으로 테이블 결합하기

JOIN은 테이블 간의 관계를 이용해서, 2개 이상의 테이블을 결합하는 SQL 명령어입니다.
- 테이블 간의 관계가 있다는 것은 곧, 테이블 간 연결이 가능하다는 의미입니다.
- 그리고 테이블 간 연결은, 한 테이블의 PK(기본키)가 다른 테이블의 FK(외래키)로 들어가 있어서 가능한 것입니다.
- 다시 말해, 2개 이상의 테이블 간에 공통된 값이 있다는 뜻입니다.

1️⃣ 내부조인 INNER JOIN

INNER JOIN은 두 테이블 간의 공통값이 매칭되는 데이터만 결합해서 조회해주는 조인 명령어입니다.
따라서 양측 테이블에서 매칭되지 않는 데이터는 전부 제외됩니다.
공통값을 찾을 열은 ON 뒤에 지정합니다.
아래에선 customer의 회원번호 열과 sales의 회원번호 열이 일치하면 결합하도록 지정했습니다.

아래는 3개 테이블을 INNER JOIN 해본 예시입니다.

2️⃣ 외부조인 OUTER JOIN — LEFT JOIN & RIGHT JOIN

OUTER JOIN은 위의 INNER JOIN과 다르게, 매칭되지 않는 데이터도 포함해서 결합해줍니다.
LEFT JOIN으로 결합한 결과 = INNER JOIN 결과 + 왼쪽 테이블의 모든 데이터
따라서 오른쪽 테이블에선 매칭되는 값이 없는 경우가 생깁니다. 이 경우 NULL값으로 출력됩니다.
RIGHT JOIN으로 결합한 결과 = INNER JOIN 결과 + 오른쪽 테이블의 모든 데이터
마찬가지로 왼쪽 테이블에서 매칭되는 값이 없으면, 아래와 같이 NULL값으로 출력됩니다.

참고1: boostcourse 강좌 (기초 데이터 분석을 위한 핵심 SQL)
참고2: https://buly.kr/EI1ztrP

[MySQL] SELECT문으로 데이터 조회하기 (FROM, WHERE, GROUP BY, HAVING, SELECT, ORDER BY)

서윤L — Fri, 9 Aug 2024 23:31:57 +0900

0️⃣ SELECT문으로 데이터 조회하기

SELECT는 필요한 데이터를 조회할 수 있게 해주는 SQL 명령어입니다.
SELECT는 여러가지 절들과 함께 사용될 수 있는데, 아래와 같이 순서를 지켜줘야 합니다.
SELECT → FROM → WHERE → GROUP BY → HAVING → ORDER BY
SQL문을 통해 데이터를 조회하는 순서를 살펴보면 아래와 같습니다.

FROM	데이터를 조회할 테이블을 선택함
WHERE	선택한 테이블을 특정 조건으로 필터링함 → 특정 조건에 맞는 행만 선택함
GROUP BY	테이블의 특정 열의 내용에 따라 그룹핑함 → 그룹별 데이터를 집계해서 새로운 테이블을 생성함
HAVING	그룹핑된 새로운 테이블을 특정 조건으로 필터링함 (GROUP BY 아래에서 사용되어야 함)
SELECT	데이터를 조회할 열을 선택함
ORDER BY	열을 오름차순(ASC) 혹은 내림차순(DESC)으로 정렬함 (맨 마지막에서 사용되어야 함)

1️⃣ SELECT문으로 데이터 조회하기

회원정보 테이블에서 여성회원의 정보만 조회하는 SQL문을 작성해보겠습니다.
SELECT * 은 모든 열을 조회한다는 의미입니다.

	FROM	customer(회원정보) 테이블에서
	WHERE	gender(성별) = 'F'(여성) 인 행만 필터링해서
	SELECT	모든 열을 조회한다

2️⃣ GROUP BY 와 집계함수로 데이터 조회하기

회원정보 테이블에서 주거지역별로 여성회원의 수를 집계해서 조회해보겠습니다.
아래의 address와 같이, GROUP BY에 넣은 열을 SELECT에도 넣어줘야 원하는 분석결과를 보기좋게 출력할 수 있습니다.

	FROM	customer(회원정보) 테이블에서
	WHERE	gender(성별) = 'F'(여성) 인 행만 필터링하고
	GROUP BY	address(주거지역) 별로 그룹핑해서
	SELECT	address(주거지역), 회원수 2개열을 조회한다

회원정보 테이블에서 주거지역별로 여성회원 수가 100명 넘는 경우를 조회해서, 오름차순으로 정렬해보겠습니다.
그룹핑해서 만든 새로운 테이블에서 필터링을 하려면, 아래와 같이 HAVING절을 사용해야 합니다.

	FROM	customer(회원정보) 테이블에서
	WHERE	gender(성별) = 'F'(여성) 인 행만 필터링해서
	GROUP BY	address(주거지역) 별로 그룹핑하고
	HAVING	count수가 100이 넘는 경우만 필터링해서
	SELECT	address(주거지역), 회원수 2개 열을 조회한다
	ORDER BY	이 결과를 회원수 기준 오름차순으로 정렬한다

참고1: boostcourse 강좌 (기초 데이터 분석을 위한 핵심 SQL)

[SQL TCL] 트랜잭션Transaction, 실행Commit, 취소Rollback, 임시저장Savepoint

서윤L — Thu, 8 Aug 2024 00:49:41 +0900

0️⃣ TCL (Transaction Control Language, 트랜잭션 제어어)

트랜잭션 제어어는 DML 명령어를 실행(Commit), 취소(Rollback), 임시저장(Savepoint)할 때 사용하는 명령어입니다.
여기서 트랜잭션(Transaction)이란, SQL 명령어들로 이루어진 논리적인 작업단위입니다.
이때 명령어들은 위에서 언급했듯이 INSERT, SELECT, UPDATE, DELETE와 같은 DML 명령어들로 이루어져 있습니다.
또한 트랜잭션은 더 분할할 수 없는 최소의 작업단위입니다.

실행	취소	임시저장
COMMIT	ROLLBACK	SAVEPOINT
- 모든 작업을 최종 실행함 - 변경된 데이터를 테이블에 영구 반영함	- 모든 작업을 되돌림=취소함 - 따라서 데이터 변경 이전 상태로 복구됨	- ROLLBACK 지정점을 정함 - 현시점에서 임시저장점까지 트랜잭션 일부만 취소할 수 있게 해줌

1️⃣ 트랜잭션 취소 :: ROLLBACK

트랜잭션의 시작은 아래와 같이 BEGIN 명령어로 선언합니다.
트랜잭션을 취소 = BEGIN 아래에 포함된 모든 작업/명령어들을 취소하고 되돌리려면, ROLLBACK 명령어를 사용합니다.

트랜잭션 시작하고 테이블에 데이터 추가
트랜잭션 취소(ROLLBACK) 해서 추가했던 데이터 제거됨

2️⃣ 트랜잭션 실행 :: COMMIT

트랜잭션을 실행 = BEGIN 아래에 포함된 모든 작업/명령어들을 실행하고 결과를 반영하려면, COMMIT 명령어를 사용합니다.

트랜잭션 시작하고 테이블에 데이터 추가
트랜잭션 실행(COMMIT) 해서 데이터 추가 반영됨

3️⃣ 임시저장 :: SAVEPOINT

SAVEPOINT 명령을 사용하여, 트랜잭션 중간중간에 임시저장점을 만들 수 있습니다.
임시저장점을 만들면 트랜잭션 전체를 취소(ROLLBACK)하지 않고,현 시점에서 임시저장점까지의 일부만 취소할 수 있습니다.
다만, 임시저장점이 여러개인 경우!
한번 과거의 저장점으로 취소(ROLLBACK)하고 난 뒤엔, 그 이후 시점의 저장점으로 취소할 수 없게 됩니다.
다시 말해서, 특정 저장점까지 취소하면 그 이후의 저장점들은 무효가 된다는 점.. 유의해야 합니다.
아래 예시를 보면, S2로 한번 롤백하고 나니 S3로 롤백할 수 없게 되었습니다.

트랜잭션 시작 → 데이터 삽입하고 임시저장점 S1 → 데이터 수정하고 S2 → 데이터 삭제하고 S3
S2 지점으로 롤백
이후 S3 지점은 무효가 되어 롤백 불가능
S1 지점은 S2 이전이므로 롤백 가능

참고1: boostcourse 강좌 (기초 데이터 분석을 위한 핵심 SQL)

참고2: https://buly.kr/HSVcpdQ

[SQL DML] SQL 데이터 삽입INSERT, 조회SELECT, 수정UPDATE, 삭제DELETE

서윤L — Wed, 7 Aug 2024 23:23:49 +0900

0️⃣ DML (Data Manipulation Language, 데이터 조작어)

DML 은 테이블에서 데이터를 삽입, 조회, 수정, 삭제하기 위한 SQL 명령어입니다.
여기서 WHERE절로 조건문을 생성해서 원하는 조건을 검색한 다음, 데이터를 조작할 수도 있습니다.

DML	SQL 문법 예시
새로운 데이터 삽입	INSERT	INSERT INTO 테이블이름 VALUES (추가할 데이터 내용); INSERT INTO 테이블이름 (열1, 열2, ...) VALUES (내용1, 내용2, ...);
기존 데이터 조회	SELECT	SELECT * FROM 테이블이름; SELECT (칼럼1, 칼럼2, ...) FROM 테이블이름;
기존 데이터 수정	UPDATE	UPDATE 테이블이름 SET 수정할 내용; UPDATE 테이블이름 SET 수정할 내용 WHERE 원하는 조건;
기존 데이터 삭제	DELETE	DELETE FROM 테이블이름; DELETE FROM 테이블이름 WHERE 원하는 조건;

1️⃣ 새로운 데이터 삽입 :: INSERT

테이블에 새로운 데이터를 삽입하려면, 아래와 같이 INSERT문을 사용해야 합니다.
"회원정보" 테이블을 만들어서 데이터 5행을 추가했습니다.
마지막 행처럼 원하는 칼럼들만 지정해서 데이터를 추가할 수도 있습니다.
이 때 제약조건를 위반하거나, 데이터타입이 맞지 않게 추가하면 에러가 뜨고 추가되지 않습니다.

(MySQL) 데이터 삽입 예시

2️⃣ 기존 데이터 조회 :: SELECT

테이블에 있는 데이터를 조회하려면, SELECT문을 사용합니다.
특정 열만 조회하려면 열 이름을 지정하고, 특정 행만 조회하려면 WHERE 절로 조건을 지정해주면 됩니다.
아래 예시처럼 특정 열을 기준으로 정렬해서 조회할 수도 있습니다. 오름차순은 ASC, 내림차순은 DESC 로 지정합니다.

모든 데이터 조회
특정한 열만 조회
WHERE 절을 추가해 특정 조건에 맞는 행만 출력
ORDER BY 를 사용해서 특정 열 기준으로 정렬

3️⃣ 기존 데이터 수정 :: UPDATE

테이블에 있던 데이터를 수정 및 변경할 때는 UPDATE문을 사용합니다.

모든 데이터 수정
WHERE 절을 추가해 특정 조건에 맞는 행만 출력

4️⃣ 기존 데이터 삭제 :: DELETE

기존 데이터를 삭제하려면 DELETE문을 사용합니다.
다만 DELETE문은 "삭제 여부"만 표시할 뿐, 용량은 초기화하지 않으므로 테이블 용량(크기) 또한 그대로입니다.
데이터를 삭제하고 용량까지 줄이고 싶다면, TRUNCATE문을 사용해서 테이블 공간 자체를 초기화해야 합니다.
TRUNCATE문은 데이터를 지우고 테이블의 구조는 남겨놓습니다. 테이블 구조까지 싹다 없애버리는 DROP과의 차이점입니다.

WHERE 절을 추가해 특정 조건에 맞는 행만 삭제
모든 데이터 삭제 (DELETE)
모든 데이터 삭제 (TRUNCATE)
참고: 테이블 자체를 삭제 (DROP)

참고1: boostcourse 강좌 (기초 데이터 분석을 위한 핵심 SQL)

참고2: https://buly.kr/7m9wrRr

[SQL DDL] SQL 테이블 생성CREATE, 수정ALTER, 삭제DROP

서윤L — Wed, 7 Aug 2024 21:12:28 +0900

0️⃣ DDL (Data Definition Language, 데이터 정의어)

관계형 데이터베이스(RDB; Relation Database)는 릴레이션(Relation)에 데이터를 저장, 관리합니다.
릴레이션은 데이터베이스 관리시스템(DBMS)에서 테이블(Table)로 생성되며,
이 때 테이블을 생성, 변경, 삭제할 때 사용하는 명령어를 통틀어 DDL 이라고 부릅니다.
다시 말해, DDL은 RDB의 구조를 정의하는 명령어 = 데이터를 저장하는 테이블을 생성, 변경, 삭제하기 위한 명령어 입니다.
예를 들면, 새로운 테이블 생성, 열 추가, 열 데이터타입 변경, 열 이름 변경, 테이블 이름 변경, 테이블 삭제 등이 있습니다.

테이블 생성	테이블 변경	테이블 삭제
CREATE TABLE	ALTER TABLE	DROP TABLE
- 새로운 테이블 생성 - 기본키(PK), 외래키(FK), 제약사항 설정	- 열 추가, 변경, 삭제 - 이름 변경 등	- 테이블 삭제 - 데이터 구조, 저장된 데이터 모두 삭제

1️⃣ 테이블 생성 :: CREATE TABLE

CREATE TABLE 명령어를 사용하여 테이블을 생성할 수 있습니다.
테이블을 생성할 때, 각각의 열은 반드시 1가지의 데이터타입으로 정의되어야 합니다.
데이터타입은 크게 숫자형, 문자형, 날짜형으로 지정할 수 있습니다.
아래 예시에서 회원번호는 정수, 회원이름은 가변길이 문자형, 가입날짜는 날짜형, 문자수신동의는 논리형으로 지정했습니다.

숫자형		문자형		날짜형
BIT	논리형 (0 or 1 or NULL)	CHAR(n)	고정길이 문자형	DATETIME	년-월-일 시:분:초
INT	정수 (4byte)	NCHAR(n)	유니코드 고정길이 문자형	DATE	년-월-일
BIGINT	정수 (8byte)	VARCHAR(n)	가변길이 문자형	TIME	시:분:초
FLOAT	실수 (4byte)	NVARCHAR(n)	유니코드 가변길이 문자형
DOUBLE	실수 (8byte)

또한 각 열마다 제한조건을 정의할 수 있습니다.
아래 예시에서 회원번호 열은 기본키(PK)로 지정했으며, 가입날짜 열은 Null값을 허용하지 않도록 제약조건을 걸었습니다.
기본키(PK)는 엔터티를 대표할 수 있는 주식별자를 말합니다. PK로 지정된 열에는 중복값이나 Null값이 있으면 안됩니다.

(MySQL) 테이블 생성 예시

2️⃣ 테이블 변경/수정 :: ALTER TABLE

ALTER TABLE 명령어를 사용하여 테이블을 변경 및 수정할 수 있습니다.

새로운 열 추가	열 데이터타입 변경	열 이름 변경	테이블 이름 변경
ADD	MODIFY	CHANGE	RENAME

새로운 열을 추가하려면, 아래와 같이 ADD 를 활용합니다.
테이블을 확인하니 새로 추가한 열 "성"이 맨 끝에 추가된 모습을 확인할 수 있습니다.

기존 열의 데이터타입을 변경하려면, MODIFY 를 활용합니다.

기존 열의 이름을 변경하려면, CHANGE 를 활용합니다.

기존 테이블의 이름을 변경하고 싶다면, RENAME 을 활용합니다.

3️⃣ 테이블 삭제 :: DROP TABLE

DROP TABLE 명령어로 테이블 구조와 데이터를 모두 삭제할 수 있습니다.

참고1: boostcourse 강좌 (기초 데이터 분석을 위한 핵심 SQL)

참고2: https://buly.kr/DwCTC3z

[seaborn] 데이터프레임으로 빈도그래프 빈도차트 카운트차트 그리기 :: sns.countplot

서윤L — Thu, 11 Jul 2024 16:46:10 +0900

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.
출발시간(departure_time)별로 빈도수가 어떻게 다른지 빈도 그래프를 작성해보겠습니다.

# 패키지 불러오기
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 데이터셋 불러오기
df = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')
df = df.drop([df.columns[0]], axis=1)

1️⃣ sns 빈도그래프 그리기 :: sns.countplot

범주형데이터에 포함된 항목별로 빈도수를 카운트해서, 빈도그래프를 그리고 싶을 때 sns.countplot을 활용할 수 있습니다.
카운트할 칼럼은 x 에 넣어주면 됩니다. x = 'departure_time'
칼럼 내 항목들의 순서를 정하고 싶다면, 아래 코드처럼 order를 활용합니다. order = 리스트
여기서 범례를 추가하고 싶다면 hue 를 추가합니다. hue = 'class' 를 추가해서 좌석클래스 별로 그래프 컬러를 구분했습니다.

# 빈도그래프 작성
countplot_1 = sns.countplot(
    data = df,                     # 데이터 지정
    x = 'departure_time',          # '출발시간' 기준으로 빈도그래프 작성
    order = ['Early_Morning','Morning','Afternoon','Evening','Night','Late_Night'],  # 데이터 순서
    hue = 'class',                 # '좌석클래스' 기준으로 색상 구분
    palette = plt.cm.Set2.colors   # 색상 팔레트 지정
)
# 데이터 라벨 추가
for i in countplot_1.containers:
    countplot_1.bar_label(i,fontsize=8)

2️⃣ 빈도가 아닌 비율(퍼센트) 기준으로 그래프 작성하기 (percent)

그래프를 빈도수가 아닌 비율로 비교해서 작성하고 싶다면, stat = 'percent' 를 추가합니다.
막대별로 퍼센트수치 라벨을 표시하는 방법은 아래 코드를 참고해주세요.

# 빈도그래프 작성
countplot_2 = sns.countplot(
    data = df,                     # 데이터 지정
    x = 'departure_time',          # '출발시간' 기준으로 빈도그래프 작성
    order = ['Early_Morning','Morning','Afternoon','Evening','Night','Late_Night'],  # 데이터 순서
    stat = 'percent',              # 빈도수를 퍼센트로 변환
    hue = 'class',                 # '좌석클래스' 기준으로 색상 구분
    palette = plt.cm.Set2.colors   # 색상 팔레트 지정
)
# 데이터 라벨 추가
for i in countplot_2.containers:
    countplot_2.bar_label(i,fontsize=8,fmt='%.2f%%')

3️⃣ 가로 그래프로 작성하기 (horizontal)

그래프를 가로로 작성하고 싶다면, x 대신 y 에 카운트할 칼럼을 넣어주면 됩니다. y = 'departure_time'

# 빈도그래프 작성
countplot_3 = sns.countplot(
    data = df,                     # 데이터 지정
    y = 'departure_time',          # '출발시간' 기준으로 빈도그래프 작성
    order = ['Early_Morning','Morning','Afternoon','Evening','Night','Late_Night'],  # 데이터 순서
    stat = 'percent',              # 빈도수를 퍼센트로 변환
    hue = 'class',                 # '좌석클래스' 기준으로 색상 구분
    palette = plt.cm.Set2.colors   # 색상 팔레트 지정
)
# 데이터 라벨 추가
for i in countplot_3.containers:
    countplot_3.bar_label(i,fontsize=8,fmt='%.2f%%')

# x축 눈금 설정하기
countplot_3.set_xticks(np.arange(0,19,2))

데이터분석 모델링 프로세스, 머신러닝 AI 모델링 과정 요약 정리

서윤L — Fri, 5 Jul 2024 15:23:59 +0900

1️⃣ 데이터 파악

데이터 유형 및 구조
파악하기

• 정형/반정형/비정형 중 어떤 형태인지 파악
• 정형 데이터: 엑셀 스프레드 시트와 같은 테이블 형태의 데이터가 대표적
• 반정형 데이터: 로그, JSON, 이메일 등 일부 정형화 되어있으나 비교적 유연한 데이터 유형
• 비정형 데이터: 이미지, 영상, 텍스트 등 정해진 구조나 형식이 없는 데이터, 분석을 위해 가공 필요.

데이터 학습에
영향 미칠 수 있는
모든 요소 파악하기

• 수치형 데이터는 분포 및 요약통계량 확인
• 범주형 데이터는 빈도 및 교차표 등 확인
• 데이터 중복 여부, 결측치 여부, 이상치 여부 확인 → 전처리 필요한 요소들 확인
• 레이블링 여부 = 정답 = Y값이 있는지 확인 → 있으면 지도학습, 없으면 비지도학습 모델이 될 것

2️⃣ 데이터 전처리

데이터 제거 및 대체	• 중복 데이터 제거 • 결측치 처리 (특정값으로 채우기, 결측치 있는 데이터 행 제거, 결측치가 너무 많은 칼럼 제거 등) • 이상치 처리 (특정값으로 대체하기, 이상치 있는 데이터 행 제거 등)
데이터 변환	• 필요시, 수치형 데이터 스케일링 (정규화, 표준화) • 필요시, 수치형 → 범주형으로 변환 (구간화 등) • 필요시, 범주형 → 수치형으로 변환 (인코딩, 원핫인코딩 등)
분석가 판단에 의한 데이터 제거 및 추가	• 모델 학습에 불필요한 데이터 제거 • 모델 학습에 필요한 파생 데이터 추가

3️⃣ 분석 모델 선정

모델 선정 판단

• 데이터 유형 및 구조에 따라 사용할 수 있는 모델이 구분됨
• 레이블 = 정답 = Y값이 있다면 → 지도학습 모델
→ 답이 둘중 하나라면 "분류" 모델, 답이 연속적인 값이라면 "회귀" 모델
• 레이블 = 정답 = Y값이 없다면 → 비지도학습 모델
→ 답이 없다면 일반적으로 유사한 데이터끼리 묶는 "군집화"

그 외 고려해야할 요소들

• 투입할 수 있는 컴퓨팅 시스템 자원, 비용, 시간 등을 고려하여 적절한 수준의 모델 선정

4️⃣ 학습 데이터 분할

학습 데이터 분할	•데이터 분할 - 학습 데이터 (Training set): 이 데이터를 학습시켜서 모델을 생성함 - 검증 데이터 (Validation set): 학습에 사용되지 않은 데이터로 모델들의 정확도를 검증함 - 평가 데이터 (Test set): 학습,검증에 사용되지 않은 데이터로 모델의 성능을 최종평가함 • 일반적으로 학습:검증:평가 = 6:2:2 혹은 7:2:1 비율로 분할함 • 모델의 과적합 방지와 성능 평가를 위해, 데이터 분할은 필수!
데이터 분할 및 교차검증 방법	• 홀드아웃 교차검증: 랜덤 비복원 추출이므로, 평가데이터는 학습에 사용할 수 없음 (학습데이터 손실) • 랜덤 서브샘플링: 홀드아웃을 반복하는 방법, 학습데이터 손실 없음 • K-fold 교차검증: 데이터를 K개 부분집합으로 나눔, 이중 1개만 평가데이터로 쓰면서 K번 반복 • LOOCV, LpOCV: 전체데이터 N개중 1개 혹은 p개만 평가, 나머지는 학습데이터로 사용 • 부트스트랩: 랜덤 복원 추출, 동일크기 표본을 여러개 샘플링
데이터 분할 및 교차검증 방법

5️⃣ 모델 학습 및 성능평가 반복

모델 학습 및 평가	• 위에서 선정한 모델에 분할한 데이터를 넣고 반복 학습 • 검증데이터, 평가데이터로 모델 성능 평가
과적합 확인	• 학습 횟수가 너무 많아지면, 학습데이터만 과하게 학습하는 과적합 발생할 수 있음 • 학습 반복하면서 변화하는 정확도 등의 평가지표를 시각화하여, 과적합 여부를 확인해야 함 • 일반적으로 과적합 발생 직전의 모델이 성능이 가장 우수함
필요 시 반복 반복..	• 성능평가 결과 목표치에 도달하지 못한다면, - 모델의 가중치, 하이퍼 파라미터 등을 변경하며 학습과 평가를 반복 - 전처리를 추가 진행한 데이터셋으로 시도해보기 - 전체 데이터셋 양이 모자른 경우 더 수집/수급해보기 등등..

회귀모델 평가지표 - R2 score 결정계수, MAE, MSE, RMSE, MAPE, MPE

서윤L — Thu, 4 Jul 2024 22:12:03 +0900

✅ R² score = 결정계수

R² score 는 회귀모델이 데이터에 얼마나 적합한지 나타내는 지표입니다.
1에 가까울수록, 모델 성능이 좋다고 평가합니다.
회귀모델의 기본적인 평가지표는 아래와 같이 계산합니다.
✔️ SSE = 오차제곱합 = ∑(예측값과 실제값의 차이)²
✔️ SSR = 회귀제곱합 = ∑(예측값과 평균값의 차이)²
✔️ SST = 전체제곱합 = ∑(실제값과 평균값의 차이)²
✔️ R² score = 결정계수 = SSR / SST = 1 - (SSE / SST)

✅ 오차 = 실제값과 예측값의 차이 를 이용한 평가지표들

MAE = Mean Absolute Error = 평균 절대 오차 = ∑|예측값과 실제값의 차이|² / 전체 개수
- 오차가 작을수록 = MAE값이 작을수록, 모델 성능이 좋음.
MSE = Mean Squared Error = 평균 제곱 오차 = ∑(예측값과 실제값의 차이)² / 전체 개수
- 오차가 작을수록 = MSE값이 작을수록, 모델 성능이 좋음.
- 제곱을 취하기 때문에, 특이값이 있는 경우 영향을 크게 받음. 즉 특이값에 민감한 지표.
RMSE = Root Mean Squared Error = 평균 제곱근 오차
- MSE에 루트를 씌워서 값을 축소시킨 지표. RMSE값이 작을수록, 모델 성능이 좋음.
MAPE = Mean Absolute Percentage Error = 평균 절대 백분율 오차
- MAE를 비율(%)로 나타낸 지표. 백분율이므로 다른 모델과 비교하기 좋음.
- MAPE값이 작을수록 = 0%에 가까울수록, 모델 성능이 좋음.
MPE = Mean Percentage Error = 평균 백분율 오차
- MPE에서 절댓값을 제외한 지표. 백분율이므로 다른 모델과 비교하기 좋음.
- MAPE값이 0%에 가까울수록, 모델 성능이 좋음.

분류모델 평가지표 - 오차행렬 혼동행렬, 정확도 재현율 정밀도 F1-score, ROC곡선 AUC

서윤L — Thu, 4 Jul 2024 17:37:35 +0900

✅ 오차행렬 = 혼동행렬 = Confusion Matrix

오차행렬은 분류모델을 평가하는 데 가장 많이 사용되는 지표 중 하나입니다.
데이터의 답이 Positive / Negative 2가지로만 분류되는 상황에서, 발생 가능한 경우의 수는 아래 4가지 뿐입니다.
✔️ TP (True Positive) : 예측값이 Pos = 실제값도 Pos
✔️ FP (False Positive) : 예측값이 Pos ≠ 실제값은 Neg
✔️ FN (False Negative) : 예측값이 Neg ≠ 실제값은 Pos
✔️ TN (True Negative) : 예측값이 Neg = 실제값도 Neg
위 4가지 경우를 가지고 분류모델의 평가지표를 계산할 수 있습니다.
✔️ 정확도 : 분류모델이 실제값을 정확하게 예측한 비율
Accuracy = (TP + TN) / (TP + TN + FP + FN)
✔️ 재현율 : 분류모델이 실제 Pos를 Pos로 예측한 비율
Recall = TP / (TP + FN)
✔️ 정밀도 : 분류모델이 Pos로 예측한 것들 중 실제 Pos의 비율
Precision = TP / (TP + FP)
✔️ F1-score : 재현율과 정밀도의 조화평균
F1-score = 2 × ((재현율 × 정밀도) / (재현율 + 정밀도))
균형있는 데이터의 경우, 정확도(Accuracy)와 F1-score 둘다 평가지표로 활용할 수 있습니다.
편중된 데이터의 경우, 정확도만으로 모델의 성능을 판단하기에 효과적이지 않고, F1-score를 활용하는 것이 좋습니다.

	가로축 = False Positive Rate = FPR = FP / (FP + TN) = 실제 Neg를 Pos로 잘못 예측한 비율 (낮을수록 좋은 값!)
	세로축 = True Positive Rate = TPR = TP / (TP + FN) = 실제 Pos를 Pos로 맞게 예측한 비율 (높을수록 좋은 값!)

✅ ROC곡선 & AUC

ROC곡선은 FPR의 변화에 따른 TPR의 변화를 나타내는 곡선입니다.
AUC는 ROC곡선 아래의 면적을 나타내는 값입니다. 0.5~1.0 사이의 값을 가집니다.
ROC곡선이 직각에 가까울수록 = 왼쪽 꼭대기에 가까울수록= AUC는 1에 가까울수록, 모델의 성능이 좋다고 판단합니다.

[Pandas] 데이터프레임 칼럼 나누기, 칼럼 합치기 :: split() join() apply()

서윤L — Wed, 3 Jul 2024 12:33:22 +0900

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.
비행사(airline), 비행편 이름(flight) 칼럼만 가져왔고, 비행편 이름 칼럼으로 칼럼 나누기 합치기 테스트를 해볼게요.

import pandas as pd
import numpy as np

# 데이터셋 불러오기 : 비행사, 비행편 이름만
df = pd.read_csv('./Clean_Dataset.csv', usecols=['airline', 'flight'], encoding='cp949')

1️⃣ 칼럼 나누기 :: .str.split()

비행편 이름(flight) 중간의 '-' 를 기준으로 나눠서, 제조사(manufacturer)와 모델이름(model) 칼럼 2개로 나눠보겠습니다.
아래와 같이 .str.split() 메소드를 이용하면 특정 문자열 혹은 공백을 기준으로 나눌 수 있습니다.
파라미터 expand=True 를 넣어줘야 데이터프레임 형태로 반환해줍니다.

# 칼럼 1개를 여러개로 나누기
df[['manufacturer', 'model']] = df['flight'].str.split('-', expand=True)

2️⃣ 칼럼 합치기 :: apply, lambda, join

위에서 나눈 칼럼 2개를 다시 합쳐서 원래 칼럼과 동일한 형태로 만들어볼게요.
칼럼을 합칠 때는 apply(), lambda함수를 사용했습니다.
'-' 를 기준으로 두개 칼럼의 문자열이 합쳐지도록 join() 메소드를 넣었어요.

# 칼럼 여러개를 1개로 합치기
df['flight_new'] = df[['manufacturer', 'model']].apply(lambda x: '-'.join(x.values.astype(str)), axis=1)

참고 문서: https://pandas.pydata.org/docs/reference/api/pandas.Series.str.split.html

pandas.Series.str.split — pandas 2.2.2 documentation

If False, return Series/Index, containing lists of strings.

pandas.pydata.org

[Pandas][sklearn] 정규화, 표준화 - 수치형데이터 스케일링 :: MinMaxScaler StandardScaler

서윤L — Tue, 2 Jul 2024 16:30:08 +0900

✅ 수치형데이터 스케일링 (Scaling)

스케일링 (Scaling)	• 수치형 데이터가 여러개 있는데 숫자범위가 다르다면 → 범위를 비슷하게 만들어줄 필요가 있다. • 왜냐하면? 그대로 모델링하면 상대적으로 큰 숫자를 가지는 칼럼의 기여도가 더 크게 반영되어버리기 때문! • 따라서 스케일링하여 상대적인 크기 차이를 없애줘야 함 • 스케일링을 통해 데이터의 불필요한 차원을 줄이고, 분석모델의 학습속도가 향상시킬 수 있음 (효율↑)
정규화 (Normalization)	• Min-Max Scaling : 데이터의 최솟값, 최댓값을 이용해서 데이터를 일정 범위 내의 값들로 변환 • 일반적으로 0~1 사이의 값으로 변환 ※ 데이터에 이상치가 없고, 분포가 크게 치우쳐 있지 않은 경우에 적합한 방법 (이상치 제거 후 정규화해야함)
표준화 (Standardization)	• 데이터의 평균, 표준편차를 이용해서 변환 • 평균=0, 표준편차=1 이 되도록 데이터 값들을 변환 ※ 데이터에 이상치가 있고, 분포가 치우쳐 있는 경우 적합한 방법

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.
수치형 칼럼인 비행시간(duration), 출발까지 남은일수(days_left), 가격(price) 만 가져와서 스케일링을 해보겠습니다.

# 패키지 불러오기
import numpy as np
import pandas as pd
pd.set_option('float_format', '{:.4f}'.format)

# 데이터셋 불러오기 (수치형 칼럼만)
df = pd.read_csv('./Clean_Dataset.csv', usecols=['duration','days_left','price'], encoding='cp949')

1️⃣-1. 정규화 (Normalization) = Min-Max Scaling

아래와 같이 데이터프레임의 각 칼럼마다 최솟값, 최댓값을 이용해서 특정 범위의 값으로 정규화할 수 있습니다.

0~1 사이의 값으로 정규화	a~b 사이의 값으로 정규화

# 정규화: 0~1 사이의 값으로 변환
df_norm_01 = (df - df.min()) / (df.max() - df.min())

# 정규화: 1~10 사이의 값으로 변환
df_norm_10 = ((df - df.min()) / (df.max() - df.min())) * (10-1) + 1

1️⃣-2. 사이킷런으로 정규화 (Normalization) :: MinMaxScaler()

사이킷런의 MinMaxScaler() 모듈로도 데이터프레임을 정규화시킬 수 있습니다.
다만 array 형태로 결과를 반환하기 때문에, 아래와 같이 다시 데이터프레임으로 바꿔줘야 합니다.

# 스케일러 모듈 불러오기
from sklearn.preprocessing import MinMaxScaler
mms = MinMaxScaler()

# 정규화하고 데이터프레임으로 바꿔주기
arr_norm_sklearn = mms.fit_transform(df)
df_norm_sklearn = pd.DataFrame(arr_norm_sklearn, columns=df.columns)

2️⃣-1. 표준화 (Standardization)

아래와 같이 데이터프레임의 각 칼럼마다 평균값, 표준편차를 이용해서 표준화할 수 있습니다.
표준화하면, 평균=0 이고 표준편차=1 인 표준정규분포 상의 값들로 모든 데이터 값들이 변환됩니다.

평균 & 표준편차로 데이터 표준화

# 표준화
df_std = (df - df.mean()) / df.std()

2️⃣-2. 사이킷런으로 표준화 (Standardization) :: StandardScaler()

사이킷런의 StandardScaler() 모듈로도 데이터프레임을 표준화시킬 수 있습니다.
다만 array 형태로 결과를 반환하기 때문에, 아래와 같이 다시 데이터프레임으로 바꿔줘야 합니다.

# 스케일러 모듈 가져오기
from sklearn.preprocessing import StandardScaler
ss = StandardScaler()

# 표준화하고 데이터프레임으로 바꿔주기
arr_std_sklearn = ss.fit_transform(df)
df_std_sklearn = pd.DataFrame(arr_std_sklearn, columns=df.columns)

[Pandas][sklearn] 인코딩, 원핫인코딩 범주형데이터 수치형으로 변환하기 :: pd.factorize pd.get_dummies

서윤L — Mon, 1 Jul 2024 23:53:36 +0900

✅ 범주형 인코딩 (Categorical Encoding)

범주형 인코딩	• 텍스트로 이루어진 범주형 데이터를 수치형 데이터로 변환하는 것. • 인코딩하는 이유: 데이터 양이 방대한 경우, 텍스트로 이루어진 범주형은 수치로 변환해줘야 데이터 처리속도가 향상됨 (다시 말해 컴퓨터가 가장 이해하기 쉬운 언어인 숫자로 바꿔주는 게 좋다)
레이블/라벨 인코딩 (Label Encoding)	• 범주형 데이터에 숫자 레이블/라벨을 할당함 = 범주마다 번호를 매김 (ex) 월요일은 1, 화요일은 2, 수요일은 3, ...
원핫 인코딩 (OneHot Encoding)	• 범주별로 칼럼을 만들어서, 칼럼안에 1 아니면 0 만 넣는다 • 한 칼럼에만 1(True) 이 들어가고, 나머지 칼럼들은 0(False) 가 들어가는 방식

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.
레이블 인코딩은 비행사(airline) 칼럼으로 해보고, 원핫 인코딩은 좌석클래스(class) 칼럼으로 테스트 해보겠습니다.

# 패키지 불러오기
import pandas as pd
import numpy as np

# 데이터셋 불러오기
df = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')
df = df.drop([df.columns[0]], axis=1)

1️⃣-1. 레이블 인코딩 :: pd.factorize()

판다스의 factorize() 메소드로 범주형 데이터에 숫자 라벨을 붙여서 인코딩할 수 있습니다.
이 메소드는 결과를 튜플 형태로 반환하기 때문에, 아래 코드와 같이 형태를 바꿔서 새로운 칼럼으로 추가해줘야 합니다.

# 인코딩 결과를 새로운 칼럼으로 추가
df['airline_label'] = pd.factorize(df['airline'])[0].reshape(-1,1)

범주마다 숫자라벨이 잘 붙어있지만, 알파벳 순서대로 붙여주지는 않습니다.
그냥 데이터프레임에서 먼저 출현한 순서대로 0부터 번호를 붙여주는 방식이에요.

1️⃣-2. 알파벳 순서대로 레이블 인코딩 :: LabelEncoder()

사이킷런(scikitlearn)의 LabelEncoder 모듈을 이용하면, 알파벳 순서대로 알아서 라벨링을 해줍니다.

# 사이킷런 패키지의 인코더 모듈 불러오기
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()

# LabelEncoder는 원래 데이터프레임에 인코딩 결과를 붙여서 반환함
df['airline_sk_label'] = le.fit_transform(df['airline'])

2️⃣ 원핫 인코딩 :: pd.get_dummies()

판다스의 get_dummies() 메소드를 사용하면 빠르게 원핫인코딩을 할 수 있습니다.
좌석클래스(class) 칼럼으로 진행해봤는데요, 원래 class 칼럼은 없어지고 class_Business, class_Economy가 생겼죠.
다만 기본 결과값은 True/False로 채워서 나오기 때문에, 1/0으로 채우고 싶다면 dtype=int 를 넣어줘야 합니다.

[Pandas] 구간화(Binning) 연속형데이터를 범주형으로 변환하기 :: pd.cut pd.qcut

서윤L — Mon, 1 Jul 2024 20:48:27 +0900

✅ 구간화 (Binning)

구간화 (Binning)	• 연속형 수치데이터를 특정 구간으로 나눠서, 범주형 데이터로 변환하는 것. • 구간화하는 이유: 이상치로 발생 가능한 문제를 줄임, 분석 결과 해석이 쉬워질 수 있음.
pd.cut()	• 구간값을 직접 입력해서 지정함.
pd.qcut()	• 구간 개수를 입력함. 따라서 각 구간에 동일한 개수의 데이터가 들어가게 됨.

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.

# 패키지 불러오기
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 데이터셋 불러오기
df = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')
df = df.drop([df.columns[0]], axis=1)

비행시간(duration)에 따라서, 단거리/중거리/장거리 비행으로 구간화 하고자 합니다.
그 전에 duration 칼럼의 분포와 정보를 알아봤습니다. 5시간 미만쯤에 많이 몰려있고 30시간 이후로는 빈도가 상당히 적네요.

1️⃣ 구간값을 정해서 구간화 :: pd.cut()

비행시간(duration)을 나눌 구간값을 정해서 구간화하여, 범주형 칼럼 'distance_cut'을 새로 생성해보겠습니다.
단거리: 0시간 이상~5시간 미만 / 중거리: 5시간 이상~10시간 미만 / 장거리: 10시간 이상
아래 코드와 같이 pd.cut() 메소드에서 bins로 구간값을 지정하고, 구간별 범주이름은 labels로 정해주면 됩니다.

# 비행시간(duration)에 따라 단/중/장거리로 구간화
df['distance_cut'] = pd.cut(
    df['duration'], 
    bins = [0, 5, 10, df['duration'].max()], 
    labels = ['short', 'medium', 'long']
)

위와 같이 value_counts로 빈도를 세보니 장거리(long)에 가장 많이 몰렸고, 중거리, 단거리로 갈수록 거의 절반씩 줄어드네요.

2️⃣ 구간 개수를 정해서 구간화 :: pd.qcut()

이번에는 구간 개수를 정해서 구간화하여, 범주형 칼럼 'distance_qcut'을 만들어 보겠습니다.
똑같이 단거리, 중거리, 장거리 3개 구간으로 나눌 거에요.
아래 코드와 같이 pd.qcut() 메소드를 사용하면 되는데요, q로 구간개수를 지정하고, 구간별 범주는 labels로 정해주면 됩니다.
중복 데이터가 없다면, 구간별로 포함된 데이터 개수가 동일하게 나눠질 겁니다.

# 비행시간(duration)을 단/중/장거리 3개 구간으로 나누기
df['distance_qcut'] = pd.qcut(
    df['duration'],
    q = 3,
    labels = ['short', 'medium', 'long']
)

value_counts로 세보니, 구간마다 데이터 개수가 약 10만개로 비슷하되 똑같지는 않습니다. 중복데이터가 있었기 때문이에요.
구간값은 알아서 정해졌으므로, 보고 싶다면 위와 같이 groupby(), aggregate()로 min, max값들을 뽑아봐야 합니다.
단거리는 0~8.25시간, 중거리는 8.33~14.25시간, 장거리는 그 이상으로 나눠졌네요.

[Pandas] 이상치 확인, 이상치 처리하기 :: Z-score 방법, IQR 방법

서윤L — Mon, 1 Jul 2024 15:41:56 +0900

✅ 이상치 (Outlier)

이상치 (Outlier)	• 관측된 데이터의 일반적인 범위에서 많이 벗어난 값, 즉 너무 작은 값이나 너무 큰 값 • 기준을 정해서 이상치를 처리하는 것은 필수! 이상치가 모델링 및 의사결정에 영향을 미칠 수 있기 때문.
Z-score 방법	• 평균값 기반으로 이상치를 탐지하는 방법 • 평균, 표준편차를 이용해서 특정 데이터가 평균값으로부터 얼마나 멀리 떨어져있는지 계산 → 특정 임계값을 넘어가면 이상치로 판단
IQR 방법	• 중앙값 기반으로 이상치를 탐지하는 방법 • 사분위수, IQR을 이용해서 특정 데이터가 중앙값으로부터 얼마나 멀리 떨어져있는지 계산 → 박스플롯의 최솟값, 최댓값을 넘어가면 이상치로 판단

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.

# 패키지 불러오기
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 데이터셋 불러오기
df = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')
df = df.drop([df.columns[0]], axis=1)

1️⃣ Z-score 방법

Z-score 방법으로 이상치를 탐지하고 처리하는 방법은 아래와 같습니다.

(1) 각 데이터의 Z-score 계산	데이터를 표준화(Standardization) 즉, 평균=0 표준편차=1인 정규분포에 매핑시킴.
(2) Z-score가 임계값을 넘어가는지 판단	일반적으로 Z-score의 절댓값이 2~3보다 크면 이상치로 판단함.

아래는 Z-score 방법으로 이상치를 삭제하는 함수입니다. 임계값은 데이터 특성과 상황에 따라 정할 수 있습니다.

# Z-score로 이상치 탐지하고 처리하는 함수
# 입력값: 데이터프레임, 이상치 처리할 칼럼 이름, 임계값
def drop_outliers_zscore(df, column, threshold):
    
    # 각 데이터의 Z-score 계산
    z_scores = (df[column] - df[column].mean()) / df[column].std()
    
    # Z-score의 절댓값이 threshold 이하인 데이터만 남기기 (초과이면 이상치이므로 제외)
    df_drop_outliers = df[abs(z_scores) <= threshold]
    
    return df_drop_outliers

칼럼은 'price', 임계값은 3으로 두고 이상치를 제외해봤어요. 원래 데이터프레임에서 602개 행이 삭제됐습니다.
어떤 데이터가 삭제됐는지 한눈에 보려면 시각화해보는 것이 좋습니다.
이상치 처리 전후 각각 히스토그램을 그려보니, 약 90000 넘어가는 너무 높은 값들이 제외된 것 같네요.

2️⃣ IQR 방법

IQR 방법으로 이상치를 탐지하고 처리하는 방법은 아래와 같습니다.

(1) 중앙값 관련 수치들 계산	데이터의 사분위수를 구하고, IQR=제3사분위수-제1사분위수 를 계산함.
(2) 임계값을 넘어가는 데이터 판단	제3사분위수 + 1.5xIQR 보다 크거나, 제1사분위수 - 1.5xIQR 보다 작으면 이상치로 판단함.

IQR 방법으로 이상치를 삭제하는 함수입니다.

# IQR로 이상치 탐지하고 처리하는 함수
# 입력값: 데이터프레임, 이상치 처리할 칼럼 이름
def drop_outliers_iqr(df, column):
    
    # 1.5*IQR 계산하기
    q1 = df[column].quantile(0.25)
    q3 = df[column].quantile(0.75)
    iqr = (q3 - q1) * 1.5
    
    # 이상치 제외한 결과만 남기기
    df_drop_outliers = df[(df[column] <= (q3 + iqr)) & (df[column] >= (q1 - iqr))]
    
    return df_drop_outliers

마찬가지로 칼럼을 'price' 로 두고 이상치를 제외해봤습니다. 원래 데이터프레임에서 123개 행이 삭제됐습니다.
아래와 같이 박스플롯 상에 찍혔던 이상치들이 전부 제외된 것을 확인할 수 있습니다.
이상치로 판별된 데이터가 Z-score방법보다 적습니다. 확실히 중앙값이 평균보다 이상치에 덜 민감한 모습이네요.

[Pandas] 데이터프레임 결측치 확인, 결측치 처리 삭제 대체 :: isnull, dropna, fillna, ffill, bfill

서윤L — Sun, 30 Jun 2024 21:17:29 +0900

Pandas 데이터프레임에서 결측치 확인하고 처리해보기!

1️⃣ 결측치 여부, 결측치 개수 확인하기 :: isnull()

isnull() : 데이터프레임의 값들이 결측치인지 아닌지, 여부를 확인할 수 있습니다. 아래처럼 True/False로 결과가 출력됩니다.
isnull().sum() : 칼럼별로 결측치 개수를 출력합니다.

# 결측치 여부를 확인
df_na.isnull()

# 칼럼별로 결측치 개수 출력하기
df_na.isnull().sum()

2️⃣-1. 결측치 삭제 — 결측치 있는 행(row) 삭제하기 :: dropna()

결측치가 1개라도 포함된 행이라면, 해당 행을 삭제해버리는 방법입니다. 결측치 비중이 적은 경우에 적합한 방법이에요.
결측치가 많은데 삭제해버린다면, 데이터 손실이 커지고 분석모델에 원래 데이터의 특성을 반영하기 어려워지겠죠.
df.dropna() : 데이터프레임에서 결측치가 포함된 행은 삭제합니다.
df.dropna(how='all') : 모든 데이터가 결측치인 행만 삭제합니다.

# 결측치 있는 행 삭제하기
df_na_test1 = df_na.dropna()

# 모든 데이터가 결측치인 행만 삭제하기
df_na_test2 = df_na.dropna(how = 'all')

2️⃣-2. 결측치 삭제 — 결측치 많은 열(column) 삭제하기 :: drop(axis=1)

한 칼럼에서 결측치가 일정 비중이상으로 많으면, 해당 칼럼은 아예 삭제하는 방법입니다.
일반적으로 결측치 비중이 50% 초과인 경우 삭제를 고려합니다. 다만 케이스에 따라 기준을 명확하게 잡고 가야겠죠.
df.drop(columns = [삭제할 칼럼이름 리스트], axis=1) : 데이터프레임에서 특정 칼럼(들)을 삭제합니다.

3️⃣-1. 결측치 대체 — 수치형 칼럼에서 결측치 대체하기 :: fillna()

df.fillna() : 결측치를 특정 값으로 대체할 수 있습니다. 일반적으로 평균값, 중앙값, 최빈값 등으로 채웁니다.
대체값은 실제값이 아니므로, 너무 많은 결측치들을 같은 값으로 대체하면 편향이 생길 수 있음을 알고 진행해야 합니다.
수치형 데이터 칼럼인 경우, 보통 평균값이나 중앙값으로 대체합니다.
- 평균값은 이상치에 민감하므로, 이상치가 적거나 없으면 평균값으로 대체하면 됩니다.
- 이상치가 많다면, 비교적 이상치에 덜 민감한 중앙값으로 대체하는 것이 좋습니다.
duration, price 칼럼은 중앙값으로, days_left 칼럼은 평균값으로 대체해보겠습니다.

# 결측치 대체할 데이터프레임 따로 카피
df_fillna = df_na.copy()

# 비행시간, 가격은 중앙값으로 대체
df_fillna['duration'] = df_fillna['duration'].fillna(df_fillna['duration'].median())
df_fillna['price'] = df_fillna['price'].fillna(df_fillna['price'].median())

# 출발까지 남은일수는 평균값으로 대체
df_fillna['days_left'] = df_fillna['days_left'].fillna(df_fillna3['days_left'].mean())

# 결측치 처리 확인
df_fillna.isnull().sum()

3️⃣-2. 결측치 대체 — 범주형 칼럼에서 결측치 대체하기 :: bfill(), ffill()

범주형 데이터 칼럼인 경우, 일반적으로 최빈값 혹은 근처의 값들로 대체합니다.
- df.fillna(df.mode().iloc[0]) : 최빈값으로 대체
- df.ffill : 바로 위 행의 값으로 대체
- df.bfill : 바로 아래 행의 값으로 대체

# 범주형 칼럼별 최빈값으로 결측치 대체하기
df_fillna = df_fillna.fillna(df_fillna.mode().iloc[0])

# 이전 인덱스(윗줄)에 있는 값으로 결측치 대체하기
df_fillna = df_fillna.ffill()

# 다음 인덱스(아랫줄)에 있는 값으로 결측치 대체하기
df_fillna = df_fillna.bfill()

[seaborn] 산점도에 회귀선 회귀식 추가하기 :: sns.lmplot sns.regplot

서윤L — Sat, 29 Jun 2024 17:12:50 +0900

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.
좌석(class) 이코노미석인 데이터셋만 걸러서, 비행까지 남은일수(days_left)와 가격(price)간의 관계를 알아보니
상관계수 약 -0.56로 상당한 음의 상관관계를 보여주고 있네요.
산점도와 회귀선까지 시각화해서 두 칼럼간의 관계를 좀더 분석해보겠습니다.

# 패키지 불러오기
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 데이터셋 불러오기
df = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')

# 좌석(class) 이코노미석인 데이터셋만 선택
df_economy = df[df['class']=='Economy']

# 비행기 출발까지 남은일수(days_left)와 가격(price)간의 상관관계 알아보기
df_economy.corr(numeric_only=True)['days_left']

1️⃣ sns 산점도 + 선형회귀 직선 그리기 :: sns.lmplot

seaborn의 lmplot() 메소드로 산점도와 선형회귀 직선을 함께 그릴 수 있습니다.

# lmplot으로 산점도+회귀선 그리기
sns.lmplot(
    data = df_economy, x = 'days_left', y = 'price',               # 데이터 지정
    scatter_kws = {'color':'orange', 'alpha':0.5}, markers = '+',  # 산점도 디자인
    line_kws = {'color':'green'}                                   # 회귀선 디자인
)

col 혹은 row 요소를 추가해서, 또다른 범주형 데이터를 기준으로 분리해서 서브플롯을 여러개 그릴수도 있습니다.
아래는 col = 'stops' 를 추가하여, 경유횟수에 따라 그래프를 나눠 그려본 결과입니다.
경유하지 않는 경우(맨 왼쪽)은 상관관계가 비교적 약해보이는데, 경유횟수가 많아질수록 음의 상관관계가 강해지는 것 같아요.

# 경유횟수(stops)에 따라 나눠서 그래프 여러개 그리기
sns.lmplot(
    data = df_economy, x = 'days_left', y = 'price',               # 데이터 지정
    scatter_kws = {'color':'orange', 'alpha':0.5}, markers = '+',  # 산점도 디자인
    col = 'stops',                                                 # 특정 카테고리로 분리해서 서브플롯 생성
    line_kws = {'color':'green'}                                   # 회귀선 디자인
)

2️⃣ 선형회귀 직선에 회귀식 추가하기 :: sns.regplot + scipy

회귀직선의 회귀식을 알고 싶다면, scipy 패키지를 불러와서 직선의 기울기와 절편값을 가져오면 됩니다.
다만, 이때는 lmplot 대신 regplot으로 산점도+회귀선을 작성해야 직선의 정도들을 가져올 수 있습니다.
사용하는 scipy의 메소드는 scipy.stats.linregress() 입니다. 아래 코드를 참고해주세요.

# 그래프 스타일 및 한글출력 설정
sns.set_theme(
    style = 'ticks',             # 그래프 배경 지정
    font = 'NanumBarunGothic',   # 한글 폰트 지정
    rc = {'axes.unicode_minus' : False}
)
# regplot으로 산점도+회귀식 그리기
regplot1 = sns.regplot(
    data = df_economy, x = 'days_left', y = 'price',          # 데이터 지정
    scatter_kws = {'color':'grey', 'alpha':0.5}, marker='+',  # 산점도 디자인
    line_kws = {'color':'red'}                                # 회귀선 디자인
)
# 회귀직선에서 기울기, 절편값 가져오기
slope, intercept, r, p, sterr = scipy.stats.linregress(
    x = regplot1.get_lines()[0].get_xdata(),
    y = regplot1.get_lines()[0].get_ydata()
)
# 그래프에 회귀식 추가 출력
plt.text(
    x = 25, y = 35000,                                            # 회귀식 출력할 위치 지정
    s = 'y = '+str(round(slope,2))+'x + '+str(round(intercept,2)) # 회귀식 구성 (소수점 둘째자리까지 반올림)
)
# 축 범위, 축 이름, 그래프 제목 지정하기
regplot1.set(
    xlabel = '출발까지 남은일수 (days_left)',
    ylabel = '가격 (price)',
)

[seaborn] 데이터프레임으로 히트맵 그리기 :: sns.heatmap

서윤L — Sat, 29 Jun 2024 00:36:37 +0900

✅ 히트맵 (heatmap)

히트맵 (Heatmap)	seaborn 메소드
• 데이터를 카테고리(범주)별로 나눠서 색상으로 표현한 행렬 • 여러 카테고리 값의 변화를 한눈에 살펴보기 좋은 시각화 도구임	sns.heatmap()

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.

# 패키지 불러오기
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 데이터셋 불러오기
df = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')
df = df.drop([df.columns[0]], axis=1)

1️⃣ sns 히트맵 그리기 :: sns.heatmap

클래스(class)가 이코노미석인 경우만 걸러서, 이 데이터셋에서 수치데이터인 칼럼들 간의 상관계수를 히트맵으로 작성할게요.
데이터프레임에 corr() 메소드를 사용해서 상관계수를 전부 도출할 수 있습니다.
히트맵 색상과 수치로 상관관계를 한눈에 파악할 수 있네요.
비행시간(duration)과 가격(price)간의 상관계수는 0.29로 약한 상관관계를 가지고 있고,
비행까지 남은일수(days_left)과 가격(price)간의 상관계수는 -0.56으로 음의 상관관계를 보여주고 있습니다.

# 이코노미석인 경우만 걸러서 데이터셋 생성
df_economy = df[df['class']=='Economy']

# 상관계수 행렬을 히트맵으로 작성
sns.heatmap(
    data = df_economy.corr(numeric_only=True),  # 수치칼럼 간 상관계수 도출
    annot = True,                               # 상관계수 수치 표시
    cmap='coolwarm'                             # 컬러맵 지정
)

2️⃣ 교차표(crosstab)로 sns 히트맵 그리기

출발도시(source_city)와 도착도시(destination_city)를 데이터셋을 나누는 범주로 놓고,
각 범주마다 평균 가격을 뽑아보겠습니다. pd.crosstab() 메소드로 교차표를 작성해서 뽑을 수 있습니다.
이 교차표를 그대로 넣어서 히트맵을 그려볼게요.
컬러맵과 수치까지 보이게 작성해서, 출발-도착도시에 따라 가격이 어떻게 다른지 한눈에 파악할 수 있습니다.

# 크로스테이블 작성: 출발도시-도착도시 간 평균가격 
crosstab1 = pd.crosstab(
    index = df['source_city'],
    columns = df['destination_city'], 
    values = df['price'], aggfunc = 'mean'
)

# 그래프 스타일 및 한글출력 설정
sns.set_theme(
    style = 'ticks',             # 그래프 배경 지정
    font = 'NanumBarunGothic',   # 한글 폰트 지정
    rc = {'axes.unicode_minus' : False}
)
# 히트맵 생성
heatmap1 = sns.heatmap(
    data = crosstab1,                       # 크로스테이블을 데이터로 지정
    cmap = 'Blues', cbar = True,            # 컬러맵 지정 및 컬러바 표시
    linecolor = 'white', linewidths = 0.5,  # 테두리 색상 및 두께 지정
    annot = True, fmt='.0f'                 # 수치 표시방식 지정
)
# x축 위에 표시하기
heatmap1.xaxis.tick_top()

# 축 범위, 축 이름, 그래프 제목 지정하기
heatmap1.set(
    xlabel = '도착도시 (destination_city)',
    ylabel = '출발도시 (source_city)',
)

[matplotlib][seaborn] 데이터프레임으로 산점도 그리기 :: plt.scatter sns.scatterplot

서윤L — Fri, 28 Jun 2024 02:18:55 +0900

✅ 산점도 (Scatter plot)

산점도 (Scatter plot)	matplotlib 메소드	seaborn 메소드
•연속형 변수 2개 사이의 관계를 점으로 찍어서 표현하는 그래프 •산점도의 형태를 보고 상관관계를 가늠할 수 있 •산점도의 점 하나하나는 관측값을 나타냄	plt.scatter()	sns.scatterplot()

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.
비행시간(duration)과 비행편 가격(price)간의 관계를 산점도로 찍어서 알아보려고 합니다.

# 패키지 불러오기
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 데이터셋 불러오기
df = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')
df = df.drop([df.columns[0]], axis=1)

1️⃣ plt 산점도 그리기 :: plt.scatter

산점도 생성: plt.scatter(x='x축 들어갈 칼럼', y='y축 들어갈 칼럼')
간단하게 2개 칼럼만 넣어서 산점도를 그려볼 수 있습니다. 형태를 보아하니, 아주 약간 양의 상관관계를 가진 것 같습니다.

# 차트 영역 지정하기
plt.figure()

# 산점도 그리기: 비행시간-가격
plt.scatter(x=df['duration'], y=df['price'])

# 차트 표시하기
plt.show()

2️⃣ sns 산점도 그리기 :: sns.scatterplot

seaborn으로 산점도를 그리면 보다 다양한 요소를 추가할 수 있습니다.
2개 칼럼 간의 관계 뿐만 아니라, 그 안에서 또 구분할 카테고리를 추가할 수 있습니다.
hue(색상), style(점 모양), sizes(점 크기)로 카테고리가 구분되어 보이도록 지정할 수 있어요.
아래 코드에선 hue(색상)으로 좌석클래스(class)가 구분되어 보이도록 지정해봤습니다.
비즈니스, 이코노미 둘다 비행시간-가격 간에 약한 양의 상관관계를 가진 것 같아 보입니다.

# 그래프 스타일 및 한글출력 설정
sns.set_theme(
    style = 'whitegrid',                   # 그래프 배경 지정
    font = 'NanumBarunGothic',             # 한글 폰트 지정
    rc = {'axes.unicode_minus' : False}
)
scatter = sns.scatterplot(
    data=df, x='duration', y='price',  # 데이터 지정
    hue='class',                       # 색상으로 구분할 카테고리 변수
    alpha=0.5, palette='Set2'          # 투명도 및 팔레트 지정
)
# 축 범위, 축 이름, 그래프 제목 지정하기
scatter.set(
    xlabel = '비행시간 (duration)',
    ylabel = '가격 (price)',
    title = '좌석클래스별 비행시간-가격 산점도'
)
# x축 간격 지정하기
scatter.set_xticks(np.arange(0,50,5))

[seaborn] 데이터프레임으로 박스플롯 그리기 :: sns.boxplot

서윤L — Thu, 27 Jun 2024 22:37:19 +0900

✅ 박스플롯 (Box plot)

박스플롯 (Box plot)	matplotlib 메소드	seaborn 메소드
•중앙값을 포함한 사분위수를 시각화하는 통계분석 도구 •박스플롯으로 볼 수 있는 통계량 - 제1사분위수(25%), 중앙값(50%), 제3사분위수(75%) - IQR (InterQuartile Range) = 제3사분위수 - 제1사분위수 - 최솟값 = 제1사분위수 - 1.5IQR 보다 큰 값들 중 최솟값 - 최댓값 = 제3사분위수 + 1.5IQR 보다 작은 값들 중 최댓값 - 이상치 = 위 최댓값과 최솟값을 넘어가는 값들	plt.boxplot()	sns.boxplot()

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.

# 패키지 불러오기
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 데이터셋 불러오기
df = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')
df = df.drop([df.columns[0]], axis=1)

1️⃣ sns 박스플롯 그리기 :: sns.boxplot

박스플롯 생성: sns.boxplot(data=데이터프레임, x=범주, y=수치)

# 박스플롯 생성
sns.boxplot(data=df, x='arrival_time', y='price')

박스플롯을 보니 시간대별로 최솟값, 제1사분위수, 중앙값은 크게 차이나지 않고 비슷한 편이네요.
이른아침과 심야 비행편이 눈에 띄게 낮은 가격대에 분포하고 있습니다. 제3사분위수가 다른 시간대에 비해 상당히 낮네요.
아래와 같이 평균값을 도출해봐도 꽤 낮은 가격입니다. 다만 박스플롯에서 보이듯이 높은 가격의 이상치도 많습니다.

2️⃣ 박스플롯 커스터마이징

아래와 같이 다양한 요소로 박스플롯의 디자인요소를 커스텀할 수 있습니다.
boxplot 생성 시 hue 요소를 추가하여, 분류할 카테고리 변수를 추가할 수도 있습니다.

# 그래프 스타일 및 한글출력 설정
sns.set_theme(
    style = 'whitegrid',                   # 그래프 배경 지정
    font = 'NanumBarunGothic',             # 한글 폰트 지정
    rc = {'figure.figsize' : (12,6),       # 그래프 크기 지정
          'axes.unicode_minus' : False}
)
# 박스플롯 생성
boxplot = sns.boxplot(
    data=df, x='arrival_time', y='price',  # 데이터 지정 
    hue='class',                           # 색상으로 구분할 카테고리 변수 
    width=.5,                              # 박스 두께
    fliersize = 2,                         # 이상치 점 크기
    palette=plt.cm.Set3.colors             # 색상 팔레트 지정
)
# 축 범위, 축 이름, 그래프 제목 지정하기
boxplot.set(
    xlabel = '출발시간 (arrival_time)',
    ylabel = '가격 (price)',
    title = '출발시간에 따른 좌석별 가격 박스플롯'
)

출발시간에서 좌석클래스로 한번더 카테고리를 나누고 보니
이코노미석은 시간대별로 차이가 그렇게 크지 않고, 분포도 넓지 않은 편입니다.
그에 비하면 비즈니스석은 시간대에 따라 차이가 약간 있는 편이고, 가격 분포가 상당히 넓습니다.
위에서 좌석을 나누기 전에는 이른아침과 심야시간 가격대가 낮고, 높은 이상치가 많은 편이었는데
이렇게 나누고 보니 높은 이상치는 비즈니스석 가격이었던 것 같네요.

[matplotlib][seaborn] 데이터프레임으로 히스토그램 그리기 :: plt.hist sns.histplot

서윤L — Thu, 27 Jun 2024 17:28:25 +0900

✅ 히스토그램

히스토그램 (Histogram)	matplotlib 메소드	seaborn 메소드
•데이터의 빈도수 및 분포를 알아보기 위해 작성하는 그래프 •카테고리별 개수를 막대로 나타내는 막대그래프와 달리, 정해진 구간별 빈도수를 막대로 나타내어 분포를 볼 수 있는 통계분석 도구임	plt.hist()	sns.histplot()

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.

# 패키지 불러오기
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 데이터셋 불러오기
df = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')
df = df.drop([df.columns[0]], axis=1)

1️⃣-1. plt 히스토그램 그리기 :: plt.hist

히스토그램 생성: plt.hist(데이터셋)
간단하게 데이터셋만 넣어줘도, 구간은 자동으로 정해져서 생성됩니다.
그냥 생성해봤더니 10개로 나눠졌네요. 아래에서 구간개수를 좀더 늘려보겠습니다.

# 차트 영역 지정하기
plt.figure()

# 히스토그램 그리기 : duration(비행시간)의 빈도수 및 분포
plt.hist(df['duration'])

# 차트 표시하기
plt.show()

1️⃣-2. plt 히스토그램 커스터마이징

계급 개수 지정: plt.hist(x=데이터셋, bins=계급개수, ...)
x,y축 간격 지정: plt.xticks(범위), plt.yticks(범위)
구간별 빈도수 및 구간 출력: 히스토그램을 변수 하나에 저장하고, 해당 변수 출력하기 (아래 코드에서 histogram)

# 차트 영역 지정하기
plt.figure()

# 차트에서 한글 표시하기
plt.rcParams['font.family'] = "NanumBarunGothic"
plt.rcParams['axes.unicode_minus'] = False

# 눈금선 추가하기
plt.grid(linewidth = '0.5')

# 히스토그램 생성하기
histogram = plt.hist(
    x = df['duration'],  # 데이터 지정
    bins = 20,           # 계급을 20개 구간으로 나눔
    color = 'salmon'     # 색상 지정
)

# x,y축 간격 지정하기
plt.xticks(np.arange(0,50,5))
plt.yticks(np.arange(0,45000,5000))

# x,y축 이름 정하기
plt.xlabel('비행 시간 (duration)')
plt.ylabel('비행편 개수 (flights)')

# 차트 표시하기
plt.show()

# 구간별 빈도수, 구간 확인하기
histogram

계급구간을 20개로 나눠서 그려봤는데요, 구간 10개일 때 뭉뚱그려져 있던 데이터 분포를 더 상세하게 볼 수 있습니다.
생각보다 비행시간 3시간 이하 구간에 많이 몰려있었고, 긴 비행 중에서는 22~25시간이 비교적 많은 편이었네요.

2️⃣. sns 히스토그램 그리기 :: sns.histplot

seaborn으로 히스토그램을 그리면, 보다 다양한 요소들을 커스텀할 수 있습니다.
아래처럼 구간 범위를 직접 지정할 수 있고, KDE(커널밀도 추정지) 그래프를 추가할 수도 있습니다.

# 그래프 크기 및 한글출력 설정
sns.set_theme(
    style = 'ticks',
    font = 'NanumBarunGothic',
    rc = {'figure.figsize' : (12,6),
          'axes.unicode_minus' : False}
)
# 히스토그램 생성
histogram1 = sns.histplot(
    data=df, x='duration',      # 데이터 지정
    bins=20, binrange=(0,50),   # 계급 개수 20개, 범위는 0~50으로 지정
    kde=True,                   # 커널 밀도 그래프 추가
    color='darkorange'          # 색상 지정
)
# 축 범위, 축 이름, 그래프 제목 지정하기
histogram1.set(
    xlabel = '비행시간 (duration)',
    ylabel = '도수 (count)',
    title = '비행시간 히스토그램'
)
# y축 눈금 설정하기
histogram1.set_xticks(np.arange(0,50,5))

# 계급구간별 도수 표시하기
for i in histogram1.containers:
    histogram1.bar_label(i, fontsize=9)

[matplotlib] plt colors 컬러이름 모음, 컬러이름 출력하기 :: mcolors

서윤L — Thu, 27 Jun 2024 16:48:26 +0900

matplotlib (plt) 컬러이름 모음, 쓸 수 있는 컬러이름 출력해보기

# mcolors 모듈 불러오기
import matplotlib.colors as mcolors

# 기본컬러 이름 및 RGB출력 (8가지)
mcolors.BASE_COLORS

# Tableau컬러 이름 및 컬러코드 출력 (10가지)
mcolors.TABLEAU_COLORS

# CSS컬러 이름 및 컬러코드출력 (148가지)
mcolors.cnames
# 혹은 mcolors.CSS4_COLORS

# XKCD컬러 이름 및 컬러코드 출력 (949가지)
mcolors.XKCD_COLORS

mcolors 모듈을 가져오고, 위 코드를 실행하면 아래와 같이 이름 및 컬러코드가 출력됩니다.

아래는 matplotlib 공식 문서에서 가져온 컬러 일람표입니다.
(https://matplotlib.org/stable/gallery/color/named_colors.html)

BASE_COLORS
TABLEAU_COLORS
CSS4_COLORS

[matplotlib] 데이터프레임으로 파이차트 원형그래프 그리기 :: plt.pie

서윤L — Thu, 27 Jun 2024 01:38:38 +0900

✅ 파이차트 (원형그래프)

파이차트, 원형그래프 (Pie Chart)	matplotlib 메소드
•전체(100%) 대비 각 범주의 비율(%)을 한눈에 파악하기 쉬움 •전체 대비 각 부분부분의 비율을 비교하기 좋음	plt.pie()

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.
departure_time(출발시간)별로 비행편 비율이 어떻게 다른지 알고 싶은데요,
value_counts 메소드로 출발시간별로 카운트한 다음, 한눈에 파악할 수 있도록 파이차트를 그려보겠습니다.

# 패키지 불러오기
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 데이터셋 불러오기
df = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')
df = df.drop([df.columns[0]], axis=1)

# departure_time(출발시간) 별로 비행편 카운트
dt_counts = pd.DataFrame(df['departure_time'].value_counts(ascending=True))

1️⃣ plt 파이차트 그리기 :: plt.pie

파이차트 생성: plt.pie(x = 수치데이터, labels = 범주데이터, autopct = 수치표시 방식)

# 차트 영역 지정하기
plt.figure()

# 파이그래프 그리기
plt.pie(
    x = dt_counts['count'],    # 수치데이터 지정
    labels = dt_counts.index,  # 카테고리 표시
    autopct = '%.1f%%'         # 데이터 라벨(숫자) 표시방식
)

# 차트 표시하기
plt.show()

2️⃣ 파이차트 커스터마이징

아래와 같이 다양한 요소로 부채꼴의 모양, 위치, 테두리 등등을 커스텀할 수 있습니다.

# 차트 영역 지정하기
plt.figure()

# 파이그래프 그리기
plt.pie(
    x = dt_counts,                  # 데이터 지정
    labels = dt_counts.index,       # 카테고리 표시
    labeldistance = 1.1,            # 카테고리 표시위치 지정
    autopct = '%.1f%%',             # 수치데이터 표시방식
    startangle = 90,                # 시작각도 설정 (시계반대방향)
    explode = [0, 0, 0, 0, 0, 0.1], # 중심에서 벗어나는 정도
    wedgeprops = {
        'width': 0.7,               # 부채꼴 길이
        'edgecolor': 'w',           # 부재꼴 테두리 컬러
        'linewidth': 0.5},          # 부채꼴 테두리 두
    colors = plt.cm.Set2.colors     # 컬러맵 지정
)

# 차트 표시하기
plt.show()

[matplotlib] plt 컬러맵 확인하기 :: plt.colormaps plt.cm

서윤L — Wed, 26 Jun 2024 22:58:03 +0900

✅ plt 패키지에서 기본제공하는 컬러맵 확인하기

plt.colormaps로 모든 컬러맵 이름을 확인할 수 있고, 실제 색상은 plt.cm으로 출력해볼 수 있습니다.

# 패키지 불러오기
import matplotlib.pyplot as plt

# 컬러맵 전부 출력
list(plt.colormaps)

# 컬러맵 하나 골라서 색상 확인
plt.cm.Set2

[matplotlib][seaborn] 데이터프레임으로 막대그래프 그리기 :: plt.bar sns.barplot

서윤L — Wed, 26 Jun 2024 00:22:11 +0900

✅ 막대 그래프 (바 그래프)

선 그래프 (Line Plot)	matplotlib 메소드	seaborn 메소드
•범주/카테고리에 따른 수량과 통계량을 살펴보기에 적합함 •범주별 수치를 한눈에 대소비교 하기에 좋음	plt.bar()	sns.barplot()

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.
airline(비행편)에 따라 price(티켓가격) 평균이 어떻게 달라지는지, 막대 그래프로 살펴보고자 합니다.
groupby 메소드로 평균값 데이터셋을 만든 다음 시각화를 진행해보겠습니다.

# 패키지 불러오기
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 데이터셋 불러오기
df = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')
df = df.drop([df.columns[0]], axis=1)

# airline(비행편)별 price(티켓가격) 평균값
airline_price = df.groupby(by='airline').mean(numeric_only=True)[['price']]

1️⃣ plt 막대 그래프 그리기 :: plt.bar

막대그래프 생성: plt.bar(x=범주데이터, height=범주별 수치데이터)
데이터라벨 표시: plt.text() 활용 (아래 코드 참조)
눈금선 표시: plt.grid(True)
x,y축 이름 표시하기: plt.xlabel('x축 이름'), plt.ylabel('y축 이름')

# 차트 영역 지정하기
plt.figure()

# 차트에서 한글 표시하기
plt.rcParams['font.family'] = "NanumBarunGothic"
plt.rcParams['axes.unicode_minus'] = False

# 막대그래프 그리기
plt.bar(
    x = airline_price.index,         # x축 = 범주
    height = airline_price['price'], # y축 = 막대 높이 = 범주별 수치
    color = 'c', edgecolor = 'k'     # 막대, 테두리 색상 설정
)
# 데이터 라벨 표시하기
for i in range(len(airline_price)):
    plt.text(
        x = airline_price.index[i],               # 라벨 위치 x축
        y = airline_price['price'][i],            # 라벨 위치 y축
        s = np.round(airline_price['price'][i]),  # 표시할 데이터 (반올림)
        ha='center')                              # 막대 가운데 표시
    
# 눈금선 표시하기
plt.grid(True, 
    linewidth = 1, linestyle = ':'   # 눈금선 두께, 스타일 설정
)
# x,y축 이름 정하기
plt.xlabel('비행사 (airline)', labelpad = 10)
plt.ylabel('티켓가격 (price)', labelpad = 10)

# 차트 표시하기
plt.show()

Air_India와 Vistara의 가격만 특히 높습니다. 비행사만 기준으로 나눠서 보니 데이터가 이렇게 쏠려서 보이는 것 같아요.
좌석클래스 별로도 한번더 나눠서 막대그래프를 다시 그려보겠습니다.

2️⃣ sns 막대 그래프 그리기 :: sns.barplot

그래프 배경, 팔레트, 폰트 등 스타일 지정: sns.set_theme()
막대그래프 생성: sns.barplot(data=데이터프레임, x=범주데이터, y=범주별 수치데이터, hue=색상으로 구분할 범주)
범례 위치 지정: sns.move_legend(barplot, '범례 위치')
데이터라벨 표시: barplot.bar_label() 활용 (아래 코드 참조)

# 그래프 스타일 지정
sns.set_theme(
    style='whitegrid',
    palette='muted',
    font='NanumBarunGothic',
    rc = {'figure.figsize' : (12,6),
          'axes.unicode_minus' : False}
)
# 막대그래프 그리기
barplot1 = sns.barplot(data=df, x='airline', y='price', hue='class')

# 축 범위, 축 이름, 그래프 제목 지정하기
barplot1.set(
    xlabel = '비행사 (airline)',
    ylabel = '티켓 가격 (price)',
    title = '비행사별 좌석에 따른 평균 티켓가격'
)
# y축 눈금 설정하기
barplot1.set_yticks(np.arange(0,55000,5000))

# 범례 위치 지정하기
sns.move_legend(barplot1, 'upper left')

# 데이터 라벨 표시하기
for i in barplot1.containers:
    barplot1.bar_label(i, fontsize=10)

예상한대로 비즈니스석 때문에 Air_India, Vistara 2개 비행사만 티켓가격 평균이 특히 높은 거였네요!
비즈니스석을 제외해도.. 이 2개 비행사의 이코노미석 가격도 다른 비행사들에 비해 비싼 편인 것을 알 수 있습니다.

[seaborn] 그래프 스타일 지정하기 :: set_style() set_context() set_palette() set_theme()

서윤L — Tue, 25 Jun 2024 19:36:02 +0900

1️⃣ 배경과 눈금선 스타일 :: set_style()

set_style() 메소드로 white, whitegrid, dark, darkgrid, ticks 5가지 중 그래프 스타일을 정할 수 있습니다.
스타일에 따라 아래와 같이 배경색이나 눈금선, 축 디자인이 달라집니다.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# sns 내장 데이터셋
df = sns.load_dataset('penguins')

sns.set_style('스타일 이름')
sns.boxplot(data=df, x='species', y='body_mass_g')

'white'	'whitegrid'	'dark'	'darkgrid'	'ticks'

2️⃣ 텍스트와 테두리 스케일 :: set_context()

그래프 용도에 알맞는 스케일로 알아서 바꿔줍니다. paper, notebook, talk, poster 4가지가 제공되고 있습니다.

sns.set_context('용도 이름')
sns.boxplot(data=df, x='species', y='body_mass_g')

'paper'	'notebook'	'talk'	'poster'
논문 등 출판물용 작은 크기	주피터노트북용 일반적인 크기	프레젠테이션 등을 위한 큰 크기	포스터 등을 위한 가장 큰 크기

3️⃣ 색상 팔레트 :: set_palette()

seaborn에서 기본 제공하는 색상 팔레트는 아래 10가지 색상입니다.
set_palette() 메소드를 사용해서 deep, muted, pastel, dark, bright, colorblind 6가지 팔레트를 설정할 수 있습니다.
기본 팔레트에서 색상 톤이 조금씩 달라져요.

sns.set_palette(palette='팔레트 이름')
sns.boxplot(data=df, x='species', y='body_mass_g', hue='species')

'deep'	'muted'	'pastel'	'dark'	'bright'	'colorblind'

seaborn에서 제공하는 팔레트가 2가지 더 있습니다. hls, husl 은 아래와 같이 6가지 색상을 제공합니다.
또는 직접 색상코드를 넣어서 팔레트를 만들 수도 있습니다.

4️⃣ 스타일 한번에 설정하기 :: set_theme()

위의 배경, 눈금선, 스케일, 팔레트, 폰트 등을 한번에 설정할 수 있는 메소드가 set_theme() 입니다.
아래와 같이 요소요소들을 넣어서 스타일 테마를 설정할 수 있습니다.
설정할 수 있는 요소들: context, style, palette, font, font_scale, color_codes, rc

sns.set_theme(
    context='notebook',
    style='whitegrid',
    palette='muted',
    font='serif'
)
sns.boxplot(data=df, x='species', y='body_mass_g', hue='species')

[matplotlib][seaborn] 데이터프레임으로 선그래프 그리기 :: plt.plot sns.lineplot

서윤L — Tue, 25 Jun 2024 02:07:55 +0900

✅ 선 그래프

선 그래프 (Line Plot)	matplotlib 메소드	seaborn 메소드
•시간, 순서에 따른 변화를 살펴보기에 적합함 •데이터의 증감을 파악할 수 있음	plt.plot()	sns.lineplot()

0️⃣ 패키지 & 데이터프레임 불러오기

예시가 될 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 입니다.
days_left(출발까지 남은일수)에 따른 평균 price(티켓가격)의 변화를 선 그래프로 살펴보고자 합니다.
groupby 메소드로 평균값 데이터셋을 만든 다음 시각화를 진행해보겠습니다.

# 패키지 불러오기
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 데이터셋 불러오기
df = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')
df = df.drop([df.columns[0]], axis=1)

# days_left(출발까지 남은일수)에 따른 평균 price(티켓가격)의 변화
days_price = df.groupby(by='days_left').mean(numeric_only=True)[['price']]

1️⃣-1. plt 선 그래프 그리기 :: plt.plot

plt로 그래프를 그리는 단계는 기본적으로 차트 영역 지정하기 → 시각화 → 차트 표시하기 순서입니다.
plt.plot()에 데이터프레임만 넣어주면, 인덱스는 x축, 칼럼 값들은 y축으로 알아서 들어갑니다.

# 차트 영역 지정하기
plt.figure()

# 선 그래프 그리기
plt.plot(days_price)

# 차트 표시하기
plt.show()

1️⃣-2. plt 커스터마이징 해보기

차트 크기 바꾸기: plt.figure(figsize=(너비,높이))
차트 눈금선 표시하기: plt.grid(True)
제목 표시하기: plt.title('제목')
x,y축 범위 바꾸기: plt.xlim(최솟값,최댓값), plt.ylim(최솟값,최댓값)
x,y축 눈금 바꾸기: plt.xticks(범위), plt.yticks(범위)
x,y축 이름 표시하기: plt.xlabel('x축 이름'), plt.ylabel('y축 이름')

# 차트 영역 지정하기
plt.figure(figsize=(12,6))

# 선 그래프 그리기
plt.plot(
    days_price,                    # 데이터 지정
    color = 'c', linewidth = 3,    # 선 색상, 두께 설정
    marker = '.', markersize = 10  # 마커 모양, 크기 설정
)
# y축 범위 변경하기
plt.ylim(0, 35000)

# x축 눈금 설정하기
plt.xticks(np.arange(0,50,5))

# 눈금선 표시하기
plt.grid(True, 
    linewidth = 1, linestyle = ':'  # 눈금선 두께, 스타일 설정
)
# 제목 표시하기
title = {'fontsize':'14', 'fontweight':'bold'}
plt.title(
    '출발까지 남은일수에 따른 평균 티켓가격의 변화', 
    fontdict = title,  # 글꼴 설정
    pad = 10           # 그래프와 간격 설정
)
# x,y축 이름 표시하기
plt.xlabel('출발까지 남은일수 (days_left)')
plt.ylabel('티켓 가격 (price)')

# 차트 표시하기
plt.show()

2️⃣-1. sns 선 그래프 그리기 :: sns.lineplot

plt로 그리려면 평균값을 계산한 데이터셋을 따로 만들어야 했습니다.
반면 sns는 따로 만들 필요없이.. 원래 데이터셋 그대로 넣어도 평균값을 알아서 계산해서 그려줍니다!
이런 점에서 plt보다 통계적인 강점이 있다는 거죠. 선 그래프에 표시된 음영은 95%신뢰구간을 자동으로 표시해준 거에요.

sns.lineplot(
    data = df,
    x = 'days_left', y = 'price'
)

2️⃣-2. sns 커스터마이징 해보기

아래 sns 메소드를 활용해도 되고, 위에서 썼던 plt 메소드를 그대로 써도 문제 없이 적용됩니다.
그래프 테마 설정하기: sns.set_theme(style='테마이름') (테마종류: "white", "dark", "whitegrid", "darkgrid", "ticks")
그래프 크기, 한글폰트 설정하기: sns.set(font='폰트이름', rc={딕셔너리 형태로 설정})
제목 표시하기: lineplot.set(title='제목')
x,y축 범위 바꾸기: lineplot.set(xlim = (최솟값,최댓값), ylim = (최솟값,최댓값))
x,y축 이름 표시하기: lineplot.set(xlabel = 'x축 이름', ylabel = 'y축 이름')
x,y축 눈금 바꾸기: lineplot.set_xticks(범위), lineplot.set_yticks(범위)

# 그래프 테마 설정하기
sns.set_theme(
    style = 'darkgrid'
)
# 그래프 크기, 폰트 설정하기
sns.set(
    font = 'NanumBarunGothic',
    rc = {'figure.figsize' : (12,6), 
          'axes.unicode_minus' : False}
)
# 선 그래프 그리기
lineplot = sns.lineplot(
    data = df, x = 'days_left', y = 'price', 
    color = 'green', linewidth = 3
)
# 축 범위, 축 이름, 그래프 제목 지정하기
lineplot.set(
    ylim = (0,35000), 
    xlabel = '출발까지 남은일수 (days_left)',
    ylabel = '티켓 가격 (price)',
    title = '출발까지 남은일수에 따른 평균 티켓가격의 변화'
)
# x축 눈금 설정하기
lineplot.set_xticks(np.arange(0,50,5))

[matplotlib] plt.pyplot 한글 깨짐 한글폰트 표시하기

서윤L — Sat, 22 Jun 2024 16:34:30 +0900

matplotlib (plt) 그래프에서 한글 깨질 때 대처방법

✅ plt.rcParams[] 으로 전역 폰트 설정하기

rcParams로 전역 폰트을 한번만 설정해주면, 그래프를 작성할 때마다 설정해줄 필요가 없습니다.rcParams는 차트의 다양한 꾸밈요소들을 모아놓은 딕셔너리라고 보면 되는데요, 글꼴뿐만 아니라 선이나 바탕색도 지정 가능해요.

※ Document 참조 (https://matplotlib.org/stable/api/matplotlib_configuration_api.html#matplotlib.rcParams)

아래와 같이 plt.rcParams['font.family'] 를 불러서 value값을 바꿔주면해당 주피터노트북 파일 내에서 한글폰트 지정은 완료되므로, 다른 그래프를 그릴때 다시 지정해줄 필요가 없습니다.

아래 예시와 같이 윈도우에서 맑은고딕, 나눔바른고딕 등으로 지정할 수 있으며, 맥에선 애플고딕으로 지정해주면 된다고 합니다.

# 한글폰트 설정 (전역)
plt.rcParams['font.family'] = "Malgun Gothic"      # 윈도우, 맑은고딕
plt.rcParams['font.family'] = "NanumBarunGothic"   # 윈도우, 나눔바른고딕
plt.rcParams['font.family'] = "NanumSquare"        # 윈도우, 나눔스퀘어

plt.rcParams['font.family'] = "AppleGothic"        # 맥, 애플고딕

# 마이너트폰트 깨짐 방지
plt.rcParams['axes.unicode_minus'] = False

[Pandas] 데이터프레임 그룹별 상관계수 살펴보기 :: corr (correlation)

서윤L — Thu, 20 Jun 2024 22:07:15 +0900

1️⃣ 수치형 데이터간 상관계수 :: corr()

예시 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 비행편 데이터셋입니다.
(캐글 데이터 다운로드: https://www.kaggle.com/datasets/shubhambathwal/flight-price-prediction)
데이터프레임에 포함된 수치형 데이터간의 상관관계는 corr 메소드로 간단하게 살펴볼 수 있습니다.
수치형만 적용 가능하므로 numeric_only = True 파라미터를 넣어줘야 합니다.

# 변수들간 상관계수 살펴보기
df.corr(numeric_only=True)

이 데이터셋에 포함된 수치형 칼럼 3개 서로간의 상관계수들이 도출되었네요.
duration(비행시간) - price(비행편 가격) 간 상관계수는 약 0.2로 약한 약의 상관관계를 보여주고 있습니다.
나머지 상관계수들은 0에 가까워서 거의 상관관계가 없다고 봐도 무방할 정도입니다.

2️⃣ 데이터 그룹별로 상관계수 살펴보기

예시 데이터셋을 살펴보면, 범주형 데이터 칼럼이 대부분입니다.
airline(비행사), source_city(출발도시), departure_time(출발시간), ..., class(좌석클래스) 까지 다양해요.

범주형데이터의 고유값마다 그룹으로 묶어서 상관계수를 다시 뽑아보면 다르게 나올겁니다.
예를 들어서 class(좌석클래스) 마다 뽑아보면 어떨까요?
아래처럼, 비즈니스석과 이코노미석을 groupby()으로 나눠서 상관계수를 다시 보았습니다.
이코노미석의 경우, days_left(남은일수) - price(가격) 간 상관계수가 약 -0.56로 음의 상관관계가 꽤나 있습니다.
비행까지 남은 일수가 적을수록 즉, 출발일자가 가까울수록 티켓가격은 비싸지는 거네요. 비즈니스석은 그렇지도 않지만요.

# 좌석클래스 그룹별로 상관계수 확인
df.groupby('class').corr(numeric_only=True)

하나 더 테스트 해보겠습니다. 출발시간별로도 가격과의 상관관계가 달라질지 궁금하네요.
groupby() 를 'departure_time' 칼럼을 기준으로 해서 뽑아보니 아래처럼 나옵니다.
전체적으로 비행시간과 티켓가격이 양의 상관관계, 나머지는 약한 음의 상관관계를 보여주는데요,
출발시간이 심야(Late_Night)인 경우, 특히 비행시간과 티켓가격 간 corr=0.50으로 양의 상관관계가 비교적 강합니다.

[Pandas] 데이터프레임 합치기 조인 병합 :: pd.merge (join)

서윤L — Thu, 20 Jun 2024 16:37:15 +0900

0️⃣ 데이터프레임 생성

예시가 될 데이터프레임 2개를 먼저 만들어 볼게요.

import pandas as pd
import numpy as np

# 병합할 데이터프레임 2개 생성
df_customer = pd.DataFrame({
    'customer_id' : [1, 2, 3, 4, 5],
    'name' : ['Kim', 'Lee', 'Park', 'Choi', 'Yoon'],
    'grade' : ['Silver', 'Gold', 'Gold', 'Silver', 'Platinum']
})
df_orders = pd.DataFrame({
    'customer_id' : [1, 2, 2, 2, 3, 3, 5, 5, 5, 10],
    'item_order' : ['pumpkin', 'potato', 'garlic', 'carrot', 'cabbage', 'pumpkin', 'potato', 'corn', 'pepper', 'onion'],
    'quantity' : [2, 5, 10, 4, 2, 1, 4, 3, 6, 8]
})

1️⃣ 교집합으로 합치기 (Inner Join)

merge 메소드는 SQL JOIN 에서 문법을 가져온 메소드라는 게 눈에 보이죠. 아래와 같이 요소들을 지정해줘야 합니다.
pd.merge(왼쪽에 위치할 df, 오른쪽에 위치할 df, on = '조인 기준이 되는 칼럼명', how = '조인 방식')
merge 메소드의 디폴트값이 how = 'inner' 이기 때문에, Inner Join을 하고 싶다면 아무것도 지정하지 않아도 됩니다.
Inner Join = 교집합 방식 = 한쪽에 없는 칼럼이면 제외하고 공통으로 존재하는 칼럼만 남기는 방식입니다.
따라서 아래처럼 df_customer에만 있는 4번 고객, df_orders에만 있는 10번 고객의 구매아이템은 제외된 모습입니다.

# Inner Join 방식으로 병합하기
pd.merge(df_customer, df_orders, on = 'customer_id')

2️⃣ 합집합으로 합치기 (Outer Join)

Outer Join = 합집합 방식 = 한쪽에 없는 칼럼이어도 전부 포함해서 합치는 방식입니다.
따라서 아래처럼 df_customer에만 있는 4번 고객, df_orders에만 있는 10번 고객의 구매아이템도 전부 포함되었습니다.
이에 따라 없던 셀도 생기면서 NaN값이 되었습니다. 결측치 처리된거죠.

2️⃣ 왼쪽 or 오른쪽 데이터프레임 기준으로 합치기 (Left Join, Right Join)

Left Join : 왼쪽 데이터프레임에 있는 건 전부 가져옵니다. 왼쪽에 없는데 오른쪽에만 존재하는 데이터는 제외합니다.
아래 예시를 보시면, df_cutomer에만 있는 4번 고객이 포함되어 있죠.
Right Join : 위와 반대입니다. 오른쪽 데이터프레임에 있는 건 전부 가져오고, 왼쪽에만 존재하는 건 제외합니다.
마찬가지로 df_orders에만 존재하는 10번 고객의 구매아이템이 포함되어 있습니다.

# Left Join 방식으로 병합하기
pd.merge(df_customer, df_orders, on = 'customer_id', how = 'left')

# Right Join 방식으로 병합하기
pd.merge(df_customer, df_orders, on = 'customer_id', how = 'right')

*️⃣ 인덱스를 기준으로 합치고 싶을 때

아래처럼, 두 데이터프레임의 인덱스를 기준으로 조인을 시킬 수도 있습니다.
이 경우 이미 인덱스를 기준으로 한다는 파라미터가 들어가므로, 파라미터 on 은 필요 없습니다.
파라미터 how를 추가해서 outer, left, right 등 조인 방식을 바꿀 수 있습니다.

# 두 인덱스를 기준으로 지정 → Inner Join과 동일
pd.merge(df_customer, df_orders, left_index = True, right_index = True)

[Pandas] 데이터프레임 합치기 병합하기 :: pd.concat

서윤L — Thu, 20 Jun 2024 15:36:01 +0900

0️⃣ 데이터프레임 생성

예시가 될 데이터프레임 2개를 먼저 만들어 볼게요.

import pandas as pd
import numpy as np

# 병합할 데이터프레임 2개 생성
df_1 = pd.DataFrame({
    'product' : ['onion', 'carrot', 'cabbage', 'pumpkin', 'potato'],
    'amount' : [100, 50, 70, 30, 80] 
})
df_2 = pd.DataFrame({
    'product' : ['pumpkin', 'potato', 'garlic', 'corn', 'pepper'],
    'amount' : [20, 60, 90, 80, 50]
}, index = [3,4,5,6,7])

1️⃣ 칼럼 이름이 동일한 데이터프레임끼리 합치는 경우

1️⃣-1. 행 레벨로 합치기 (기본값, axis=0)

두 데이터프레임을 행 레벨로 = 위아래로 붙이고 싶은 경우 파라미터를 지정하지 않아도 됩니다. axis=0 이 디폴트값이거든요.
다만 이렇게 병합하면 인덱스도 원래것 그대로 붙습니다. 인덱스 초기화가 필요하다면 ignore_index = True 를 추가해주세요.
혹시 몇천 몇만행짜리 데이터프레임을 합쳐야 하는데, 인덱스가 중복되는지 확인하고 싶은 경우라면
파라미터 verify_integrity = True 를 추가하세요. 중복된다면 에러가 뜨도록 해주는 파라미터입니다.

# 기존 인덱스들을 유지하면서 병합 (디폴트)
pd.concat([df_1, df_2])

# 병합하면서 인덱스 초기화
pd.concat([df_1, df_2], ignore_index = True)

1️⃣-2. 칼럼(열) 레벨로 합치기 (axis=1)

두 데이터프레임을 열 레벨로 = 옆으로 붙이고 싶다면 axis=1 로 지정해줘야 합니다.
아래처럼 인덱스 기준으로 병합되기 때문에, 원래 데이터프레임에 없던 셀들은 NaN으로 채워집니다.

# 칼럼 레벨로 병합 (옆으로 붙임)
pd.concat([df_1, df_2], axis=1)

2️⃣ 칼럼 이름이 다른 데이터프레임끼리 합치는 경우

위에서 만들었던 df_2 에 새로운 칼럼을 붙였습니다. 이제 두 데이터프레임의 칼럼이 다른데요,
이런 경우 파라미터 join 을 추가하여, 어떤 방식으로 병합할지 정해줘야 합니다.

2️⃣-1. 합집합으로 병합하기 (Outer Join)

합집합처럼, 한쪽에 없는 칼럼이어도 포함해서 병합하는 방식입니다.
파라미터 join = 'outer' 로 지정해주면 됩니다. (데이터베이스 Outer Join과 동일한 방식)
아래처럼 df_2의 grade 칼럼까지 포함해서 합쳐집니다. df_1에서 grade는 없는 칼럼이었으니 NaN값으로 채워지구요.

2️⃣-2. 교집합으로 병합하기 (Inner Join)

마찬가지로 교집합처럼, 한쪽에 없는 칼럼이면 제외하고 공통으로 존재하는 칼럼만 남기는 방식입니다.
파라미터 join = 'inner' 로 지정해주면 됩니다. (데이터베이스 Inner Join과 동일한 방식)

# 합집합 방식으로 병합하기 (Outer Join) : 한쪽에 없는 칼럼이어도 전부 포함
pd.concat([df_1, df_2], join = 'outer')

# 교집합 방식으로 병합하기 (Inner Join) : 한쪽에 없는 칼럼이면 제외, 공통 칼럼만 남김
pd.concat([df_1, df_2], join = 'inner')

[Pandas] 데이터프레임에서 피벗테이블 만들기 :: pivot_table pivot table

서윤L — Wed, 19 Jun 2024 00:13:19 +0900

0️⃣ 데이터프레임 생성

먼저 테스트를 위한 데이터프레임을 생성하겠습니다.

import pandas as pd
import numpy as np

# 테스트 데이터프레임 생성
df = pd.DataFrame({
    'container_id' : ['con_1', 'con_1', 'con_1', 'con_2', 'con_2', 'con_2', 'con_3', 'con_3', 'con_3'],
    'product' : ['monitor', 'pc', 'cable', 'monitor', 'pc', 'cable', 'monitor', 'pc', 'cable'],
    'made' : ['korea', 'korea', 'korea', 'korea', 'korea', 'korea', 'china', 'china', 'china'],
    'amount' : [30, 10, 20, 40, 10, 50, 60, 0, 30]
})

1️⃣ 피벗테이블 생성 :: .pivot_table

데이터프레임으로도 엑셀처럼 피벗테이블을 만들 수 있습니다. pivot_table 메소드를 활용하면 되는데요,
각각 index, columns, values 가 될 칼럼 총 3개를 지정해주면 됩니다.
values 값을 집계하는 방법은 아무것도 지정하지 않아도, 기본적으로 평균값(mean)으로 계산됩니다.

# 피벗테이블 만들기 (디폴트 평균값)
df.pivot_table(
    index = 'made',
    columns = 'product',
    values = 'amount'
)

집계방식을 바꾸고 싶다면, aggfunc 파라미터를 추가해서 변경해주면 됩니다.
'count', 'min', 'max', 'sum' 등을 지정할 수 있습니다.

# 집계방식 합계로 바꾸기
df.pivot_table(
    index = 'made', columns = 'product', values = 'amount',
    aggfunc = 'sum'
)

2️⃣ 행열마다 총계 더하기

엑셀에서 피벗테이블을 만들면, 기본적으로 행열마다 총계가 붙어나오죠. 데이터프레임도 가능합니다.
파라미터 margins=True 를 추가하면 됩니다. 아래처럼 총계값들도 지정해둔 집계방식(합계, 평균 등)을 따라갑니다.

# 행열마다 합계 더하기 (Subtotal)
df.pivot_table(
    index = 'made', columns = 'product', values = 'amount',
    aggfunc = 'sum',
    margins = True
)

# 행열마다 평균값 집계
df.pivot_table(
    index = 'made', columns = 'product', values = 'amount',
    aggfunc = 'mean',
    margins = True
)

3️⃣ 집계값 여러개 한번에 보기

집계값을 여러개 보고 싶은 경우라면, 파라미터 aggfunc에 리스트를 넣어주면 됩니다. 여기에 총계를 더할 수도 있습니다.

# 여러개 집계해서 한번에 보기
df.pivot_table(
    index = 'made', columns = 'product', values = 'amount',
    aggfunc = ['count', 'sum', 'mean']
)

4️⃣ 인덱스 여러개 넣어서 피벗테이블 만들기

인덱스를 여러개 넣고 싶은 경우도 마찬가지입니다. index에 리스트를 넣으면 차례대로 멀티인덱싱이 됩니다.

# 인덱스 여러개
df.pivot_table(
    index = ['made', 'container_id'],
    columns = 'product',
    values = 'amount'
)

[Pandas] 데이터프레임 그룹화 그룹핑 그룹집계하기 :: groupby, aggregate

서윤L — Tue, 18 Jun 2024 20:46:54 +0900

0️⃣ 특정 칼럼을 기준으로 데이터프레임 그룹화하기 :: groupby

예시 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 비행편 데이터셋인데요, 첫번째 칼럼은 쓸모없으니 삭제하고
출발시간(departure_time) 칼럼을 기준으로 데이터를 그룹화 시켜보았습니다.
다만 그룹핑시킨 결과를 출력해도 깔끔한 데이터셋이 나오는 건 아닙니다.
이 결과 중에 무엇을 출력할지 선택해줘야 하는데요, 하나씩 테스트 해보겠습니다.

import pandas as pd
import numpy as np

# 데이터셋 불러오기
df = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')
df = df.drop('Unnamed: 0', axis=1)

# departure_time(출발시간) 칼럼 기준으로 그룹핑
dt_group = df.groupby(by='departure_time')

1️⃣ 그룹 개수, 그룹별 데이터 개수 :: .ngroups .size()

# 그룹 개수
dt_group.ngroups

# 그룹별 데이터 개수
dt_group.size()

2️⃣ 그룹별 최솟값, 최댓값 출력하기 :: .min() .max()

min, max를 사용하여 그룹별 데이터의 최솟값과 최댓값을 출력할 수 있습니다.
다만 아래처럼 문자열도 알파벳 기준으로 최솟값과 최댓값을 출력해주는 모습인데요, 문자열을 제외하고 수치데이터만 보려면
numeric_only=True 파라미터를 추가하면 됩니다.

# 그룹별 최솟값 확인
dt_group.min()

# 그룹별 최댓값 확인 → 수치형데이터 칼럼만 
dt_group.max(numeric_only=True)

3️⃣ 그룹별 평균값, 중간값 출력하기 :: .mean() .median()

mean, median은 위의 min, max와 다르게, 문자열이 포함되어 있으니 연산할 수 없다는 에러가 나옵니다.
따라서 numeric_only=True 파라미터를 필수로 넣어줘야 합니다.
이렇게 출력한 결과에서 특정 칼럼만 추출해보고 싶다면, 데이터프레임 칼럼 뽑듯이 대괄호 2개 안에 칼럼명을 넣으면 됩니다.

# 그룹별 평균값 확인
dt_group.mean(numeric_only=True)

# 그룹별 평균값 확인 → 필요한 칼럼만 추출
dt_group.mean(numeric_only=True)[['price']]

4️⃣ 칼럼 여러개로 그룹화하기 - 멀티인덱싱 (multi-indexing)

칼럼 여러개를 기준으로 그룹화 시키고 싶다면, groupby를 쓸 때 아래처럼 리스트로 칼럼을 넣어주면 됩니다.
df.groupby(by=['칼럼명1', '칼럼명2'])
평균값을 출력해보면, 그룹화 기준이 된 원데이터의 칼럼 2개가 인덱스 2개로 들어가 있습니다. (멀티인덱싱)

# 칼럼 여러개로 그룹핑하기 → 멀티인덱싱
airline_dt_group = df.groupby(by=['airline', 'departure_time'])

# 멀티 그룹별 평균값 확인
airline_dt_group.mean(numeric_only=True)

인덱스가 2개 이상이면 출력한 결과도 많아집니다. 이중에서 원하는 인덱스만 선택해서 보고싶다면
일반적인 데이터프레임에서 행 뽑듯이 loc메소드를 써주면 됩니다.
만약 멀티인덱스로 행을 선택하고 싶다면, 아래처럼 튜플형식으로 넣어줘야 합니다.

# 원하는 인덱스(행)만 출력하기 (1) - 1번째 인덱스 선택
airline_dt_group.mean(numeric_only=True).loc[['Air_India']]

# 원하는 인덱스(행)만 출력하기 (2) - 튜플형식으로 1,2번째 인덱스 함께 선택
airline_dt_group.mean(numeric_only=True).loc[[('Air_India', 'Morning')]]

5️⃣ 그룹화 결과를 여러가지 집계값으로 한번에 보기 :: aggregate

최솟값, 최댓값, 평균값.. 하나씩 뽑기보다, 보고서 작성 등을 위해 한번에 볼 수 있도록 집계해야 할때,
aggregate 메소드를 유용하게 활용할 수 있습니다.
위에서 멀티인덱싱 해놓았던 결과를 가지고 aggregate 테스트를 해보려고 하는데요, 살짝 귀찮은 과정이 필요합니다.
aggregate는 numeric_only 파라미터가 없기 때문에 그냥 쓰면 에러가 날 수 있습니다.
아래와 같이 그룹화한 다음 수치형 칼럼만 뽑아놓고, 그 결과에서 aggregate를 써줘야 합니다.

# 칼럼 여러개로 그룹핑 → 수치형데이터 칼럼만 추출해놓기
airline_dt_group = df.groupby(by=['airline', 'departure_time'])[['duration', 'price']]

# 최솟값, 최댓값, 평균값 한번에 집계하기
airline_dt_group.aggregate(['min', 'max', 'mean'])

[Pandas] 데이터프레임 정렬하기 :: sort_values, sort values

서윤L — Tue, 18 Jun 2024 15:33:07 +0900

0️⃣ 데이터프레임 생성

먼저 테스트를 위한 데이터프레임을 생성하겠습니다.

import pandas as pd
import numpy as np

# 테스트용 데이터프레임 생성
df = pd.DataFrame({
    'col1': ['A', 'A', 'B', np.nan, 'D', 'C', 'D', 'C'],
    'col2': [3, 1, 9, 8, 7, 4, 5, 6],
    'col3': [0, 1, 8, 4, 2, 3, 7, 9],
    'col4': ['a', 'B', 'c', 'D', 'e', 'F', 'g', 'H']
})

1️⃣ 칼럼 기준으로 정렬하기 (오름차순, 내림차순) :: sort_values

데이터프레임의 특정칼럼 기준으로 정렬하고 싶다면 sort_values 를 사용하면 됩니다.
ascending 파라미터를 이용해서 오름차순 or 내림차순으로 정렬시킬 수 있습니다.

# col2 칼럼 기준 오름차순으로 정렬하기
df = df.sort_values(by='col2', ascending=True)

# col2 칼럼 기준 내림차순으로 정렬하기
df = df.sort_values(by='col2', ascending=False)

참고로 문자열 기준으로 오름차순 정렬을 한다면, 아래처럼 대문자가 먼저 취급됩니다.

2️⃣ 정렬할 때 빈데이터 위치 지정하기 (NaN, NA, None 등)

col1 처럼 데이터에 NaN값이 끼어있다면 어떻게 정렬될까요? 오름차순이던 내림차순이던 무조건 맨 마지막으로 갑니다.
만약 NaN값의 위치를 정해주고 싶다면 na_position 파라미터를 지정해주면 됩니다.

# col1 칼럼 기준 오름차순으로 정렬하기 (빈 데이터를 맨 처음으로)
df = df.sort_values(by='col1', ascending=True, na_position='first')

# 다시 마지막으로 지정하고 싶다면 na_position='last'

3️⃣ 칼럼 2개 이상을 기준으로 정렬하기

칼럼 여러개를 기준으로 정렬하는 것도 가능합니다. 아래와 같이 by 에 리스트 형태로 칼럼명을 넣어주면 됩니다.
by = ['칼럼명1', '칼럼명2', ..]
리스트에 먼저 들어간 칼럼 기준으로 정렬됩니다.
다시 말해 '칼럼명1'에 대해 먼저 정렬하고, 그 상태에서 '칼럼명2'에 대해 다시 정렬하고.. 이런식이죠.

[Pandas] 데이터프레임 칼럼 연산, 칼럼 위치지정 추가, 이름 변경 :: df.insert df.rename

서윤L — Tue, 18 Jun 2024 14:47:33 +0900

0️⃣ 데이터프레임 불러오기

칼럼연산 테스트를 위한 데이터프레임을 불러오겠습니다.
Kaggle에서 가져온 Flight Price Prediction 데이터셋에서 칼럼 몇가지만 가져와볼게요.
flight는 비행편, airline은 비행사이름, duration은 비행시간(hour), price는 비행편 티켓가격 입니다.

# 데이터셋 불러오기
df = pd.read_csv(
    './Clean_Dataset.csv', 
    index_col = 'flight',  # 인덱스가 될 칼럼
    usecols = ['flight', 'airline', 'duration', 'price']  # 가져올 칼럼들 (인덱스 포함)
)

1️⃣ 기존칼럼 연산해서 새로운 칼럼 추가하기, 원하는 위치에 추가하기 :: insert

duration 칼럼에 60을 곱해서 duration_min 칼럼을 추가해봤습니다.
이렇게 단순하게 추가만 하면, 새롭게 생성된 칼럼은 무조건 맨 끝에 붙습니다.
위치를 지정해서 칼럼을 추가하고 싶다면, insert 를 사용해서 추가할 위치의 인덱스를 지정해주면 됩니다.
df.insert(추가할 위치 인덱스값, 새로운 칼럼명, 기존 칼럼 연산)

# 기존칼럼을 연산해서 새로운 칼럼 추가하기
df['duration_min'] = df['duration'] * 60

# 위치 지정해서 칼럼 추가하기
df.insert(2, 'duration_min', df['duration']*60)

2️⃣ 칼럼끼리 연산해서 새로운 칼럼 추가하기, 칼럼 이름 바꾸기 :: rename

기존 칼럼들끼리 연산해서 새로운 칼럼을 추가할 수도 있습니다.
price를 duration으로 나눠서 price_test 칼럼을 새롭게 추가해봤습니다.
만약 칼럼 이름을 바꾸고 싶다면 rename을 사용하면 됩니다.
df.rename(columns = {'기존 칼럼명' : '바꿀 칼럼명'})

# 칼럼끼리 연산해서 새로운 칼럼 추가하기
df['price_test'] = df['price'] / df['duration']

# 칼럼 이름 변경하기
df = df.rename(columns={"price_test" : "price_per_hour"})

[Pandas] 데이터프레임 특정 행열 선택 추출하기 :: loc iloc

서윤L — Tue, 18 Jun 2024 13:46:02 +0900

0️⃣ 데이터프레임 생성

먼저 테스트를 위한 데이터프레임을 생성하겠습니다.

import pandas as pd
import numpy as np

# 테스트용 데이터프레임 생성
df_test1 = pd.DataFrame({
    'A': [1,2,3,4,5,6,7,8,9,10],
    'B': [10,20,30,40,50,60,70,80,90,100],
    'C': [2,4,6,8,10,12,14,16,18,20],
    'D': [1,3,5,7,9,11,13,15,17,19],
    'E': [10,15,20,25,30,35,40,45,50,55]
})
df_test1

1️⃣ 특정한 열 or 특정한 행만 선택하기

특정한 칼럼(열) 만 선택해서 출력하려면, 아래처럼 대괄호 2개 안에 칼럼명을 넣어주면 됩니다.
원하는 칼럼만 선택해서 원하는 순서대로 출력할 수 있습니다. (데이터프레임에 가위질을 여러번 할 수 있음!)

# 특정 칼럼만 선택해서 출력하기 
df_test1[['칼럼명1', '칼럼명2', .. ,'칼럼명n']]

특정한 행(인덱스) 만 선택해서 출력하려면, 아래처럼 대괄호 1개 안에 범위를 넣어서 슬라이싱 해줘야 합니다.
칼럼과 다르게 연속적인 범위로만 선택할 수 있습니다. (데이터프레임에 가위질을 한번밖에 못함!)
행 1개만 출력하고 싶어도, 아래처럼 범위로 넣지 않으면 에러가 발생합니다.

# 슬라이싱: 특정 행범위를 선택해서 출력하기
# x번째 ~ y번째 행 출력하는 경우
df_test1[x-1 : y]

2️⃣ 특정한 행열을 동시에 선택하기 :: loc, iloc

행열 범위를 동시에 선택해서 데이터프레임을 잘라보고 싶은 경우라면, loc이나 iloc 메소드를 사용해야 합니다.
- loc : 행열에 레이블로 접근합니다. 다시말해 사용자가 정해둔 인덱스명, 칼럼명으로 범위를 지정할 수 있습니다.
- iloc : 행열에 인덱스값으로 접근합니다. 정해둔 이름이 아니라 0 based index 값으로 범위를 지정해야 합니다.

loc (location)	iloc (integer location)
- 행/열에 레이블로 접근하는 방법 - 인덱스 및 칼럼명으로 지정함 - 설정한 인덱스를 그대로 사용함	- 행/열에 인덱스값으로 접근하는 방법 - 인덱스로만 지정함 - 설정한 인덱스가 아닌, 0 based index를 사용해야 함

아래 예시를 참고하면 이해하기 더 쉬울 것 같습니다.
데이터프레임의 인덱스를 101~110으로 지정해두었습니다. 따라서 loc 으로는 지정해둔 인덱스로 접근할 수 있습니다.
반면에 iloc 으로는 101~110 으로 접근하려하면 에러가 나고, 0 based index 로 접근해야만 합니다.

# loc 으로 행/열 선택하기 - 설정한 인덱스와 칼럼명 그대로 사용하면 됨
df_test2.loc[[101,103,105,110], ['A', 'B']]

# iloc으로 행/열 선택하기 - 0 based index 로 지정해줘야 함
df_test2.iloc[[0,2,4,9], [0,1]]

3️⃣ 칼럼 조건 지정해서 데이터 추출하기 (Boolean연산 - 논리연산, 비교연산)

칼럼별 값들에 대해 조건을 지정해서 데이터를 뽑아볼 수도 있습니다. 조건은 Boolean 연산으로 지정하면 됩니다.
논리 연산: and , & , or , | , not , !=
비교 연산: is , is not , == , != , < , > , <= , >=

국내 AI 반도체 ETF 한번에 비교하기 (SOL AI반도체소부장, KODEX AI반도체핵심장비 등)

서윤L — Mon, 17 Jun 2024 01:51:10 +0900

국내 AI 반도체 ETF 한번에 비교 (24.06.14 장마감 기준)

순자산총액 비교

국내 반도체 AI 테마 ETF는 SOL, KODEX, TIGER, ACE에 하나씩 있습니다. 국내 대표 ETF 운용사별로 하나씩은 있는 셈이네요.
모두 상장된지 1년 남짓 혹은 1년도 안된 상품들입니다.
이 중 SOL AI반도체소부장의 순자산총액이 약 4천억으로, 운용규모가 가장 큰 ETF입니다.

총보수율(TER), 실제부담비용율 비교

총보수율(TER)은 일반적인 보수에 기타비용을 더한 비용인데요, 여기에 수수료까지 더해야 투자자가 실제로 부담하는 비용이
산출됩니다. TIGER AI반도체핵심공정이 약 0.54%로 가장 높고, 그 다음 SOL AI반도체소부장이 약 0.53% 로 큰 차이가 없네요.
ACE AI반도체포커스는 약 0.38% 로 4개 상품 중에선 비교적 낮은 비용을 보여주고 있습니다.

국내 AI 반도체 ETF 수익률 한번에 비교

SOL AI반도체소부장을 제외하면 전부 상장된지 1년이 안되었기 때문에, 최근 1년 수익률도 아직 없는 상태입니다.
올해 성장률(YTD)만 봐도 모두 20%를 넘기는 준수한 실적들을 보여주고 있습니다.
그 중 ACE AI반도체포커스의 수익률이 눈에 띄는데요, 운용규모는 가장 작지만 수익률은 상당하네요.
나머지 3개 상품과 다른 점은, 포트폴리오에서 삼성전자와 SK하이닉스가 높은 비중을 차지한다는 점입니다.
AI반도체포커스라는 이름에 걸맞게, 반도체 매출이 있는 종목의 3개월 평균 시가총액 및 거래대금을 반영해서
상위 20개 종목을 선정하기 때문입니다. 따라서 한미반도체, SK하이닉스, 삼성전자 TOP3에 집중투자하고 있습니다.

ETF 종목명		1개월 (%)	3개월 (%)	6개월 (%)	YTD (%)	1년 (%)
1	SOL AI반도체소부장	3.28	10.65	20.51	20.20	46.37
2	KODEX AI반도체핵심장비	4.67	18.64	39.59	40.89	-
3	TIGER AI반도체핵심공정	6.31	20.19	37.62	37.90	-
4	ACE AI반도체포커스	13.68	32.83	64.46	55.98	-

올해 수익률 추이를 비교해봤습니다.
포트폴리오가 조금씩 겹치니, 움직이는 폭은 다르지만 비슷한 양상으로 우상향하고 있는 모습니다.

구성종목 비교

SOL AI반도체소부장은 반도체 종합 생산기업을 제외하고 소재/부품/장비 기업으로만 구성한 국내최초 ETF입니다.
다시말해 SK하이닉스와 삼성전자는 빼고, 반도체에서 중요한 부분부분마다 핵심이 되는 관련주들을 넣은 포트폴리오입니다.
TIGER AI반도체핵심장비 는 AI반도체의 핵심인 HBM(고대역폭메모리) 관련종목에 집중투자하고 있고,
KODEX AI반도체핵심공정 은 HBM관련종목 뿐만 아니라, 온디바이스 AI 관련종목에도 투자하고 있습니다.
이와 같이 포트폴리오에 다소의 차이는 있지만, 아래 표에서 보시다시피 가장 비중이 높은 TOP3 종목은 동일합니다.
차트를 보시면 수익률 추이도 큰 차이가 없죠.
ACE AI반도체포커스는 위에서도 언급했었죠. 공정/부품이 아니라, 시가총액과 거래대금으로 판단합니다.
그래서 다른 ETF상품들과 포트폴리오가 차이나는 모습입니다.

※ 투자 판단 및 의사결정으로 인한 책임은 투자자 본인에게 있습니다. 이 글은 단순 정리글이며 투자 권유글이 아닙니다.

[Pandas] 데이터프레임 칼럼 값들의 개수 빈도수 카운트 :: value_counts value counts

서윤L — Sun, 16 Jun 2024 20:36:10 +0900

0️⃣ 칼럼에 있는 값들의 개수 :: value_counts

특정 칼럼에 포함된 값들의 구성을 알고 싶을 때, value_counts 메소드를 유용하게 사용할 수 있습니다.
칼럼을 지정하면, 이 칼럼에 있는 모든 고유값들의 개수(counts)를 돌려주는 메소드입니다.
예시 데이터셋은 Kaggle에서 가져온 Flight Price Prediction 비행편 데이터셋인데요,
출발시간(departure_time)칼럼에 포함된 데이터가 각각 몇 개인지 뽑아봤습니다.

# 지정한 칼럼에 있는 모든 고유값들의 개수(counts)
df['칼럼명'].value_counts()

1️⃣ 내림차순 정렬 없애기 :: sort=False

위 결과테이블을 보시면 counts 기준 내림차순으로 정렬되어 있습니다. 디폴트로 정렬되어 출력되는 거죠.
sort 파라미터를 False로 두면 정렬을 없애고 출력시킬 수 있습니다.

df['칼럼명'].value_counts(sort=False)

2️⃣ 오름차순 정렬하기 :: ascending=True

내림차순 말고 오름차순으로 정렬하고 싶다면, ascending 파라미터를 True로 두면 됩니다.
오름차순 정렬한 데이터를 막대그래프로 시각화해봤습니다. 빈도수 차이가 한눈에 보이네요.

df['칼럼명'].value_counts(ascending=True)
df['칼럼명'].value_counts(ascending=True).plot(kind='bar')

3️⃣ 빈도수 대신 비율로 보기 :: normalize=True

normalize 파라미터를 True로 두면 빈도수 값들이 정규화됩니다.
전부 합치면 1이되는 소수들이 되는데, 다시말해 비율(%)로 변환해서 볼 수 있다는 거죠.
아래 예시를 보시면 출발시간 중 아침에 해당하는 건 약 23.7% 로 가장 많았고, 심야는 약 0.4%로 가장 적었네요.
정규화값을 오름차순 정렬하고, 파이차트를 그려서 눈에 더 잘 들어오게 시각화 해봤습니다.

df['칼럼명'].value_counts(normalize=True)
df['칼럼명'].value_counts(normalize=True, ascending=True)
df['칼럼명'].value_counts(normalize=True, ascending=True).plot(kind='pie')

4️⃣ 인덱스 기준으로 정렬하기 :: sort_index()

빈도수 기준이 아니라 인덱스 순서대로 정렬하고 싶을 때는 어떻게 해야 할까요?
파라미터를 넣는대신, 끝에 .sort_index()를 추가하는 방식으로 정렬해볼 수 있습니다.
아래처럼 인덱스가 정렬됩니다.
- 해당 칼럼이 범주형 데이터라면: 인덱스가 문자열이므로 알파벳 A~Z 순서대로 정렬
- 해당 칼럼이 수치형 데이터라면: 인덱스가 숫자이므로 작은 숫자부터 오름차순 정렬
예시로 뽑아본 수치형 데이터 칼럼 'price'는 고유값이 너무 많아서 보이지도 않네요.
히스토그램으로 시각화해보았습니다. 대부분의 가격이 0~200 사이에 형성되어 있다는 걸 알 수 있습니다.

df['칼럼명'].value_counts().sort_index()
df['칼럼명'].value_counts().sort_index().plot(kind='hist')

5️⃣ 결과를 데이터프레임으로 보기 :: to_frame()

지금까지 뽑아본 빈도수 테이블은 Series 형태로 출력되었습니다.
좀더 보기 쉽게 만들거나 혹은, csv파일 등으로 추출하려면 데이터프레임으로 변환하는게 낫겠습니다.
끝에 .to_frame() 을 추가해서 데이터프레임으로 출력시킬 수 있습니다.

df['칼럼명'].value_counts().to_frame()

[Pandas] 데이터프레임 요약 기본정보 요약통계량 확인하기 :: info describe columns dtypes

서윤L — Sun, 16 Jun 2024 17:07:28 +0900

0️⃣ DataFrame 형태, 칼럼이름, 칼럼별 데이터타입 :: shape, columns, dtypes

몇천 몇만 행짜리 데이터프레임을 불러오면, 이 데이터가 어떻게 생겼는지 등등 기본정보와 요약을 먼저 살펴봐야 합니다.
가장 먼저 살펴볼 법한 데이터프레임의 기본중의 기본정보 3가지 입니다.
- shape : 데이터프레임의 형태 = 행열의 개수
- columns : 칼럼들의 이름
- dtypes : 각 칼럼의 데이터타입

df.shape    # 데이터프레임의 형태
df.columns  # 칼럼들의 이름
df.dtypes   # 각 칼럼의 데이터타입

1️⃣ DataFrame 칼럼별 상태 확인하기 :: info

info 메소드를 활용하면, 각 칼럼별로 상태를 간단하게 확인할 수 있습니다.
칼럼별로 데이터는 몇개 들어가 있는지, 결측치가 있는지, 데이터타입은 무엇인지 확인 가능합니다.
- 테스트해보려고 아래처럼 일부러 결측치를 넣어봤는데요, Non-Null Count가 달라지는 것을 볼 수 있습니다.

df.info()  # 칼럼별 상태확인

2️⃣ DataFrame 칼럼별 요약통계량 확인하기 :: describe

describe 메소드를 사용해서 칼럼별 요약통계량들을 집계할 수 있습니다.
칼럼이 수치형데이터인지, 범주형데이터인지에 따라 다른 통계량을 보여줍니다.
- 수치형: 데이터 카운트, 평균값, 표준편차, 최솟값, 최댓값, 사분위값
- 범주형: 데이터 카운트, 최빈값, 최빈값의 개수

df.describe()
df.describe(include='all')

[Pandas] 시리즈Series, 데이터프레임DataFrame 생성하기

서윤L — Sun, 16 Jun 2024 01:50:25 +0900

0️⃣ Pandas Series 생성하기

판다스는 테이블 형태의 데이터를 다루는 라이브러리입니다. 그래서 헷갈릴 때는 엑셀 테이블을 생각하면 도움이 되더라구요.
판다스 시리즈Series는 칼럼(열) 1개짜리 테이블이라고 생각하면 됩니다.
시리즈를 생성할 때는 들어갈 data, index를 지정해주어야 합니다. name으로 이름을 정할수도 있습니다.
참고로 Series 의 대소문자는 꼭 맞게 입력해주어야 합니다!
출력해보면, 아래와 같이 index, data가 입력한 순서대로 세로로 출력됩니다.

import pandas as pd

series_1 = pd.Series(
    data = ['고양이', '강아지', '햄스터'],
    index = ['a', 'b', 'c'],
    name = '귀여운 동물 친구들'
)

1️⃣ Pandas DataFrame 생성 (1) - 딕셔너리 형태로 생성하기

판다스 데이터프레임DataFrame은 칼럼(열) n개짜리 테이블이라고 볼 수 있습니다.
데이터프레임을 생성하는 첫번째 방법은 딕셔너리를 pd.DataFrame으로 감싸는 형식으로 생성해주는 방법입니다.
이때 key값들은 칼럼명이 되고, 각 value들은 칼럼별 값들로 들어가게 됩니다.
다시말해 key-value 한 쌍이 데이터프레임에서 한 칼럼(열) 입니다.
여기서 value로 들어가는 리스트들의 길이가 모두 같아야 합니다. 길이 다른 리스트가 하나라도 있으면 에러가 떠요.

df_1 = pd.DataFrame({
    'a': [1,2,3], 
    'b': [10,20,30], 
    'c': [10,100,1000]
})

리스트 대신 pd.Series로 넣어줘도 문제없습니다.
만약 Series 길이가 다른 리스트의 길이와 다르다면, 값이 들어갈 index를 지정해서 빈곳을 두고 만들 수도 있습니다.

dict = {
    'a': [1,2,3],
    'b': pd.Series([10,20,30]),
    'c': pd.Series([10,100,1000])
}
df_2 = pd.DataFrame(dict)

dict = {
    'a': [1,2,3],
    'b': pd.Series([20,30], index=[2,3]),
    'c': pd.Series([10], index=[1])
}
df_3 = pd.DataFrame(dict, index=[1,2,3])

2️⃣ Pandas DataFrame 생성 (2) - 리스트 형태로 생성하기

두번째 방법은 리스트 1~3개로 데이터프레임을 생성하는 방법입니다.
- 1번째 리스트: 셀에 들어갈 값들을 이중리스트로 넣어야 함
- 2번째 리스트: 인덱스(행) 이름으로 들어감
- 3번째 리스트: 칼럼(열) 이름으로 들어감
1번째 이중리스트 안의 내부리스트 각각이 하나의 행이 됩니다. 즉, 위에서 딕셔너리로 만들 때랑 반대라고 볼 수 있네요.
참고로 2, 3번째 리스트를 지정하지 않아도 데이터프레임은 생성됩니다.

df_4 = pd.DataFrame(
    [[1,2,3], [10,20,30], [10,100,1000]],  # 들어갈 값들
    ['a','b','c'],  # 인덱스 이름
    ['x','y','z']   # 칼럼 이름
)

3️⃣ Pandas DataFrame 생성 (3) - np.array 넣어서 생성하기

위 두번째 방법의 리스트 대신, numpy array가 들어가는 방법입니다.
마찬가지로 np.array 하나가 데이터프레임의 행 하나로 들어갑니다.
np.array를 리스트나 다른 데이터타입으로 변환할 필요없이 바로 데이터프레임을 만들 수 있다는 점이 좋은 부분이네요.

import numpy as np

df_6 = pd.DataFrame(
    np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]),
    columns=['a','b','c']
)
df_6

[Pandas] 데이터프레임 교차표 분석하기 :: Crosstab

서윤L — Sat, 15 Jun 2024 00:22:33 +0900

Pandas Crosstab 함수로 교차표 분석하고, 시각화까지 해보기!

0️⃣ 라이브러리 및 데이터셋 불러오기

캐글 Flight Price Prediction의 Clean_Dataset으로 테스트해보겠습니다.
(캐글 데이터 다운로드: https://www.kaggle.com/datasets/shubhambathwal/flight-price-prediction)
데이터 구성을 보면 항공사, 비행편, 출발도시 및 시간, 도착도시, 비행시간, 티켓가격 등으로 이루어져 있습니다.

# 라이브러리 불러오기
import pandas as pd
import numpy as np

# 데이터셋 가져와서 확인해보기
df_clean = pd.read_csv('./Clean_Dataset.csv', encoding='cp949')
df_clean

1️⃣-1. 범주형 데이터 2개로 교차표 만들기 (crosstab)

pd.crosstab 함수로 교차표를 만들 수 있습니다.
index에 행이 될 칼럼의 이름, columns에 열이 될 칼럼의 이름을 넣어주시면 됩니다.

# crosstab으로 범주형 데이터 2개에 대한 교차표 만들기
pd.crosstab(
    index = df_clean['source_city'], 
    columns = df_clean['destination_city']
)

1️⃣-2. 교차표에 행/열별로 합계 추가하기 (subtotal, margins)

pd.crosstab 함수에 margins = True 파라미터를 추가해서, 아래와 같이 행/열별로 합계를 볼 수 있습니다.

1️⃣-3. 교차표에 나오는 값들을 정규화하기 (normalize)

교차표를 만들어도 값들이 너무 많고 제각각이라서 비교하기 힘들다면, 정규화하는 것도 방법 중에 하나입니다.
normalize = True 파라미터를 추가하면, 표의 값들이 전부 0~1 사이의 값으로 정규화됩니다.

2️⃣ 교차표에 나오는 값들을 차트로 시각화하기 (plot)

특정변수에 교차표를 넣고, 이 변수에 plot 함수를 사용해서 차트를 그릴 수 있습니다.
범주형 데이터이므로, kind = 'bar' 파라미터를 넣어서 막대그래프를 그렸습니다.
그냥 막대그래프는 눈에 잘 안들어오네요.. stacked = True 파라미터를 추가해 누적 막대그래프로 변경했습니다.

# 교차표 생성
ct_1 = pd.crosstab(
    index = df_clean['source_city'], 
    columns = df_clean['destination_city']
)

# 막대그래프 그리기
ct_1.plot(kind = 'bar')

# 누적 막대그래프 그리기
ct_1.plot(kind = 'bar', stacked = True)

3️⃣. 교차표에서 수치형 데이터 값 집계하기 (Aggregation)

교차표 자체는 범주형데이터 2개를 교차해서 만들지만, 내용을 수치형 데이터의 집계값으로 넣을 수 있습니다.
아래처럼 행은 출발도시, 열은 도착도시로 두고, 각 셀에 넣을 값들은 티켓가격의 평균값으로 설정해보았습니다.
values 파라미터에 집계할 수치데이터 칼럼을 넣고, aggfunc = 'mean' 으로 지정했습니다.
aggfunc 파라미터는 'mean', 'median', 'sum', 'max', 'min', 'std', 'var' 등으로 다양하게 넣을 수 있습니다.

# 데이터프레임 내 숫자 포맷 고정하기 (소수점 아래 2자리까지)
pd.options.display.float_format = '{:,.2f}'.format

# 출발-도착도시별로 티켓가격 평균 확인하기
pd.crosstab(
    index = df_clean['source_city'],
    columns = df_clean['destination_city'],
    values = df_clean['price'], 
    aggfunc = 'mean'
)

4️⃣ 교차표로 히트맵 그리기 (heatmap)

seaborn 라이브러리를 활용해서 히트맵까지 그려보겠습니다.
히트맵을 그리니까 확실히 한눈에 비교되네요!

import seaborn as sns

# 교차표 생성해서 변수에 넣기
ct_2 = pd.crosstab(
    index = df_clean['source_city'],
    columns = df_clean['destination_city'],
    values = df_clean['price'], 
    aggfunc = 'mean'
)

# 히트맵 그리기
sns.heatmap(ct_2, cmap = 'coolwarm', annot = True)

AICE Associate AI자격증 시험 출제범위 정리

서윤L — Fri, 14 Jun 2024 17:08:04 +0900

AICE 개요

인공지능 활용능력을 평가하는 AI능력시험
KT, 한국경제신문이 주관하는 민간자격증
AI 역량에 따라 5개 레벨로 구성되어 있음

AICE Associate 개요

파이썬을 다룰 수 있는 SW준/전공자 대상
- 권장대상: 현업에서 대용량 데이터를 다루거나, 데이터 기반 분석 및 기획업무를 하는 사람들
- 특정 교육과정 수료, 선행 자격증 취득 등의 요건 없음
응시 시간: 90분
100% 실기평가
- 시험환경: Jupyter Notebook (현업에서 가장 많이 활용하는 인공지능 개발환경)
- 기본적인 파이썬 문법, 데이터/인공지능 모델링 분야에 대한 이해 필요
오픈북 시험 방식
- 구글링으로 코드 검색 및 참고 가능
- 금지행위: 듀얼모니터, 온라인노트/메모, 교재, 인쇄물, 메신저/SNS, ChatGPT 등의 생성형AI
온라인 비대면 방식
- 인터넷 접속되는 어디서나 응시 가능
- 웹캠 준비 필요 (부정행위 실시간 모니터링을 위함)
응시비용: 80,000원
(참고. 시나공 수험서를 구매했다면 뒷부분에 20% 할인쿠폰이 있으니 활용할 것!)
결과확인: 응시일로부터 2주 후
유효기간: 응시일로부터 3년

AICE Associate 구성 및 출제범위

문제유형: 파이썬 코드를 입력하는 주관식 중심
- Tabular 데이터 1개가 주어지고, 문제에 따라 차례대로 코드 입력 및 실행하는 방식
- 결과해석능력 평가를 위한 단답형 문항도 일부 있음 (객관식X)
- 채점방식: 코드 일치여부, 결과 일치여부
- 안 나오는 것: 인공지능 관련 이론, 비정형 데이터(이미지, 자연어 등)
문제 수: 총 14개
출제범위

분야	상세 출제내용	문항 개수	배점	합격 기준
데이터 분석	• 필요한 라이브러리 설치 • Tabular 데이터 로딩 및 저장 • 데이터 구성 확인 및 상관분석 • 기초 데이터 다루기 (데이터프레임 다루기)	5~6 문항	30점	100점 만점 중 80점 이상 득점
전처리 & 시각화	• 데이터 결측치 처리 • 라벨 인코딩, 원핫 인코딩 • X, Y 데이터 분리하기 • 데이터 정규분포화 및 표준화	4~5 문항	30점
모델링	• 머신러닝 모델 학습 • 딥러닝 모델 학습 • 모델 성능 평가 및 시뮬레이션 • 모델 성능 개선 및 그래픽 출력	4~5 문항	40점

출처링크: https://www.aice.team/guidebook

간단하게 파이썬 버전 확인하고 업그레이드 or 다운그레이드하기 (Python version upgrade downgrade)

서윤L — Fri, 14 Jun 2024 16:10:55 +0900

아나콘다 프롬프트Anaconda Prompt에서 파이썬 버전 확인하고 바꾸기

1️⃣ 파이썬 버전 확인하기

아나콘다 프롬프트 실행
입력: python --version
현재 설치된 파이썬 버전이 나옵니다.

python --version

2️⃣ 업/다운그레이드 시킬 수 있는 파이썬 버전 확인하기

입력: conda search python
현재 재설치할 수 있는 파이썬 버전이 쭉 나옵니다.

conda search python

3️⃣ 파이썬 버전 업그레이드 or 다운그레이드 재설치 진행하기

입력: conda install python==버전
시간이 꽤 걸릴 수 있습니다.
기다리고 있으면 파이썬 버전에 맞게 알아서 필수 패키지들까지 버전을 업/다운그레이드 시켜줍니다.
done 이 나오면 완료입니다!

conda install python==버전

국내 반도체 ETF TOP6 한번에 비교하기 - 순자산총액 기준 TOP6 (TIGER Fn반도체TOP10, KODEX 반도체 등)

서윤L — Fri, 14 Jun 2024 01:14:47 +0900

국내 반도체 ETF TOP6 한번에 비교 (TOP6-24.06.13 순자산총액 기준)

순자산총액 비교

TIGER Fn반도체TOP10의 순자산총액이 8,462억으로 가장 높고, 그 뒤로 KODEX 반도체와 SOL AI반도체소부장이 높습니다.
SOL AI반도체소부장은 이제 상장 1년남짓, KODEX AI반도체핵심장비는 1년도 안되었는데 TOP6 안에 들어오는 것을 보면
안그래도 수익률이 높은편인 반도체에 AI테마까지 더해져서 많은 투자자가 몰린 것 같습니다.

총보수율(TER), 실제부담비용율 비교

총보수율(TER)은 일반적인 보수에 기타비용을 더한 비용인데요, 여기에 수수료까지 더해야 투자자가 실제로 부담하는 비용이
산출됩니다. KBSTAR 비메모리반도체액티브가 약 0.59%로 가장 높고, 그 다음 높은 것이 TIGER Fn반도체TOP10 이네요.
KODEX AI반도체핵심장비 종목이 TOP6중에선 유일하게 0.4%대로, 비교적 낮은 비용을 자랑하고 있습니다.

국내 반도체 ETF TOP6 수익률 한번에 비교

TOP6 종목들의 최근 수익률을 비교해보겠습니다. 역시 TOP1인 TIGER Fn반도체TOP10 이 계속 높은 수익률을 보여주는데요,
KODEX AI반도체핵심장비 의 수익률 상승이 심상치 않아 보입니다. 상장된지 6개월 정도됐는데 수익률 약 43%로 가장 높네요.
KODEX AI반도체핵심장비 의 1년 상승률이 기대됩니다. 이대로 수익률 TOP1을 차지할까요?
올해만 놓고 보면 1,2위를 제외하고 나머지 4개 종목의 수익률은 20% 초반대로 비슷하네요.

ETF 종목명		1개월 (%)	3개월 (%)	6개월 (%)	YTD (%)	1년 (%)
1	TIGER Fn반도체TOP10	9.58	20.39	39.31	32.92	56.18
2	KODEX 반도체	7.99	14.31	27.51	22.04	37.81
3	SOL AI반도체소부장	6.09	11.20	25.50	22.92	48.75
4	KBSTAR 비메모리반도체액티브	2.95	9.04	25.46	20.55	47.25
5	TIGER 반도체	7.44	13.52	27.49	21.96	37.54
6	KODEX AI반도체핵심장비	7.59	17.93	43.13	43.13	-

순자산총액 TOP2 2개종목, 그리고 AI를 달고 작년에 새로 상장된 2개 종목 → 4개 종목으로 추려서
올해 수익률과 최근 1년 수익률을 비교해봤습니다.

올해 수익률(YTD) 비교

최근 1년 수익률 비교

구성종목 비교

KODEX 반도체, TIGER 반도체는 같은 KRX지수를 추종하는 만큼 구성종목과 비율이 비슷합니다.
TIGER Fn반도체TOP10도 구성종목과 순위가 비슷하지만, 이름그대로 TOP10에 집중하는만큼 비율이 크게 잡힙니다.
AI 2개종목은 하이닉스와 삼성전자가 없고, 한미반도체와 리노공업의 비중이 높은 점이 눈에 띄네요.
KBSTAR 비메모리반도체액티브는 삼성전자의 비중이 가장 높은 점이 특징이네요. 참고하시기 바랍니다.

※ 투자 판단 및 의사결정으로 인한 책임은 투자자 본인에게 있습니다. 이 글은 단순 정리글이며 투자 권유글이 아닙니다.

국내 ETF 진짜 총보수율 쉽게 비교하기 (feat. 금융투자협회 전자공시)

서윤L — Thu, 13 Jun 2024 01:06:31 +0900

금융투자협회 전자공시시스템에서 국내상장 ETF "진짜 총보수율" 쉽게 비교하기!

ETF 보수율 이란? — ETF의 운용 및 서비스의 대가로 투자자가 지불하는 비용의 비율입니다.

돈을 이체할때 은행에 수수료를 지불하듯이.. ETF도 운용사 등에 서비스의 대가 즉, 보수를 지불해야 합니다.
이 보수비용을 순자산으로 나눈 비율이 보수율입니다.
무조건 투자자가 부담해야 하는 비용이기 때문에, 적을수록 투자자에게 유리하겠죠.

ETF 보수율 유심히 들여다보면, 사이트/앱마다 제각각!

요새 ETF에 관심을 가지고 공부하다가 충격적인 점을 발견했는데, ETF는 하나인데 보수율은 하나가 아닌 것입니다!
예를들어 TIGER Fn반도체 TOP10를 검색해보면,
네이버와 신한에서는 0.45% 이지만 미래에셋에서 0.51% 로 0.06% 씩이나 차이가 납니다.
그럼 투자자는 대체 어떤 숫자를 믿고 투자해야 하는걸까요?

증권사사이트에 들어가서, ETF 투자설명서를 다운받아서, 총보수·비용을 직접 봐야한다구요?

아래처럼 ETF "투자설명서" 를 다운받아서 확인해보면 보수율뿐만 아니라 기타비용까지 더해진 총보수·비용이 나와있습니다.
투자자가 부담해야 하는건 결국 0.51% 니까요, 미래에셋증권에서 제공하는 보수율이 "진짜 총보수율" 이었네요.

구글이나 네이버에 검색해보면, 이런식으로 "진짜 총보수율"이 잘 드러나 있지 않으니
투자자가 직접 ETF운용사(증권사) 사이트에 들어가서 잘 확인해보고 투자해야 한다고 합니다.
물론 직접 공부하고 투자하는건 좋지만요.. 여러 ETF를 비교분석해서 선택하고 싶다면 다소 비효율적인 것 같습니다.

금융투자협회 전자공시시스템에서 ETF 진짜 총보수율 쉽게 비교하기!

증권사에서 숨겨놔도 "공시시스템"에는 투명하게 나와있을 수밖에 없습니다^^

여기서 검색해서 한번에 비교해보겠습니다.

(1) 금융투자협회 전자공시시스템 접속하기: https://dis.kofia.or.kr/websquare/index.jsp?w2xPath=/wq/main/main.xml

금융투자협회

dis.kofia.or.kr

(2) 펀드공시 → 펀드별 보수비용비교

(3) 원하는 조건으로 검색하기

저는 국내 반도체 관련 ETF를 비교해보기 위해, 위와 같이 검색해봤습니다.
진짜 총 보수율(TER) = 보수율 + 기타비용 이 바로 나오네요!
항목마다 돋보기 표시를 누르면, 아래처럼 ETF 기본정보, 차트, 투자설명서를 볼 수 있습니다.
개인적으론 먼저 공시시스템에서 주루룩 스캔하고 비교해본 다음, 관심가는 것들 하나하나 뜯어보는게 더 효율적인 것 같습니다.

[셀레니움 크롤링 예제] 다나와 리뷰 크롤링을 위한 지속가능한 코드 만들기 (2)

서윤L — Mon, 10 Jun 2024 22:45:42 +0900

다나와 크롤링 예제 — 공기청정기 인기 제품리뷰 수집하기

✅ 이전 단계가 궁금하다면,

(이전포스팅) 다나와 제품정보 크롤링하기!

0️⃣ 이전 포스팅에서 크롤링했던 제품정보들을 가지고 와서 살펴보겠습니다.

피클파일로 저장했던 데이터프레임을 그대로 가져와서, dtypes로 데이터타입까지 잘 가져와졌는지 점검합니다.
수치데이터가 들어간 칼럼들은 float 혹은 int로 잘 저장되어 왔네요.

1️⃣ 제품별 상세페이지로 들어간 다음, 리뷰 페이지를 넘기면서 크롤링해오려고 합니다.

제품별로 상세페이지 URL을 수집했었죠! 이제 이 URL에 순서대로 접속해서 리뷰를 크롤링해오겠습니다.
상세페이지 URL 접속 → 상품리뷰로 이동 → 리뷰 페이지 넘기면서 → 페이지 소스 가져오기 흐름으로 구성해볼게요.
일단 맨 첫번째 제품으로 테스트를 해보겠습니다.

리뷰 페이지 넘기면서 긁어오는 과정은 이전포스팅과 동일한 구성으로 진행하겠습니다.
페이지 넘기고 클릭하는 동적인 부분은 Selenium이, 한 페이지에서 소스 긁어오는건 BeautifulSoup이 합니다.
while 반복문 돌리면서 다음 페이지를 클릭해줄거에요. 에러나지 않도록 한 페이지 끝날마다 time.sleep 대기도 필수입니다.
그리고 한 페이지마다 BeautifulSoup으로 리뷰를 전부 긁어올게요. 긁어온 소스들은 딕셔너리에 저장해두겠습니다.
마찬가지로, 맨첫번째 제품 페이지에서 테스트 해보니 문제 없네요!

# 페이지별 소스 저장할 빈 딕셔너리 생성
soup_dict = {}

page = 1

# page에 1씩 더하면서, 전체 페이지 수와 같아지기 전까지 반복
while page < num_pages:

	# 페이지별 리뷰 전부 가져오기
    soup = BeautifulSoup(driver.page_source)
    reviews = soup.select('ul.rvw_list li.danawa-prodBlog-companyReview-clazz-more')
    time.sleep(1)

    # 페이지별 리뷰 딕셔너리에 저장해두기
    soup_dict[page] = reviews
    print(page, "페이지 완료!")
    
    page += 1
    
    # 11,21,31..번째 페이지인 경우 [다음 페이지] 버튼 클릭
    if page%10 == 1:
        driver.find_element(By.XPATH, 
                            '//*[@id="danawa-prodBlog-companyReview-content-list"]/div/div/a').click()

    # 나머지 경우는 page에 해당하는 페이지 클릭
    else:
        # 페이지 넘기는 부분 경로 통째로 가져와놓고
        page_nums = driver.find_element(By.XPATH, 
                                        '//*[@id="danawa-prodBlog-companyReview-content-list"]/div/div')
        # 다음 페이지 링크를 클릭
        page_nums.find_element(By.LINK_TEXT, str(page)).click()

    # 에러나지 않도록 한페이지마다 잠시 대기
    time.sleep(2)

# 마지막 페이지 리뷰 가져오고 마무리
soup = BeautifulSoup(driver.page_source)
reviews = soup.select('ul.rvw_list li.danawa-prodBlog-companyReview-clazz-more')
soup_dict[page] = reviews
print(page, "페이지 완료!")

print("<<< 테스트 크롤링 완료입니다! >>>")

2️⃣ 저장해둔 페이지 소스에서 쓸모있는 정보들만 가져와서, DataFrame에 정리해주겠습니다.

별점, 구매처, 작성일, 리뷰내용 이렇게 하나씩 가져와보겠습니다.
작성자ID는 이미 다나와에서 마스킹해둔 상태라.. 별 소용이 없을 것 같아 패스하려구요.
위 코드에 이어서 맨첫번째 제품에서만 리뷰 크롤링을 테스트 해보겠습니다.
저장해뒀던 딕셔너리에서 리뷰소스 하나씩 가져와서 데이터프레임을 생성했어요. 136개 리뷰 문제없이 저장됐습니다!

# 모델이름, 별점, 구매처, 작성일, 리뷰내용
name_list, star_list, mall_list, date_list, review_list = [], [], [], [], []

### 딕셔너리에 저장해둔 페이지 하나씩 돌리기 ###
for key in range(len(soup_dict)):
    reviews = soup_dict[key+1]
    
    # 리뷰마다 돌리면서 모델이름 등등 가져오기
    for i in range(len(reviews)):

        # 모델이름
        try:
            name_list.append(str(df_for_review_crawling['제품모델명'][0]))
        except:
            name_list.append('')

        # 별점
        try:
            star_list.append(int
            	(reviews[i].select_one('span.star_mask').text.strip().replace('점',''))/20)
        except:
            star_list.append('')

        # 구매처
        try:
            mall_list.append(str(reviews[i].select_one('span.mall').text.strip()))
        except:
            mall_list.append('')

        # 작성일
        try:
            date_list.append(reviews[i].select_one('span.date').text.strip())
        except:
            date_list.append('')

        # 리뷰내용
        try:
            review_list.append(str(reviews[i].select_one('div.atc').text.strip()))
        except:
            review_list.append('')
        

### 크롤링 결과 저장 ###
# 데이터프레임 생성
df_result = pd.DataFrame({
    '제품모델명' : name_list, '구매처' : mall_list,
    '작성일' : date_list, '별점' : star_list, '리뷰' : review_list
}); df_result

3️⃣ 최종함수를 만들어서, 공기청정기 인기제품 10개만 테스트로 크롤링해볼게요!

이전포스팅에서 수집했던 LG전자, 삼성전자, 위닉스의 공기청정기 제품들 중 일부를 선정해서 리뷰크롤링 테스트를 해봅니다.
다나와에서 검색되는 인기3사의 제품은 총 375개였는데요, 리뷰가 너무 적은 제품은 제외할게요.
리뷰가 10개도 안쌓인 제품들은 제외하고, 리뷰 10개 이상인 제품으로 걸러보니 총 239개입니다.
이걸 전부 크롤링하면 너무 오래 걸리겠어요..
일부만 테스트해서 크롤링이 잘되는지 보고싶으니 이중에서 상위 10개 제품만 뽑아올게요.

# 필요한 패키지 가져오기
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

from bs4 import BeautifulSoup
import time
from datetime import datetime
import pandas as pd
import math
import pickle
from tqdm import tqdm

3️⃣-(1). [함수1] 크롬드라이버 실행부터 페이지 넘기면서 크롤링까지

이제 위에서 작성했던 코드들을 함수 2개로 묶겠습니다.
crawling_danawa_reviews_get_sources: 제품 상세페이지에 접속해서, 리뷰페이지를 넘기면서 긁어오는 함수입니다.
- 입력값은 이전포스팅에서 크롤링했던 제품정보 데이터프레임입니다.
- 출력값은 크롤링 페이지 소스가 전부 저장된 딕셔너리 입니다. 이렇게 수집된 데이터는 함수2에서 정리될거에요.

def crawling_danawa_reviews_get_sources(df_for_review_crawling): 
    # 함수 입력값: 제품정보 데이터프레임
    
    # webdirver 설정 및 실행
    my_options = webdriver.ChromeOptions()
    my_options.add_argument('headless')
    my_options.add_argument('--window-size=1920,1080')
    my_options.add_argument("disable-gpu")
    driver = webdriver.Chrome(options=my_options)
    driver.implicitly_wait(1)

    # 크롤링한 페이지소스 저장할 빈 딕셔너리 생성
    result_dict = {}

    ### 제품별로 돌아가면서 상세페이지 접속 ###
    for u in range(len(df_for_review_crawling)):
        driver.get(df_for_review_crawling['링크URL'][u])
        print(u+1, ".", df_for_review_crawling['제품모델명'][u], end=' ')
        time.sleep(3)

        # 제품별로 저장할 빈 딕셔너리 생성
        soup_dict = {}

        # 쇼핑몰 상품리뷰 개수 가져오기
        soup = BeautifulSoup(driver.page_source)
        num_reviews = soup.select_one('div.point_num span strong').text.strip().replace(',','')
        print('-', num_reviews, '개')

        # 리뷰 총 몇페이지인지 계산
        num_pages = math.ceil(int(num_reviews) / 10)
        
        ### 리뷰페이지 넘기면서 페이지 소스 크롤링 및 저장 ###
        # page에 1씩 더하면서, 전체 페이지 수와 같아지기 전까지 반복
        page = 1
        while page < num_pages:
        
            # 페이지별 리뷰 전부 가져오기
            soup = BeautifulSoup(driver.page_source)
            reviews = soup.select('ul.rvw_list li.danawa-prodBlog-companyReview-clazz-more')
            
            # 페이지별 리뷰 딕셔너리에 저장해두기
            soup_dict[page] = reviews
            
            page += 1

            # 페이지 넘기는 부분 경로 통째로 가져와놓고
            page_nums = driver.find_element(
                By.XPATH, '//*[@id="danawa-prodBlog-companyReview-content-list"]/div/div')
            
            # 11,21,31..번째 페이지인 경우 [다음 페이지] 버튼 클릭
            if page%10 == 1:
                page_nums.find_element(By.CLASS_NAME, 'point_arw_r').click()
        
            # 나머지 경우는 page에 해당하는 페이지 클릭
            else:
                page_nums.find_element(By.LINK_TEXT, str(page)).click()
        
            # 에러나지 않도록 한페이지마다 잠시 대기
            print('.', end=' ')
            time.sleep(2)
        
        # 마지막 페이지 리뷰 가져오고 마무리
        soup = BeautifulSoup(driver.page_source)
        reviews = soup.select('ul.rvw_list li.danawa-prodBlog-companyReview-clazz-more')
        soup_dict[page] = reviews
        print("완료!")
        
        result_dict[u+1] = soup_dict

    # 함수 출력값: 제품별 리뷰페이지 소스 저장한 딕셔너리
    return result_dict

3️⃣-(2). [함수2] 수집된 정보를 거르고 필터링해서 분석 가능한 데이터프레임으로!

crawling_danawa_reviews_result: 긁어온 데이터를 돌리면서 데이터프레임으로 정리하는 함수입니다.
- 입력값은 함수1에서 크롤링 페이지 소스를 저장했던 딕셔너리, 제품정보 데이터프레임, 그리고 저장할 엑셀파일의 이름입니다.
제품정보 데이터프레임은 제품명을 가져와서 그대로 붙이기 위해 필요해요.
- 출력값은 크롤링 결과가 정리된 데이터프레임, 그리고 저장된 엑셀파일입니다.

def crawling_danawa_reviews_result(result_dict, df_for_review_crawling, excel_title): 
    # 함수 입력값: 리뷰소스 저장된 딕셔너리, 제품정보 데이터프레임, 결과 저장할 엑셀파일명
    
    # 제품명 풀네임, 제조사, 모델명
    name_list, brand_list, model_list = [], [], []
    # 별점, 구매처, 작성일, 리뷰내용
    star_list, mall_list, date_list, review_list = [], [], [], []
    
    # 제품 하나씩 돌리기
    for key_p in tqdm(range(len(result_dict))):
        soup_dict = result_dict[key_p+1]

        # 제품명 풀네임, 제조사, 모델명 가져오기
        name = df_for_review_crawling['제품모델명'][key_p]
        brand = name.split()[0]
        model = name.split()[-1]

        # 저장해둔 리뷰페이지 하나씩 돌리기
        for key_r in range(len(soup_dict)):
            reviews = soup_dict[key_r+1]
        
            # 리뷰마다 돌리면서 내용 가져오기
            for i in range(len(reviews)):
        
                # 가져와둔 제품명 풀네임, 제조사, 모델명
                name_list.append(str(name))
                brand_list.append(str(brand))
                model_list.append(str(model))
                
                # 별점
                try:
                    star_list.append(int(
                        reviews[i].select_one('span.star_mask').text.strip().replace('점',''))/20)
                except:
                    star_list.append('')
        
                # 구매처
                try:
                    mall_list.append(str(reviews[i].select_one('span.mall').text.strip()))
                except:
                    mall_list.append('')
        
                # 작성일
                try:
                    date_list.append(reviews[i].select_one('span.date').text.strip())
                except:
                    date_list.append('')
        
                # 리뷰내용
                try:
                    review_list.append(str(reviews[i].select_one('div.atc').text.strip()))
                except:
                    review_list.append('')
            
    
    ### 크롤링 결과 저장 ###
    # 데이터프레임 생성
    df_result = pd.DataFrame({
        '제조사' : brand_list, '모델명' : model_list, '제품명' : name_list, 
        '구매처' : mall_list, '작성일' : date_list, '별점' : star_list, '리뷰' : review_list
    })

    # 데이터프레임을 엑셀파일로 저장
    with pd.ExcelWriter(excel_title) as writer:
        df_result.to_excel(writer)

    return df_result

제품 10개 리뷰크롤링 테스트도 성공적으로 마쳤습니다! 10개만 선정했는데도 6천개에 가까운 리뷰가 수집됐네요.
본격적으로 모든 제품의 리뷰를 수집하려면 시간이 좀 걸릴 것 같아요.
다음에는 수집한 리뷰들을 khaiii 형태소분석기로 쪼개서 워드클라우드라도 만들어볼까 합니다!

[오픽 1트 IH 후기, 스크립트 모음] 이공계 스피킹공부 처음인 인간이 2주독학해서 IH받은 후기

서윤L — Fri, 7 Jun 2024 22:35:46 +0900

이렇게 어그로 끄는 제목으로 후기를 쓸 수 있게 될줄이야 아직도 감회가 새롭다!!

시험일은 24. 06. 02 일요일, 난이도 5-5 로 응시했다. 오늘 성적확인한 결과 IH 성공!

✅ 시험 준비하기 전 본인 영어 프로필 간단요약

공대 졸업
약 5년 전 토익 865점
영어스피킹 학원, 공부 경험 X
유학, 어학연수, 워홀 경험 X
암튼 영어 듣고 읽는건 가능해도 말하는 건 어려운 수준
이 상태로 학원 안다니고 그냥 독학했음, 목표는 많이 안바라고 IM2 이상

✅ 오픽 시험 준비한 이유

무엇보다.. 삼성 계열사를 노린다면 오픽 IM 이상이 필수다.
취준할 땐 어쩌다보니 영어시험 보기도 전에 최합이 되어서 여태 영어점수가 없었다.
그러나 이직과 승진을 위해 스피킹 성적이 필수인 시대.. 피할 수 없다..
토익스피킹은 외워야 한다는 이야기가 많던데 나는 단순암기에 정말 재능이 없다.
그리고 비즈니스 스피킹, 포멀한 스피킹 쪽이라길래 정말 자신이 없었다..
오픽은 사전설문으로 어느정도 내가 자신있는 문항으로 제한시킬 수 있고, 포멀하지 않은 실전스피킹 시험이다.
외워서 다다다 말하는 건 오히려 감점요소고, 실제 대화하는 것처럼 엄~~유노~~ 이러는게 오히려 나은 시험이라는 것이다!

✔️ 오픽 시험관련 쓸모있는 정보를 모아둔 게시글들이 있으니 참고!

오픽 특징 알아보기!

사전 설문 요령 참고하기!

필러 등 유용한 표현들 참고하기!

✅ 오픽 시험 준비 과정

1일차~7일차 약 일주일간: 오픽강의 틀어놓고 정말 듣기만 하기
영어스피킹 공부라니.. 처음이라 너무 막막해서 일주일 정도는 그냥 강의를 틀어놓고 빈지워칭(binge-watching)만 했다.
나는 개인취미 등을 위해 클래스101을 연간구독해둔 상태라서, 구독비용 뽕뽑을겸 오픽 강의도 그냥 여기 있는거 들었다.

✔️ 난 겸사겸사 클래스101을 들은거고, 유튜브에 좋은 오픽전문계정들이 많다.
오픽노잼 IM, IH 한번씩 보면 충분할 듯. 사실 나는 이분꺼 보면 화면으로 기빨리는 느낌이라 잘 안보긴 했다..
✔️ 온라인 오픽강의 장점: 강사님이 설명해주는 오픽 시험의 특징, 흐름, 요령을 내방에 앉아서 받아먹을 수 있음
✔️ 온라인 오픽강의 단점: 학원처럼 끌어주고 숙제 내주고 하지 않기 때문에 나혼자 그냥 시간만 흘려보낼 수 있음

7일차~11일차: 오픽강의, 해커스유튜브 강의 들으면서 내 스크립트 짜보기
일주일쯤 되니 오픽이 무슨 시험인진 확실히 알겠는데, 이거 내가 공부하는게 맞나싶고 슬슬 불안해진다.
여가및취미, 돌발주제, 롤플레이 크게 3가지로 나눠서 차례대로 스크립트를 짜기 시작했다.

✔️ 강의에서 주는 스크립트 + 내 개인경험과 지식 + 파파고 번역을 잘 비벼서 주요문항별 스크립트를 작성해보았다.
✔️ 논문번역할 때는 구글번역기를 애용했지만, 스피킹 공부할 때는 파파고가 더 좋은 것 같다.
✔️ 스크립트에 아예 Filler words를 포함해서 작성하면서, 입에서 자연스럽게 나오는지 웅얼거려보곤 했다.

✔️ 주요문항별 스크립트들을 모아 게시글을 올려두었으니 참고!

문항 유형	스크립트 모음
사전설문 내용에 따라 나오는 개인맞춤 문항들	사는곳, 집, 주거지
	음악, 영화, 공연, 콘서트
	공연, 해변, 조깅, 쇼핑
	집에서휴가, 국내여행
사전설문과 관계없이 나오는 돌발주제 문항들	가족, 친구, 휴일, 명절
	대중교통, 은행
	패션, 재활용
	기술, 인터넷
	건강 관련
	날씨, 계절
	산업 관련
친구와 약속, 식당 예약 등등 롤플레이 문항들	롤플레이 만능 스크립트
친구와 약속, 식당 예약 등등 롤플레이 문항들	롤플레이 파티, 식당 등 예시모음

12일차~시험일: 해커스유튜브 무료강의 보면서 스크립트 수정하기, 계속 중얼중얼 말해보기
유튜브에 오픽 한두번 검색했더니 무서운 알고리즘이 추천해주는 것이다.. 해커스 영상들을..
전통있는 종로해커스니까 도움되지 않을까 해서 여러가지 봤는데, 임지혜 선생님이 참 잘 가르쳐 주시는 것 같다..
당연히 광고아님 아무튼 선생님 최근 영상들을 보면서, 좋은 표현들을 많이 배웠고 스크립트에 녹여낼 수 있었다!

✔️ 유튜브 영상 보면서 스크립트 수정하기, 수정하면서 스크립트를 계속 읽어보게 됨 (일부러 외우지 않아도 반쯤 외워짐)
✔️ 시험전 마지막 이틀은 스크립트 입으로 읽어보고, 순서 다르게 말해보기도 하고, 눈감고 말해보기도 하고
암튼 실제로 사람한테 말한다고 상상하면서 말하기 반복!
✔️ 당연히 내가 짜둔 스크립트가 실제 시험에 그대로 나오리라 보장할 수 없다.
그러나 이걸 작성하고 말하는 것 자체가 "스피킹" 연습인 것 같다! 실제로 이과정에서 "나"의 영어스피킹 실력이 조금 늘었다!

✅ 오픽 시험 당일

강서 CBT센터에서 시험봤던 자리

시험장: 강서 CBT 센터 (추천)
다른 후기들을 찾아보면 강서만한 시험장이 없다고 극찬들을 하신다. 가보면 깨끗하고 깔끔해서 일단 마음이 놓이고,
사방이 유리로 막힌 닭장같은 곳에 한명씩 들어가서 시험을 진행한다. 다른 사람들 말 거의 안들리고 신경도 안쓰임!
시험 난이도: 5-5
IM만 나와도 되니까 4를 할까 좀더 욕심내서 5를 할까.. 끝까지 엄청 고민했었다.
난이도 5 이상부터는 마지막 2문제에서 사회이슈같은 어려운 문항이 나온다고 알고 있기 때문에..그런건 자신이 없기 때문에..
근데 시험보기 전 OT때 난이도별로 답변예시를 들을 수 있게 재생버튼이 나오는데, 난이도 5에서 되게 느릿느릿 말하는 것이다!
아하 pause 많더라도 할말하면 되겠구나 갑자기 용기가 솟구쳐서 난이도 5를 선택했다. 중간에도 변경없이 진행했다.
시험 문제
✔️ 맨처음.. 최근에 무슨 약속을 했냐, 기억에 남는 약속은 뭐냐 하면서 약속콤보가 나왔다. 뭔..신유형인가? 당황스럽긴 했다.
좀 헛소리가 섞이긴 했지만.. 건강 관련 스크립트를 기억해내서 "의사와의 약속" 으로 이야기를 만들어서 버벅버벅 말했다.
✔️ 개인맞춤 문항으로는 음악감상, 콘서트 관련 질문이었다. 다행히 스크립트 준비한대로의 내용이라 어느정도 말할 수 있었다.
✔️ 운이 좋은지 롤플레이도 공연 티켓 예약 → 아파서 공연 못간다고 친구한테 다른 제안 콤보가 나와서 스크립트대로 연기했다!
✔️ 걱정했던 마지막 2문제는 제대로 기억도 안난다. 한문제는 더듬더듬 말하고, 마지막 문제는 미안하다 말하고 패스했다.
✔️ 문제 패스하는 표현 참고! https://buly.kr/1sFZXR
✔️ 다 끝내니 약 27분 정도. 너무 빨리 끝냈나 싶었다.

오픽 문제 스킵, 패스 표현 모음 - IH까지는 2~3문제 패스해도 괜찮다!

✔️ 오픽은 모르는 문제 모른다고 말하고 넘긴다고 엄청 감점되지 않는다! ✔️ IH까지가 목표라면 15문제 중에 2~3개 패스해도 문제없다! ✔️ 특히 콤보문제라면 앞에서 이미 말한 경우 미

sy-log.tistory.com

✅ 나름의 소감

오픽 준비하는 과정에서 완전히 죽어있던 언어, 영어감각이 조금 살아난 것 같다.
언어를 하나씩 알게 될 때마다, 내 세상이 넓어진다는 것을.. 머리로는 알고 있었지만 실천하기는 너무너무 어려웠다.
8만원이나 하는 시험이 돈아까워서 준비하는 과정에서 어느정도 실천을 할 수 있어서 뿌듯하다!
오픽을 선택한 이유이기도 하지만, 오픽은 실전토킹에 도움이 되고, 임기응변이 가능하고, 무엇보다 좀.. 융통성 있는 시험같다.
2문제 정도 주제벗어난 헛소리했고, 마지막 1문제는 패스했고, 짧게 마쳐버렸는데 IH가 나온걸 보면 꽤 너그러운 시험이다..
많은 강사님들과 유튜브 영상에서 말하듯, 다양한 표현과 형용사, 시제 맞게 사용하기, 자연스러운 말하기가 중요한 듯.
참고. 지역마다 청년대상으로 오픽 포함 시험비용 지원해주는 사업을 하는 지자체가 있다. 찾아보고 무조건 지원받아내기!