목록전체 글 (13)
Data Scientist Dairy
감리사 시험 대비 IT 개념 요약 노트감리사 시험을 준비하면서 알아두어야 할 핵심 IT 개념들을 정리했습니다. 각각의 주제를 간결하고 이해하기 쉽게 설명했으니, 시험 준비와 실무에 도움이 되길 바랍니다!1. 물리 데이터 모델링 중 반정규화에 대한 설명반정규화 절차:정규화된 데이터 모델을 성능 개선 또는 단순화를 위해 일부 비정규화하는 과정.데이터 중복을 허용하여 쿼리 성능을 향상시키는 방법.반정규화 유형:테이블 병합: 자주 조인되는 테이블을 하나로 병합.중복 데이터 추가: 자주 조회하는 데이터를 다른 테이블에 중복 저장.파티셔닝: 대용량 테이블을 분할하여 관리.반정규화 시 고려사항:성능 향상 여부 확인데이터 무결성 유지 방안 마련유지보수의 복잡성 증가 가능성 평가2. CI/CD 파이프라인에서 DevSec..
감리사 시험 대비 IT 개념 요약 노트감리사 시험을 준비하면서 알아두어야 할 핵심 IT 개념들을 정리했습니다. 각각의 주제를 간결하고 이해하기 쉽게 설명했으니, 시험 준비와 실무에 도움이 되길 바랍니다!1. PR(Precision Recall) 곡선과 ROC(Receiver Operation Characteristic) 곡선 비교PR 곡선:정밀도(Precision)와 재현율(Recall)의 관계를 시각화하여 분류 모델의 성능을 평가합니다.특히 불균형 데이터셋에서 유용하며, 양성 클래스에 대한 정확한 예측을 중시할 때 효과적입니다.ROC 곡선:민감도(True Positive Rate)와 위양성 비율(False Positive Rate)을 비교하여 모델의 전반적인 성능을 평가합니다.데이터 불균형 상황에서도 ..
Python으로 결측치를 그룹 평균으로 대체하는 방법!데이터 분석을 하다 보면 결측치(NaN)가 있는 컬럼을 마주하는 일이 많습니다. 결측치를 그대로 두면 분석 결과가 왜곡될 수 있으므로 이를 처리하는 것이 중요합니다. 이번 글에서는 Python의 Pandas 라이브러리를 활용하여 특정 그룹의 평균값으로 결측치를 채우는 방법을 소개하겠습니다.상황예를 들어, 아래와 같은 데이터프레임이 있다고 가정해봅시다:여기서 target 컬럼의 결측치를 처리하고 싶습니다. 하지만 결측치를 채울 때 아무 값이나 넣는 대신, group1과 group2로 그룹화한 뒤 등급연수의 평균값을 사용하면 데이터를 더 신뢰성 있게 보완할 수 있습니다.핵심 코드다음은 이를 구현하는 간단한 코드입니다:# 결측치를 그룹화된 평균으로 대체df..
데이터 분석에 있어 pandas는 필수적인 도구입니다. 특히 데이터프레임에서 데이터를 조회하거나 슬라이싱할 때 iloc과 loc 메서드를 많이 사용하게 되는데요. 처음 사용하는 분들에게는 이 둘의 차이가 헷갈릴 수 있습니다.이번 포스팅에서는 iloc과 loc의 차이를 명확히 정리하고, 각각의 사용법을 예제로 설명해드리겠습니다. 🙌🟢 iloc - 위치 기반 인덱싱iloc은 데이터프레임의 행과 열의 위치를 기반으로 데이터를 선택합니다.즉, 0부터 시작하는 숫자 인덱스를 사용하여 데이터를 조회합니다.iloc 문법코드 복사data.iloc[행_인덱스, 열_인덱스]특징숫자 인덱스 위치를 기준으로 데이터를 조회합니다.슬라이싱에서 끝값은 포함되지 않음 (Python 기본 슬라이싱 규칙).예제코드 복사import ..
파이썬을 활용한 카이제곱 검정: 빅데이터 분석 기사 실기 준비카이제곱 검정(Chi-Square Test)은 빅데이터 분석에서 자주 사용되는 통계적 기법으로, 범주형 데이터 간의 관계를 검정하거나 데이터 분포가 기대값에 적합한지 확인하는 데 사용됩니다. 빅데이터 분석 기사 실기에서도 카이제곱 검정을 Python으로 구현하는 문제를 다룰 수 있으므로, 이번 글에서는 이에 대해 자세히 알아보겠습니다.카이제곱 검정이란?카이제곱 검정은 다음 두 가지 상황에서 주로 사용됩니다.적합도 검정관측값이 기대 분포에 적합한지를 검정합니다. (단일 표본 분석)독립성 검정: 두 범주형 변수 간의 연관성이 있는지 검정합니다. (교차표 분석)파이썬에서는 scipy 라이브러리의 chisquare와 chi2_contingency를 사..
과목별 토픽단위로 서브노트 작성 정규교재 기준 학습 모의고사 반복풀이
Toad 사용시 에러 조치 : Unable to find RAC connection information for (SERVICE_NAME) (INST_ID=1) 방법 Toad Tool로 DB 개발 중에 Debugging을 하다보면 위의 에러 메세지가 발생하고 실행이 안되는 경우가 있다. DB환경이 오라클 RAC일때 발생하는 것 같다. 내용을 찾아보면 오라클은 RAC 환경에서 디버깅을 인스턴스에 crossover하게 지원을 하지 않는다. 특히, Toad 프로그램의 경우 debugging 시에 2개의 background 세션을 발생하여 작업을 수행하게 된다 [디버깅 에러 발생할때 tnsname.ora파일 설정] devdb = (DESCRIPTION= (LOAD_BALANCE=OFF)(FAILOVER=ON) ..