학습 개요
- 데이터 분석의 시작은 목적에 부합하는 데이터를 확보하는 것에서 출발함
- 단순히 데이터를 수집하는 것을 넘어, 분석 목적에 부합하고 분석 기법 적용이 용이한 데이터를 확보할 필요가 있음
- 이를 위해 데이터 유형과 수집 방법을 명확히 이해하고, 상황에 맞는 기술적 접근 방식을 선택할 수 있어야 함
- 데이터 수집의 개념과 필요성을 이해하고 신뢰할 수 있는 분석 결과 도출을 위해 확보해야 할 데이터 품질 요건(정확성, 완전성, 일관성 등)에 대해 학습함
- 정형, 반정형, 비정형 데이터의 구조적 특성과 각 유형에 따른 파일, API, 웹 스크래핑을 활용한 수집 전략을 비교함으로써 수집 대상 데이터에 따라 적용할 수 있는 처리 방식의 차이를 학습함
학습 목표
- 데이터 수집의 필요성과 중요성을 이해할 수 있음
- 정형/비정형/반정형 데이터의 특징을 구분할 수 있음
- API, 웹 스크래핑, 파일 등 다양한 소스에서 데이터를 수집하는 코드를 작성할 수 있음
강의록
데이터 수집의 이해
데이터 수집의 필요성
- 데이터의 수집 및 활용 능력에 따라 개인, 기업, 국가의 경쟁력이 결정
데이터 수집의 정의
- 단순히 데이터를 모으는 행위를 넘어 수집 된 데이터를 분석에 적합한 형태로 준비하는 과정
- 분석 목적에 적합한 유효한 데이터를 탐색
- 데이터를 수집할 수 있는 적절한 방법을 선택
- 데이터의 정확성을 유지할 수 있는 형식 및 주기 등을 결정
- 비즈니스, 연구, 일상 생활, IT 서비스 등 사회 전 분야에서 의사 결정을 위해 데이터 분석 결과를 활용
데이터의 품질
- 데이터 수집의 어려움
- 데이터 양의 문제
- 데이터 다양성의 문제
- 정확성과 일관성 문제
- 좋은 데이터의 조건
- 신뢰할 수 있는 결과를 도출하기 위해서는 충분한 데이터의 양 뿐만 아니라 품질이 중요
- ISO 8000는 데이터 품질을 평가하는 기준 제시
- 정확성, 완전성, 일관성, 유효성, 적시성, 상호운영성
데이터의 유형
정형 데이터
- 미리 정의된 스키마에 따라 행과 열로 구성된 테이블 형태로 저장 되는 데이터
- 정형 데이터의 특징
- 구조화: 미리 정의된 스키마를 따라 정의
- 정량적: 숫자 또는 문자로 표현되는 정량적 데이터
- 관계형 데이터베이스에 적합: 효율적 저장, 검색, 관리
- 분석 용이: 데이터 추출, 변환, 분석을 체계적 수행 가능
- 정형 데이터의 한계
- 예상치 못한 데이터 유형을 수용 어려움
- 소셜 미디어와 같은 복잡한 정보 효과적 저장 어려움
비정형 데이터
- 미리 정의 된 구조나 스키마 없이 자유로운 형태와 다양한 내용을 담고 있는 데이터
- 비정형 데이터의 특징
- 비구조화: 데이터 요소 간 관계 미정의
- 다양한 형태: 문서, 이메일, 멀티미디어 등 다양한 형태
- 저장 및 관리의 어려움: 특수한 저장소나 분산 파일 시스템
- 분석 어려움: 자연어 처리 등 고도의 분석 기술 필요
- 전체 데이터의 약 80%를 차지하는 것으로 추정
- 정형 데이터에 비해 분석하기 어렵지만 다양한 정보와 맥락을 포함
반정형 데이터
- 어느 정도의 구조화된 요소를 포함하지만 정형 데이터와 같이 엄격한 스키마나 고정된 형식을 따르지 않음
- 반정형 데이터의 특징
- 일정 수준 구조화: 태그, 키-값 쌍, 계층적 구조 등을 사용
- 다양한 형태: JSON, 로그 파일, 이메일 등 다양한 형태
- 유연성: 스키마 변경이 용이하고 확장성이 높음
- 분석 방법: NoSQL 데이터베이스 등으로 관리
- 정형 데이터보다 풍부한 정보와 복잡한 관계 표현 가능
- 분석을 위해서는 구조를 파악하고 데이터를 정제하는 과정이 추가적으로 필요
데이터 수집 방법
데이터 수집 방법론
- 데이터 소스의 형태, 접근 권한, 데이터 양, 실시간성 요구 등을 고려하여 적절한 수집 방법을 선택
- 파일, 데이터베이스, API, 웹 스크래핑 등 다양한 수집 기술을 가능
- 파일 기반 데이터 수집
- 데이터 분석의 가장 기본적으로 사용되는 방법 중 하나
- CSV, Excel, JSON, XML 등 다양한 파일 형식 사용
- 일회성 분석이나 배치 처리 방식의 분석에 적합
pandas라이브러리는 파일에서 데이터를 효율적으로 읽고 처리하기 위한 기능 제공
파일 형식에 따른 장단점
| 분류 | 형식 | 장점 | 단점 | 주요 용도 | | — | — | — | — | — | | 정형 | CSV | - 높은 범용성
- 다양한 프로그램 호환
- 간단한 구조
SQL 호환 - 복잡한 구조 표현 어려움 - 바이너리데이터 저장 불가
데이터 타입 정보 없음 - 일회성 분석 배치 처리 Excel - 시각적 편집 가능 수식 및 차트 지원 - 용량이 큰편 프로그래밍 처리 복잡 - 비즈니스 리포트 데이터 편집 반정형 JSON - 계층적 구조 표현 - 웹 API 표준
가독성 우수 - 바이너리데이터 저장 불가 - 중첩 구조시 복잡
CSV 대비 용량큼 - 웹 API, - 설정 파일
NoSQL XML - 구조화 된 데이터 표현 스키마 검증 - 파싱 오버 헤드 JSON 대비 복잡 - 웹 서비스 설정 파일 HTML - 브라우저 호환 링크 구조 - 데이터 추출 복잡 노이즈 많음 - 웹스크래핑 웹페이지 비정형 TXT - 높은 호환성 - 용량 효율적
단순한 구조 - 구조화 안됨 - 메타데이터 없음
분석 어려움 - 로그 파일 자유 텍스트 LOG - 시간순 기록 - 디버깅 정보
시스템 추적 - 정규 표현 식 필요 - 구조 불일치
노이즈 많음 - 시스템 모니터링 에러 분석
API(Application Programming Interface)
- 소프트웨어 간의 상호 작용을 가능하게 하는 인터페이스
- 미리 정의된 규칙과 명령어 집합
- 개방형 데이터 접근
- 자동화된 데이터 수집 가능
- REST API 모델
- 클라이언트는 서버에 특정 데이터를 요청하고 서버는 이에 응하여 JSON, XML과 같은 형식의 데이터를 반환
![image.png]()
API 프로토콜의 종류
| 구분 | HTTP/HTTPS | WebSocket | GraphQL | | — | — | — | — | | 동작 방식 | 요청(request) → 응답(response) | 양방향 통신 (자유로운 데이터 교환) | 쿼리 기반 요청, 필요한 데이터만 선택적 응답 | | 연결 방식 | 비연결 지향 (요청마다 새로운 연결) | 지속 연결 (handshake 이후 연결 유지) | 단일 엔드포인트 연결, 요청마다 명시적 질의 전송 | | 장점 | 간단하고 호환성 높음 | 실시간 데이터 전송에 유리 (이벤트 기반) | 과도한 데이터 전송 방지, 유연한 질의 구조 제공 | | 단점 | 실시간성 부족, 과도한 요청 발생 가능 | 구현 복잡도 높고, HTTP에 비해 지원 환경 제한됨 | 학습 필요, 캐싱 처리 어려움 | | 활용 예시 | REST API, Open API, 웹 페이지 통신 | 주식 시세, 채팅 앱, 실시간 알림, 게임 서버 등 | 복잡한 앱의 데이터 요청 최적화 (ex. 페이스북, 쇼핑몰) |
웹 스크래핑의 이해
- 프로그램을 통해 웹 사이트에서 데이터를 자동으로 추출하고 수집하는 기술
- 자동화 된 방식으로 웹 페이지를 방문하고 링크를 따라 이동하면서 웹의 구조를 탐색하는 웹 크롤링과 구별
- 웹 스크래핑 시 고려사항
- 웹 페이지 구조 분석
- 데이터 추출 방법
- 웹 사이트 정책 준수
- 정적 페이지와 동적 페이지
requests,BeautifulSoup,Selenium,Ixml등 다양한 파이썬 라이브러리를 활용
연습 문제
데이터 수집의 품질을 평가하는 기준으로 ISO 8000이 제시한 항목에 해당하지 않는 것은?
a. 가독성
반정형 데이터의 대표적인 예시는 무엇인가?
a. JSON 파일
API를 통한 데이터 수집의 주요 이점은 무엇인가?
a. 실시간 데이터 접근과 자동화 된 수집이 가능함
정리 하기
- 데이터 수집은 분석 목적에 적합한 데이터를 식별하고 데이터의 품질을 확보하는 전략적 과정임
- 좋은 데이터의 조건에는 정확성, 완전성, 일관성, 유효성, 적시성, 상호 운용성이 있음
- 정형 데이터는 행과 열의 테이블 형태로 구조화 된 데이터임
- 비정형 데이터는 구조가 없는 자유로운 형태의 데이터임
- 반정형 데이터는 정형과 비정형의 중간 특성을 가진 데이터임
- 각 데이터 유형은 서로 다른 수집 및 처리 방법이 필요함
- 파일 기반 수집은 로컬 환경이나 네트워크에서 파일을 직접 읽어 처리함
- API를 통한 수집은 웹 서비스나 플랫폼에서 제공하는 인터페이스를 활용함
- 웹 스크래핑은 웹사이트에서 필요한 정보를 자동으로 추출하는 기술임