[오픈 소스 기반 데이터 분석] 5강 - 데이터 저장

💡해당 게시글은 방송통신대학교 정재화 교수님의 '오픈 소스 기반 데이터 분석' 강의를 개인 공부 목적으로 메모하였습니다.

학습 개요

---

• 데이터 분석을 효과적으로 수행하려면 수집 된 데이터를 일시적으로 처리하는 데 그치지 않고 분석 목적에 맞게 적절한 형식으로 저장하고 재사용할 수 있도록 관리하는 과정이 필요함
• 다양한 환경과 시스템에서 데이터를 공유하거나 연동하려면 범용적인 저장 형식을 선택하고 데이터의 구조와 특성에 맞게 저장 전략을 수립해야 함
• 데이터 저장의 개념과 필요성을 이해하고, 파일 기반 저장(CSV, JSON, Excel 등)과 데이터베이스 기반 저장의 방식별 특징과 장단점을 비교 학습함
• pandas 라이브러리의 핵심 객체인 DataFrame을 생성하고 저장하는 다양한 방법을 실습함
• 공공 데이터 포털의 API를 활용한 실제 데이터 수집과 변환, 저장 사례를 통해, 외부 데이터와의 연계성과 저장 실습 경험을 통해 데이터 분석의 기본이 되는 수집 및 저장 기술을 체계적으로 학습함

학습 목표

---

• Pandas의 DataFrame을 활용하여 수집한 데이터를 처리할 수 있음
• DataFrame에 저장된 데이터를 다양한 형식으로 저장할 수 있음
• 데이터 수집 과정에서 발생할 수 있는 문제점을 인식하고 이를 해결하는 방법을 적용할 수 있음

강의록

---

데이터 저장의 이해

데이터 저장의 필요성

• 수집한 데이터를 영구적으로 사용할 수 있도록 적절하게 관리하는 과정
  • 저장 방식은 데이터의 크기, 형태, 접근 빈도, 분석 목적 등에 따라 상이
  • 저장 방식 별 특징, 장단점에 대해 구체적 이해 필요
• 데이터 저장 방식: 파일
  • OS의 파일 시스템 상에서 데이터를 독립적인 단위로 저장
  • 텍스트 파일, CSV 파일, JSON 파일 등 다양한 형태 가능
  • 호환성이 뛰어나고 여러 환경에서 파일 읽기/쓰기 가능
  • 대규모 데이터 처리에 비효율적이고 데이터 무결성과 보안 측면에서 취약

CSV(Comma Separated Version)

• MS 엑셀, 구글 스프레드시트, 데이터베이스 등 다양한 프로그램과 연동이 용이

• DataFrame은 CSV와 구조적 유사성으로 CSV 파일로 변환하여 저장하는 방법을 제공

  

JSON(JavaScript Object Notation)

• 계층 구조를 가진 데이터를 저장하는데 유용

• json 또는 pandas 라이브러리를 사용하여 데이터를 JSON 파일로 저장 가능

  class="highlight">

    [
      {
        "이름": "홍길동",
        "나이": 25,
        "거주지": "서울",
        "관심사": [
          "프로그래밍",
          "데이터 분석",
          "여행"
        ]
      }
    ]