공부 일지 #1 | 빅데이터 및 클라우드 기초1

[ 배운 내용을 오래 기억하고자, 강의 정리 내용을 일지로 기록해두려 한다. ]

 

학습 날짜: 2025.07.03

---

📌 주요 개념

✅ HTC vs HPC

• HTC (High Throughput Computing)
  • 자원 활용성을 높여 처리량을 극대화하는 컴퓨팅 기술
    → 예: 화물을 많이 실어 나르는 화물차
    → 관련 기술: Cloud Computing, Grid Computing 등
• HPC (High Performance Computing)
  • 연산 성능을 극대화하여 빠른 계산을 목적으로 하는 컴퓨팅 기술
    → 예: 빠른 속도를 내는 스포츠카

---

✅ Cloud Computing

• 정의
  • 인터넷을 통해 가상화된 IT 리소스를 사용해 작업을 처리하는 방식
• 4가지 특징

  특징	설명
  On Demand	필요할 때 언제든지 사용 가능
  대규모 확장성	수요에 따라 탄력적으로 리소스 조절 가능
  종량제 과금	사용한 만큼만 비용 지불
  관리 편의성	클라우드 제공 회사가 인프라를 관리 (※ 완전 관리형의 경우, 대부분의 책임은 클라우드 업체가 담당)

---

✅ Client와 Server의 관계

    Clients: browser, application, computer

HTTP request(url) : 빈 트럭(package)과 같음, 목적지(ip 주소)와 요청만 갖고 이동

 

   Server: Find a doc(html), 트럭을 물건(html)을 실음

HTTP response: 요청에 맞는 html을 실어 보냄.
특히, hdr에서는 src ip, des ip를 des ip, src ip로 순서를 바꿔 내보냄

 

   HTML Parsing & Rendering : 구현 완료!

---

✅ 빅데이터의 3V

1. Volume (용량)
   • 데이터 크기: TB 이상
   • Byte: 8비트(0 또는 1)로 구성된 데이터의 최소 단위
2. Velocity (속도)
   • 데이터가 생성되고 분석되어 사용자에게 의미 있는 정보로 전달되기까지의 속도
3. Variety (다양성)
   • 정형 데이터: 행과 열로 구성된 구조화된 데이터 (예: 엑셀, DB 테이블)
   • 비정형 데이터: 자연어, 이미지, 오디오, 비디오 등 → 전통적인 통계 분석으로는 처리 어려움

---

✅ 빅데이터 분석 과정

데이터 기획 → 수집 → 관리 → (가공 및 분석 → 시각화)
(→ 이후 학습 모델을 통한 반복적 개선)

---

✅ 데이터마이닝의 두 가지 분석 기술

1. 통계 기반 분석
   • 데이터가 특정 분포(예: 정규분포)를 따른다는 전제
   • 적은 양의 데이터로도 분석 가능
   • 데이터가 많아져도 분포의 틀에서 벗어나기 어려움
2. 기계학습 / 딥러닝 기반 분석
   • 분포를 전제로 하지 않고, 데이터를 기반으로 패턴을 학습
   • 데이터가 많을수록 정확도가 높아짐
   • 적은 데이터에서는 잘못된 패턴을 학습할 위험 있음

---

🗂️ 주요 용어 정리

용어	정리
CDN	콘텐츠 전송 네트워크. 사용자와 제공자 간 거리 단축으로 전송 속도 향상
데이터	가공되지 않은 있는 그대로의 사실, 개념, 수치, 문자 등
정보	의미를 가지도록 가공된 데이터
데이터베이스	데이터를 구조화해 저장하는 저장소. 예: 엑셀, 텍스트 파일 등
데이터베이스 소프트웨어	MS SQL, Oracle 등. 데이터 규모가 커지면 성능 저하 발생 → 빅데이터 기술 필요
데이터마이닝	대규모 데이터에서 유용한 정보나 패턴을 추출하는 분석 기법