[데이터입출력구현] 3. 데이터베이스 기초 활용하기

---

키워드

DB종류 / 파일시스템 / RDMBS / HDBMS / NDBMS / 키컬도그 / DBMS 특징 / DB 기술 트랜드 / 데이터 마이닝

---

데이터베이스 종류 (★★★)

• 개념 - 다수의 인원, 시스템, 프로그램이 사용할 목적으로 통합해 관리되는 데이터의 집합
  • 통합된 데이터(Integrated Date) : 자료의 중복을 배제한 데이터의 모임
  • 저장된 데이터(Stored Date) : 저장 매체에 저장된 데이터
  • 운영 데이터(Operational Date) : 조직의 업무를 수행하는 데 필요한 데이터
  • 공용 데이터(Shared Date) : 여러 앱, 시스템들이 공동으로 사용하는 데이터
• 특성
  • 실시간 접근성(Real-Time Accessibility) : 쿼리에 대해 실시간 응답 가능해야 함
  • 계속적인 변화(Continuous Evolution) : 새로운 데이터의 삽입, 삭제, 갱신으로 항상 최신의 데이터 유지함
  • 동시 공용(Concurrent Sharing) : 다수의 사용자가 동시에 같은 내용의 데이터를 이용할 수 있어야 함
  • 내용 참조(Content Reference) : DB에 있는 데이터 참조 시 데이터 레코드의 주소나 위치에 의해서가 아닌, 사용자가 요구하는 데이터 내용으로 데이터를 찾음
• 종류
  • 파일 시스템) 데이터베이스 전 단계의 데이터 관리 방식
    • ISAM) 자료 내용은 주 저장부, 자료의 색인은 자료가 기록된 위치와 함께 색인부에 기록되는 시스템
    • VSAM) 대형 운영체제에서 사용되는 파일 관리 시스템
  • 관계형 데이터베이스 관리 시스템(RDBMS) : 관계형 모델을 기반으로 하는 가장 보편화된 DB 관리 시스템 / 상하관계로 표시해 상관관계 정리 / 변화하는 업무, 데이터 구조에 대한 유연성 좋아 유지 관리 용이 / RDBMS 종류는 오라클, SQL 서버, MySQL, Maria DB 등이 있음
  • 계층형 데이터베이스 관리 시스템(HDBMS) : 데이터를 상하 종속적 관계로 계층화해 관리하는 DB / 데이터에 대한 접근속도 굿, 종속적인 구조로 인해 변화하는 데이터 구조에 유연하게 대응하기 쉽지 않음 / IMS, System2000 등이 있음
  • 네트워크 데이터베이스 관리시스템(NDBMS) : 데이터 구조를 네트워크 상의 망상 형태로 표현한 데이터 모델 / 트리, 계층형 DB보단 유연하지만 설계 복잡 / IDS, IDMS 등이 있음
• 데이터베이스 관리 툴 기능) DB 생성, 삭제 / SQL 명령어 작성, 실행 / 상태 모니터링 / 사용자 계정 관리 / DB 내보내기, 가져오기 / 환경설정

DBMS

• 개념 - 데이터 관리의 복잡성을 해결하는 동시에 데이터 추가, 변경, 검색, 삭제, 백업, 복구, 보안 등의 기능 지원하는 SW
  • 유형(키컬도그)
    • 키-값 DBMS) 키 기반 Get / Put / Delete 제공, 메모리 기반에서 성능 우선 시스템 및 빅데이터 처리 가능 DBMS / Unique 한 키에 하나의 값을 가지고 있는 형태 // Redis, DynamoDB
    • 컬럼 기반 데이터 저장 DBMS) 키 안에 조합으로 된 여러 개의 필드 갖는 DBMS / 테이블 기반, 조인 미지원, 컬럼 기반으로 구글 Bigtable 기반으로 구현 // HBase, Cassandra
    • 문서 저장 DBMS) 값의 데이터 타입이 문서라는 타입을 사용하는 DBMS / 문서타입은 XML, JSON과 같이 구조화된 데이터 타입으로, 복잡한 계층 구조 표현 가능 // MongoDB, Couchbase
    • 그래프 DBMS) 시맨틱 웹, 온톨로지 분야에서 활용되는 그래프... 데이터를 표현하는 DBMS / 노드, 엣지로 특징되는 요소 특화 / 노드 간 관계를 구조화해 저장 // Neo4j, AllegreGraph
  • 특징
    • 데이터 무결성) 부적절한 자료가 입력되어 동일 내용에 대해 서로 다른 데이터가 저장된느 것을 허용하지 않는 성질
    • 데이터 일관성) 삽입, 삭제, 갱신, 생성 후에도 저장된 데이터가 변함없이 일정
    • 데이터 회복성) 장애 발생했을 때 특정 상태로 복구되어야 하는 성질
    • 데이터 보안성) 불법적인 노출, 변경, 손실로부터 보호되어야 하는 성질
    • 데이터 효율성) 응답 시간, 저장 공간 활용 등이 최적화되어 사용자, 소프트웨어, 시스템 등의 요구 조건을 만족시켜야 하는 성질
  • 상용 DBMS 및 오픈 소스 기반 DBMS
    • 상용 DBSM) 특정 회사에서 유료로 판매하는 시스템 / 유지보수 지원 원할
    • 오픈 소스 기반 DBMS) 오픈 소스 라이선스 정책 준용하는 범위 내에서 사용이 자유로움

데이터베이스 기술 트랜드

• 빅데이터) 시스템, 서비스, 조직 등에서 주어진 비용, 시간 내에 처리 가능한 데이터 범위를 넘어서는 수십 페타바이트 크기의 비정형 데이터
  • 특성) 양(Volume) / 다양성(Variety) / 속도(Velocity)
  • 빅데이터 수집, 저장, 처리 기술
    • 비정형/반정형 데이터 수집) 정제되지 않은 데이터 확보, 이를 통해 필요 정보를 추출해 활요하기 위해 효과적으로 수집 및 전송하는 기술 // 척와, 플럼, 스크라이브
    • 정형 데이터 수집) 정제된 대용량 데이터의 수집 및 전송 기술 // ETL, FTP, 스쿱, 하이호
    • 분산데이터 저장/처리) 대용량 파일의 효과적인 분산 저장 및 분산 처리 기술 // HDFS, 앱 리듀스
    • 분산데이터 베이스) HDFS의 컬럼 기반 DB로 실시간 랜덤 조회 및 업데이트가 가능한 기술 // HBase
  • 분석, 실시간 처리 및 시각화 위한 주요 기술
    • 빅데이터 분석) 분석을 위한 데이터 가공, 분류, 클러스터링, 패턴 분석을 처리하는 기술 / 가공의 대표적인 솔루션은 피그, 하이브 / 마이닝 대표적 솔루션은 머하웃
    • 빅데이터 실시간 처리) 하둡 기반의 실시간 SQL 질의 처리와 요청된 작업을 최적화하기 위한 워크플로우 관리 기술 / 실시간 SQL 질의를 위한 대표적 솔류션은 임팔라고, 워크플로우 관리 위한 대표적 솔루션은 우지가 있음
    • 분산 코디네이션) 분산 환경에서 서버들 간에 상호조정이 필요한 다양한 서비스를 분산 및 동시 처리 제공 기술 / 대표적 솔루션 주키퍼
    • 분석 및 시각화) 데이터 의미, 가치를 시각적으로 표현 위한 기술 / R
• NoSQL) 전통적인 RDBMS와 다른 DBMS를 지칭하기 위한 용어 / 데이터 저장에 고정된 테이블 스키마 필요하지 않고 조인 연산을 사용할 수 없으며 수평적 확장이 가능한 DBMS
  • 특성
    • Basically Available) 언제든지 데이터는 접근할 수 있어야 하는 속성 / 항상 가용성 중시
    • Soft-State) 노드의 상태는 내부에 포함된 정보에 의해 결정되는 것이 아니라 외부에서 전송된 정보를 통해 결정되는 속성... 특정 시점에선 데이터 일관성 보장 X
    • Eventually Consistency) 일정 시간이 지나면 데이터 일관성이 유지되는 속성 / 일관성 중시하고 지향
  • 유형
    • Key-Value Store) 유니크한 키에 하나의 값을 가지고 있는 형태 / 키 기반 Get, Put, Delete 제공하는 빅데이터 처리 가능 DB
    • Column Family Data Store) 키 안에 Column, Value 조합으로 된 여러 개의 필드를 갖는 DB / 테이블 기반, 조인 미지원, 컬럼 기반, 구글의 Bigtable 기반으로 구현
    • Document Store) Value의 데이터 타입이 문서라는 타입을 사용하는 DB / Document 타입은 XML, JSON, YAML과 같이 구조화된 데이터 타입으로, 복잡한 계층 구조를 표현할 수 있음
    • Graph Store) 시맨틱 웹과 온톨로지 분야에서 활용되는 그래프... 데이터를 표현하는 DB
• 데이터 마이닝) 대규모로 저장된 데이터 안에서 체계적/자동적으로 통계적 규칙이나 패턴 찾아내는 기술 / 의미 있는 패턴 파악, 예측해 의사결정에 활용하는 기법 / 통계분석은 가설, 가정에 따른 분석, 검증을 하지만 데이터 마이닝은 수리 알고리즘을 활용해 대규모 데이터에서 의미 있는 정보를 찾아냄
  • 절차
    1. 목적 설정
    2. 데이터 준비
    3. 가공
    4. 마이닝 기법 적용
    5. 정보 검증
  • 데이터 마이닝 주요 기법
    • 분류 규칙(Classification) : 과거 데이터로부터 특성을 찾아내어 분류모형을 만들어 이를 토대로 새로운 레코드 결과 값을 예측하는 기법 / 마케팅, 고객 신용 평가 모형에 활용
    • 연관 규칙(Association) : 데이터 안에 존재하는 항목들 간의 종속관계를 찾아내는 기법 / 제품이나 서비스의 교차판매, 매장 진열, 사기적발 등에서 활용
    • 연속 규칙(Sequence) : 연관 규칙에 시간 관련 정보가 포함된 형태의 기법 / 개인별 트랜잭션 이력 데이터를 시계열적으로 분석해 트랜잭션의 향후 발생 가능성 예측
    • 데이터 군집화(Clustering) : 대상 레코드들의 유사 특성을 지닌 몇 개의 소그룹으로 분할하는 작업으로 작업의 특성이 분류규칙과 유사 / 정보가 없는 상태에서 데이터 분류하는 기법 / 분석대상에 결과값이 없고, 판촉활동, 이벤트 대상 선정시 활용