3. 데이터 베이스 기초 활용하기(★★★)

데이터베이스 종류

 

데이터베이스 

개념 : 다수의 인원, 시스템, 프로그램이 사용할 목적으로 통합하여 관리되는 데이터의 집합

정의 : 통합데이터, 저장된 데이터, 운영데이터, 공용데이터

특성 : 실시간 접근성, 계속적인 변화, 동시공용, 내용 참조

 

종류 

파일 시스템 : 파일에 이름부여, 저장, 위치 등을 정의 후 관리, 데이터 베이스의 전 단계 관리 방식, 종류 ISAM, VSAM

 

관계형 데이터베이스 관리 시스템 : 관계형 모델을 기반으로 하는 가장 보편적인 데이터 베이스 관리 시스템, 

종류 Oracle, SQL Server, MySQL, Maria DB 등

 

계층형 데이터베이스 관리 시스템 : 데이터를 상하종속적인 관계로 계층화하여 관리, 종류 IMS, System2000 등

 

네트워크 데이터베이스 관리 시스템 : 데이터의 구조를 네트워크 상의 망상 형태로 표현한 데이터 모델, 설계가 복잡. 종류 IDS, IDMS 등

 

관리 툴 기능 : 데이터베이스 생성, 삭제, SQL 명령어 작성 및 실행, 상태 모니터링, 사용자 계정 관리, 데이터베이스 내보내기/가져오기, 환경설정

 

DBMS(Database Management System)

개념 : 데이터 관리의 복잡성을 해결, 데이터 추가, 변경, 검색, 삭제, 백업, 복구, 보안 등의 기능을 지원하는 소프트웨어

유형 : 키-값 DBMS, 컬럼 기반 데이터 저장, 문서저장, 그래프 DBMS

특징 : 무결성, 일관성, 회복성, 보안성, 효율성

 

데이터베이스 기술 트랜드

빅데이터 

개념 : 시스템, 서비스 조직 등에서 주어진 비용과 시간 내에 처리가 불가능한 비정형 데이터

특성 : 양, 다양성, 속도

기술

비정형/반정형 데이터 수집 : 척와(Chukwa), 플럼(Flume), 스크라이브(Scribe)

정형 데이터 수집 : ETL, FTP, Sqoop, Hiho

분산 데이터 저장/처리 : HDFS, 맵 리듀스(Map Reduce)

분산 데이터 베이스 : HBase

빅데이터 분석 : Pig, Hive, Mahout

빅데이터 실시간 처리 : Impala, Oozie

분산 코디네이션 : Zookeeper

분석 및 시각화 : R

 

NoSQL

개념 : 데이터 저장에 고정된 테이블 스키마가 필요하지 않고 조인연산을 사용할 수 없으며, 수평적으로 확장 가능한 

DBMS

특성 : 키-값 DBMS, 컬럼 기반 데이터 저장, 문서저장, 그래프 DBMS

 

데이터 마이닝(Data Mining)

개념 : 대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 찾아내는 기술

 

절차

1단계 : 목적설정

2단계 : 데이터 준비

3단계 : 가공

4단계 : 마이닝 기법 적용

5단계 : 정보 검증

 

주요기법

분류규칙, 연관규칙, 연속규칙, 데이터 군집화

---

데이터 마이닝 개념 시험출제!