[TIL]55. NoSQL

키워드 : NoSQL, JSON, MongoDB, Pymongo

NoSQL

단어 유래 : 관계형 데이터베이스(RDB)는 하나의 공통된 특성에서 데이터베이스의 특성에 따라 분류가 되는 반면 NoSQL은 말그대로 'SQL이 아니다'의 의미로 관계형 데이터베이스가 아닌 비관계형 데이터베이스에 대한 언어입니다. 즉, NoSQL은 DB마다 아예 다르다고 할 정도로 차이가 큽니다.

등장 배경 : 2000년대 초반 웹의 발전에 따라 웹에서 발생하는 수많은 데이터를 다루면서 발전하기 시작했습니다.
웹 환경이 대두되기 시작한 데이터들의 특성

• 소스와 데이터의 양이 기하급수적으로 증가
• 웹 서비스의 데이터는 xml, json으로 처리되는데 RDB로 처리하기엔 데이터 설계시간(스키마 구조를 짜는 등)이 너무 오래 걸리기 시작
• 하나의 서버를 키우는 것(수직확장)보다 여러개의 서버를 연결시켜 확장하는 방법(수평확장)이 비용대비 퍼포먼스에서 우위를 차지

관계형 데이터베이스 ; SQL vs 비관계형 데이터베이스 ; NoSQL

관계형 데이터 베이스 ex) MYSQL, Oracle, SQLite, PostgreSQL, MariaDB

1. 테이블을 사전에 정의하고 짜여진 구조에 맞게 행과 열을 이뤄 데이터를 저장
2. 행에는 하나의 속성에 대한 정보, 열에는 각각의 형식에 맞는 데이터를 저장
3. 특정한 형식을 두고 저장하기에 꺼낼 때 수월 -> SQL을 통해 쿼리문을 쓸 수 있습니다.
4. 수직확장(메모리 및 CPU를 확장), 데이터베이스가 구축된 하드웨어의 성능을 많이 이용하므로 고비용, 여러 서버에 걸쳐서 DB의 관계를 정의할 수 있지만 매우 복잡하고 시간이 많이 소모됩니다.

비관계형 데이터 베이스 ex) MongoDB, CouchDB, 카산드라, DynamoDB 등 굉장히 다양하고 서로 굉장히 다름

1. 스키마가 아닌 DB마다 Document, Key-Value, Wide-Column, Graph 등 다양한 방식으로 저장
2. NoSQL도 스키마가 존재. 단, 읽어올 때만 스키마를 사용하며 스키마의 형태가 보다 동적입니다. 행을 추가하면서 동시에 열을 추가할 수 있고 개별 속성에 대해서 모든 열에 대한 데이터를 반드시 입력하지 않아도 되는 장점도 있습니다.
3. 비관계형 데이터베이스의 쿼리는 데이터 그룹 자체를 조회하는 것에 초점을 둡니다. 해서 구조화되지 않은 쿼리 언어(UnQL ; Unstructured Query Language)로도 데이터 요청이 가능
4. 수평확장(상대적으로 저렴한 서버 증설 또는 클라우드 이용), 많은 트래픽을 처리 가능, 상대적으로 비용 대비 효율이 좋음

SQL VS NoSQL

둘 중 하나만 사용하기보다 각 상황, 분야에 따라 적용하기 좋은 DB가 있긴 합니다. 실제적으로는 서비스, 유저의 요구를 충족하기 위해 둘 다 사용합니다.

SQL 기반 데이터베이스(관계형 데이터베이스)를 사용하기 좋은 경우

1. DB의 ACID를 지켜야하는 경우
   데이터베이스 내에서 일어나는 하나의 상태 변화(transaction)의 안전성을 보장 즉, 전자상거래 금융 서비스를 위한 개발에서는 SQL을 이용한 관계형 데이터 베이스가 선호됩니다.

2. 사용되는 데이터가 구조적 및 일관적인 경우
   일관된 틀을 갖는 데이터를 사용하는 경우엔, 굳이 NoSQL을 사용할 필요 X

NoSQL 기반 데이터베이스(비관계형 데이터베이스)를 사용하기 좋은 경우

1. 정해진 데이터 구조가 거의 혹은 아예 없는 대용량 데이터를 저장하는 경우
   NoSQL 데이터베이스는 저장할 수 있는 데이터 유형에 제한을 두지 않으므로 필요에 따라 새로운 유형 추가 가능
   그렇기에 정형화되지 않은 많은 양의 데이터를 저장하기에 유용

2. 클라우드 및 저장공간을 최대로 활용하는 경우
   데이터베이스의 확장성이 중요하다면 여러 데이터 센터를 거치는 번거로움 없이 클라우드를 통한 확장이 유용

3. 빠르게 서비스를 구축 및 데이터 구조를 자주 바꿔야하는 경우
   어떤 개발을 할 때, RDB처럼 복잡한 스키마를 미리 생각하고 적용할 필요없으므로 초기 단계 혹은 시제품을 개발할 때 유용합니다.

NoSQL 대표 모델

이미지 출처

1. Document(문서형) Database

   • 테이블이 아닌 문서처럼 저장
   • JSON과 유사한 형식으로 데이터를 문서화
   • 각각의 문서는 하나의 속성에 대한 데이터를 가지고 있고 컬렉션이라는 그룹으로 묶어서 관리
   • 대표적인 데이터베이스 : MongoDB

2. Key-Value(KV) Database

   • Key/Value의 쌍을 속성으로 하는 배열 형태로 저장
   • Key : 속성 이름, Value : 속성에 연결된 데이터 값
   • 대표적인 데이터베이스 : RedisDB, DynamoDB

3. Wide-Column(WC) Database

   • 데이터베이스의 열(column)에 집중하여 데이터를 관리
   • 각 열에 Key-Value 형식으로 데이터가 저장, 컬럼 패밀리(Column Families)라는 열의 집합체 단위로 데이터를 저장
   • 하나의 row에 많은 column을 포함할 수 있음
   • 데이터 처리에 필요한 열을 유연하게 선택할 수 있어, 규모가 큰 데이터 분석에서 주로 사용
   • 대표적인 데이터베이스 : Cassandra, Hbase
   • 컬럼 안에 컬럼들이 있는 형태

4. Graph Database

   • 노드 : 추적 대상이 되는 사람, 기업, 계정 등의 실체) == RDB의 레코드, Document DB의 document
   • 엣지 : 그래프나 관계라고도 하며, 노드끼리 연결되어 있는 선
   • 프로퍼티 : 노드의 정보와 밀접한 관련

MongoDB

Document Database

• 문서들은 BSON(Binary jSON) 형태로 저장됩니다.
• 그러므로 정해진 틀이나 데이터 타입이 없고 자유롭게 문자, 숫자, 객체, 배열 등을 저장 가능합니다.
• RDB 처럼 데이터를 저장할 때 스키마가 있는 것은 아니지만 읽어올 땐 특정 스키마를 따라 불러옵니다.

사용 방법

1. MongoDB Atlas 에서 클러스터를 생성

2. Atals에서 목적에 클러스터 생성 후 URI, 유저 이름, 비밀번호, 데이터베이스 이름 등을 획득

3. Pymongo 라이브러리 사용

HOST = 'Host'
USER = 'Username'
PASSWORD = 'Userpassword'
DATABASE_NAME = 'DBname'
COLLECTION_NAME = 'collection_name'
MONGO_URI = f"mongodb+srv://{USER}:{PASSWORD}@{HOST}/{DATABASE_NAME}?retryWrites=true&w=majority"

# URI = "mongodb+srv://{유저 이름}:{유저 비밀번호}@cluster-prac.hubjn.mongodb.net/{기본 데이터베이스 이름}?retryWrites=true&w=majority"

from pymongo import MongoClient

client = MongoClient(MONGO_URI)

database = client[DATABASE_NAME]

collection = database[COLLECTION_NAME]

collection.insert_one(document='dict형태') # 값을 하나만 넣음
collection.insert_many(documents='dict가 여러개 있는 리스트 형태') # 값을 여러개 넣음

collection.find() # MongoDB에 올려진 데이터를 호출하는 객체


collection.find_one() # 한개의 데이터를 찾을 때
for data in collection.find(): # 여러개의 데이터를 한번에 찾을 때
    ######################## 이런 식으로 각 데이터 값을 for문을 통해 뽑아내는 방식으로 자주 사용

위와 같이 활용하며, NoSQL에 데이터를 저장하는 방법, 받아오는 방법
받아와서 그 데이터를 다시 RDB에 넣는 방법 등 다양하게 활용할 수 있습니다.