MCP, Zeppline, Redash 란(+sql unnest, json_parse, with ordinarity 함수)

이직한 회사로 출근한지 1주가 넘었습니다. 워낙 빠르고 바쁘게 돌아가는 곳이라서 도메인 설명은 아직 듣지 못했고, 지금은 대시보드와 쿼리를 보면서 익숙해지고 있어요. 오늘은 새롭게 접한 툴과 용어들, sql 함수에 대해서 간략하게 기록해두려고 합니다.

 

MCP란

• model context protocol, 일종의 통신규약
• 최근 LLM 분야에서 핫한 토픽
  • LLM과 외부 애플리케이션을 연동할 수 있게 해준다.
  • 기존에는 학습되어 있는 정보만을 토대로 답변했던 데에서 벗어나 최신 정보를 기준으로 답변할 수 있음
  • 단순 답변이 아닌 동작도 가능 : 음악을 재생하거나 파일을 검색
• RAG와의 차이점
  • RAG는 주로 읽기 전용 컨텍스트를 반환한다. MCP는 작업을 수행하는 것까지 가능
  • RAG는 인덱싱된 정적 소스에 의존하지만 MCP는 동적 소스 활용 가능
  • 상호보완적 관계 : RAG를 통해서 콘텐츠를 빠르게 검색하고, MCP를 통해서 작업을 수행한다면 속도와 정확성을 모두 제공할 수 있음

Apache Zeppelin

• 웹 기반 데이터 분석 및 시각화 노트북
  • 주로 SQL, Python, Spark를 이용해 데이터를 탐색하고 결과를 시각화할 수 있음
• 주 사용자 : 데이터 분석가, 데이터 엔지니어, 데이터 사이언티스트
• Spark와 연동이 가능하며, Hadoop, Hive, Spartk 기반 데이터 플랫폼을 사용하는 조직에서 주로 활용된다.
• 분석 결과를 대시보드로 공유할 수 있음
• 사용 방법

입사 하루 만에 파악할 수 있는 Apache Zeppelin 사용법

Redash

• SQL 기반 데이터 시각화 및 BI 도구
• 데이터베이스에 직접 연결해서 쿼리 실행 및 시각화 가능
• Tableau나 Power BI보다 SQL 중심이며, 분석가가 직접 쿼리를 작성하는 환경에서 사용
• 여러 데이터 소스 연결 가능 : Athena, BigQuery 등
  • 여러 데이터 소스에서 나온 쿼리 결과를 Join 할 수 있음
  • 그러나 하나의 Query로 여러 데이터 소스를 Join할 수는 없다.
• 스케쥴링도 가능
• 사용 방법

[Redash] 데이터 시각화 도구를 이용 해보자! - 대시 보드&스케쥴링

 

SQL

unnest

• array 형태의 데이터를 행 단위로 펼쳐주는 함수

json_parse

• 문자열 형태의 json 데이터를 실제 json 타입으로 변환
  • json 함수를 사용하기 위해서는 json 타입으로 변환해야함
  • json 타입으로 변환한 뒤, json_extract, json_extract_scalar 등의 함수를 사용한다.
• 주로 로그 데이터나 API 응답 데이터를 분석할 때 자주 등장함

with ordinality

• unnest 결과에 순번을 추가해줌
• 배열의 원래 순서를 유지해야하거나 특정 위치의 값을 분석할 때 유용하다
• 상품 노출 순서, 클릭 순서, 사용자 행동 순서 등의 데이터를 분석할 때 활용된다.

# unnest 함수 사용법
## result : A, B, C가 한 행씩 펼쳐진다.
SELECT *
FROM UNNEST(ARRAY['A','B','C'])

# json_part 함수 사용법
## result : json 타입으로 변환됨
SELECT JSON_PARSE('{"name":"Tom","age":30}')

# with ordinality 함수 사용법
## result : 순번(index) 컬럼이 추가된다. A가 1번, B가 2번 등
SELECT *
FROM UNNEST(ARRAY['A','B','C']) WITH ORDINALITY

---

Reference

MCP (Model Context Protocol) 1. 개념 이해

모델 컨텍스트 프로토콜(MCP)이란 무엇입니까?

https://americanopeople.tistory.com/243

(데이터 시각화)Redash란?