1. 도커란? - [명사] 부두[항만] 노동자 - 컨테이너를 기반으로 하여 특정한 서비스를 패키징하고 배포하는데 유용한 오픈소스 프로그램 2. 컨테이너 - 사전적 의미로 어떤 물체를 격리하는 공간 - 선박의 컨테이너 처럼 프로세스가 사용하는 자원을 격리 하는 것 - 애플리케이션을 관련 라이브러리 및 종속 항목과 함께 패키지로 묶어 소프트웨어 서비스 구동을 위한 격리 환경 3. 전통적인, 가상화, 컨테이너(도커) 환경 비교 4. 어떻게 프로세스에 할당하는 자원을 분리할까? - Namespace 이용 : Mount namespace : 파일 시스템 분리 / 마운트 포인트 별개로 부여 : UTS namespace : 호스트 네임 분리 / 컨테이너에게 자체적으로 소스트 네임과 도메인 이름을 주는거 : IPC n..

1.Redis? - REDIS(REmote Dictionary Server)는 메모리 기반의 “키-값” 구조 데이터 관리 시스템이며, 모든 데이터를 메모리에 저장하고 조회하기에 빠른 Read, Write 속도를 보장하는 비 관계형 데이터베이스. - 크게 5가지의 데이터 형식 지원. - Redis는 빠른 오픈 소스 인 메모리 키-값 데이터 구조 스토어이며, 다양한 인 메모리 데이터 구조 집합을 제공하므로 사용자 정의 애플리케이션을 손쉽게 생성 할 수 있음. 2. Memcached와 Redis의 비교 3. 특징 - 영속성(프로그램이 종료 되더라도 사라지지 않음)을 지원하는 인메모리 데이터 저장소. - 읽기 성능 증대를 위한 서버 측 복제를..

Grafana? - 오픈 소스 분석 및 대화 형 시각화 웹 애플리케이션. - 지원되는 데이터 소스에 연결되면 웹에 대한 차트, 그래프 및 경고를 제공 Visualize (시각화) - 동적 대시보드 : 대시보드 상단에 조회조건을 넣어 동적 대시보드를 그릴수 있음. - 분석 : 화면을 분할 하여 서로 다른 시간의 데이터를 비교 - 로그탐색 : 라벨 필터를 사용하여 로그를 빠르게 검색 - 주석 : 차트에 주석을 달수 있음 - 애드혹 필터 : 자동으로 적용되는 필터를 바로 만들수 있음. Alert (경고) - 경고 : 지표에 대한 경고 규칙을 시각적으로 평가하고 대표 메신저에 연동하여 알림 (Slack , PagerDuty , VictorOps , OpsGenie) Unify (통합) - 멀티 데이터 소스 : ..

1. InfluxDB란? - 시계열 데이터를 처리하는 소프트웨어 플랫폼 (TSDB) • 시간과 값을 쌍으로 시계열을 저장하고 서비스하는데 최적화된 소프트웨어 시스템 • 초기 시절엔 데이터 히스토리언 이라고도 함. - 운영 모니터링, 애플리케이션 매트릭스, 사물인터넷 센서 데이터, 실시간 분석 등 분야에서 시계열 데이터의 고속의 고가용성(HA)의 저장 및 검색에 최적화됨 - 모든 Row가 Time이라고 불리는 고유한 시간값을 가짐 2. 시계열 데이터의 특성 - 시간이 기록된 모든 데이터 - 규칙적 (Metric) and 불규칙적 (Event)시간 간격에 따라 생성 - 거대한 데이터 량 - 실시간이며 시간이 중요 3. RDB와 Influx 용어 비교 4.measurement 구성 - 태그 키, 태그 값 = ..

0. Kafka란? - 아파치 카프카(Apache Kafka)는 LinkedIn에서 개발된 분산 메시징 시스템. - 발행-구독(publish-subscribe) 모델을 기반으로 동작. - 크게 producer, consumer, broker, connectors, streams processors 구성 1. 탄생배경 - 모든 시스템으로 데이터를 전송, 실시간 처리도 가능한 것. - 데이터가 갑자기 많아 지더라도 확장이 용이한 시스템이 필요함 - Befroe Kafka : 엔드투엔드 연결 방식의 아키텍쳐 : 데이터 연동의 복잡성 증가(하드웨어, 운영체제, 장애 등) : 각기 다른 데이터 파이프라인 연결구조 : 확장에 엄청남 노력이 필요 - After Kafka : 프로듀서/컨슈머 분리 : 메시지 데이터를 ..

● 데이터 베이스 1. 데이터 베이스 확인 > show databases 2. 데이터 베이스 생성 > create database 3. 데이터 베이스 선택 > use ● 사용자 및 권한 1. 사용자 생성 > CREATE USER WITH PASSWORD '' 2. 권한 주기 > GRANT ALL ON to

1. Apache 오픈소스 2. 분산 환경에서 대량의 데이터를 수집, 처리 기능 3. FBP(flow-based programming) 개념 장점 1. 실시간 처리에 강점을 가짐 - 특정 디렉토리에 파일이 생성되면 바로 DB에 저장할수도 FTP에 전송 할수 있음. 2. 장애시 복구될때가지 데이터 처리를 못할수는 있어도 잃어버리지는 않음. 3. Zero Master 클러스터 환경 제공 4. https지원 하여 보안에 좋음 5. 직관적 인터페이스 (사용하기 쉬움) 6. 이동경로 추적가능 7. 클러스터간 Site-to-Site를 이용해 데이터 교환 가능 단점 1. 배치 작업 부적합 (배치 작업은 DistCP가 더좋음) 2. 복잡한 연산 힘듬 요소 1. FlowFile : 데이터 단위 - 속성(Attribute..