티스토리

hengki.net

검색하기

블로그 홈

hengki.net

hengki.net/m

행키의 지식을 정리하고 공유하는 공간입니다.

구독자: 0

방명록 방문하기

주요 글 목록

Docker 개요 1. 도커란? - [명사] 부두[항만] 노동자 - 컨테이너를 기반으로 하여 특정한 서비스를 패키징하고 배포하는데 유용한 오픈소스 프로그램 2. 컨테이너 - 사전적 의미로 어떤 물체를 격리하는 공간 - 선박의 컨테이너 처럼 프로세스가 사용하는 자원을 격리 하는 것 - 애플리케이션을 관련 라이브러리 및 종속 항목과 함께 패키지로 묶어 소프트웨어 서비스 구동을 위한 격리 환경 3. 전통적인, 가상화, 컨테이너(도커) 환경 비교 4. 어떻게 프로세스에 할당하는 자원을 분리할까? - Namespace 이용 : Mount namespace : 파일 시스템 분리 / 마운트 포인트 별개로 부여 : UTS namespace : 호스트 네임 분리 / 컨테이너에게 자체적으로 소스트 네임과 도메인 이름을 주는거 : IPC n.. 공감수 0 댓글수 0 2021. 4. 7.
Redis 개요 1.Redis? - REDIS(REmote Dictionary Server)는 메모리 기반의 “키-값” 구조 데이터 관리 시스템이며, 모든 데이터를 메모리에 저장하고 조회하기에 빠른 Read, Write 속도를 보장하는 비 관계형 데이터베이스. - 크게 5가지의 데이터 형식 지원. - Redis는 빠른 오픈 소스 인 메모리 키-값 데이터 구조 스토어이며, 다양한 인 메모리 데이터 구조 집합을 제공하므로 사용자 정의 애플리케이션을 손쉽게 생성 할 수 있음. 2. Memcached와 Redis의 비교 3. 특징 - 영속성(프로그램이 종료 되더라도 사라지지 않음)을 지원하는 인메모리 데이터 저장소. - 읽기 성능 증대를 위한 서버 측 복제를.. 공감수 0 댓글수 0 2021. 3. 31.
Grafana 개요 Grafana? - 오픈 소스 분석 및 대화 형 시각화 웹 애플리케이션. - 지원되는 데이터 소스에 연결되면 웹에 대한 차트, 그래프 및 경고를 제공 Visualize (시각화) - 동적 대시보드 : 대시보드 상단에 조회조건을 넣어 동적 대시보드를 그릴수 있음. - 분석 : 화면을 분할 하여 서로 다른 시간의 데이터를 비교 - 로그탐색 : 라벨 필터를 사용하여 로그를 빠르게 검색 - 주석 : 차트에 주석을 달수 있음 - 애드혹 필터 : 자동으로 적용되는 필터를 바로 만들수 있음. Alert (경고) - 경고 : 지표에 대한 경고 규칙을 시각적으로 평가하고 대표 메신저에 연동하여 알림 (Slack , PagerDuty , VictorOps , OpsGenie) Unify (통합) - 멀티 데이터 소스 : .. 공감수 0 댓글수 0 2021. 3. 25.
InfluxDB 개요 1. InfluxDB란? - 시계열 데이터를 처리하는 소프트웨어 플랫폼 (TSDB) • 시간과 값을 쌍으로 시계열을 저장하고 서비스하는데 최적화된 소프트웨어 시스템 • 초기 시절엔 데이터 히스토리언 이라고도 함. - 운영 모니터링, 애플리케이션 매트릭스, 사물인터넷 센서 데이터, 실시간 분석 등 분야에서 시계열 데이터의 고속의 고가용성(HA)의 저장 및 검색에 최적화됨 - 모든 Row가 Time이라고 불리는 고유한 시간값을 가짐 2. 시계열 데이터의 특성 - 시간이 기록된 모든 데이터 - 규칙적 (Metric) and 불규칙적 (Event)시간 간격에 따라 생성 - 거대한 데이터 량 - 실시간이며 시간이 중요 3. RDB와 Influx 용어 비교 4.measurement 구성 - 태그 키, 태그 값 = .. 공감수 0 댓글수 0 2021. 3. 16.
Kafka 개요 0. Kafka란?- 아파치 카프카(Apache Kafka)는 LinkedIn에서 개발된 분산 메시징 시스템.- 발행-구독(publish-subscribe) 모델을 기반으로 동작.- 크게 producer, consumer, broker, connectors, streams processors 구성 1. 탄생배경 - 모든 시스템으로 데이터를 전송, 실시간 처리도 가능한 것. - 데이터가 갑자기 많아 지더라도 확장이 용이한 시스템이 필요함- Befroe Kafka : 엔드투엔드 연결 방식의 아키텍쳐 : 데이터 연동의 복잡성 증가(하드웨어, 운영체제, 장애 등) : 각기 다른 데이터 파이프라인 연결구조 : 확장에 엄청남 노력이 필요 - After Kafka : 프로듀서/컨슈머 분리 : 메시지 데이터를 여러.. 공감수 0 댓글수 0 2021. 3. 9.
InfluxDB 기본 설정 ● 데이터 베이스 1. 데이터 베이스 확인 > show databases 2. 데이터 베이스 생성 > create database 3. 데이터 베이스 선택 > use ● 사용자 및 권한 1. 사용자 생성 > CREATE USER WITH PASSWORD '' 2. 권한 주기 > GRANT ALL ON to 공감수 0 댓글수 0 2020. 4. 23.
NIFI 개요 1.개요- Apache 오픈소스- 분산 환경에서 대량의 데이터를 수집, 처리 기능- FBP(flow-based programming) 개념2. 장점 - 실시간 처리에 강점을 가짐,특정 디렉토리에 파일이 생성되면 바로 DB에 저장할수도 FTP에 전송 할수 있음.- 장애시 복구될때가지 데이터 처리를 못할수는 있어도 잃어버리지는 않음.- Zero Master 클러스터 환경 제공- https지원 하여 보안에 좋음- 직관적 인터페이스 (사용하기 쉬움)- 이동경로 추적가능- 클러스터간 Site-to-Site를 이용해 데이터 교환 가능 3. 단점- 배치 작업 부적합 (배치 작업은 DistCP가 더좋음)- 복잡한 연산 힘듬 4. 요소- FlowFile 데이터 단위속성(Attribute), 내용(Content) 구.. 공감수 0 댓글수 0 2020. 2. 13.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.