1. Apache 오픈소스 2. 분산 환경에서 대량의 데이터를 수집, 처리 기능 3. FBP(flow-based programming) 개념 장점 1. 실시간 처리에 강점을 가짐 - 특정 디렉토리에 파일이 생성되면 바로 DB에 저장할수도 FTP에 전송 할수 있음. 2. 장애시 복구될때가지 데이터 처리를 못할수는 있어도 잃어버리지는 않음. 3. Zero Master 클러스터 환경 제공 4. https지원 하여 보안에 좋음 5. 직관적 인터페이스 (사용하기 쉬움) 6. 이동경로 추적가능 7. 클러스터간 Site-to-Site를 이용해 데이터 교환 가능 단점 1. 배치 작업 부적합 (배치 작업은 DistCP가 더좋음) 2. 복잡한 연산 힘듬 요소 1. FlowFile : 데이터 단위 - 속성(Attribute..
OpenSource - NIFI 개요
1. Apache 오픈소스 2. 분산 환경에서 대량의 데이터를 수집, 처리 기능 3. FBP(flow-based programming) 개념 장점 1. 실시간 처리에 강점을 가짐 - 특정 디렉토리에 파일이 생성되면 바로 DB에 저장할수도 FTP에 전송 할수 있음. 2. 장애시 복구될때가지 데이터 처리를 못할수는 있어도 잃어버리지는 않음. 3. Zero Master 클러스터 환경 제공 4. https지원 하여 보안에 좋음 5. 직관적 인터페이스 (사용하기 쉬움) 6. 이동경로 추적가능 7. 클러스터간 Site-to-Site를 이용해 데이터 교환 가능 단점 1. 배치 작업 부적합 (배치 작업은 DistCP가 더좋음) 2. 복잡한 연산 힘듬 요소 1. FlowFile : 데이터 단위 - 속성(Attribute..
2020.02.13