Fabric의 Synapse 실시간 분석

Fabric의 Synapse 실시간 분석은 KQL(Kusto 쿼리 언어) 데이터베이스를 사용하여 강력한 데이터 분석용 도구인 KQL 및 테이블 스토리지를 제공합니다. 

이 구조는 텍스트 또는 구조적 데이터에서 인사이트와 패턴을 찾는 효율적인 방법을 제공합니다. 

KQL은 로그 파일 또는 스트리밍 서비스의 실시간 데이터와 같은 시계열 구성 요소를 포함하는 데이터에 최적화되어 있습니다.

 

Synapse 실시간 분석이란?

Synapse 실시간 분석은 Fabric 서비스 전체에서 고속 데이터 분석을 위한 엔드투엔드 스트리밍 솔루션을 제공합니다.

시계열 데이터에 최적화되어 있으며 모든 데이터 형식의 자동 분할 및 인덱싱을 지원합니다.

 

Microsoft Fabric의 실시간 분석

Kusto Query Language(KQL)

KQL(Kusto 쿼리 언어)은 구조적, 반구조적 및 비구조적 데이터에서 인사이트를 분석하고 추출하는 데 사용되는 선언적 쿼리 언어입니다. KQL은 대규모 로그 데이터를 효율적이고 빠르게 검색하기 위해 특별히 디자인되었으므로 클라우드 기반 데이터 분석에 완벽하게 적합합니다. 

 

실시간 분석 핵심 구성 요소

• KQL Database는 Kusto 데이터베이스이며 테이블, 저장 함수, 구체화된 뷰, 바로 가기 및 데이터 스트림의 컬렉션을 호스트하는 상위 수준 엔터티입니다.
• KQL Queryset를 사용하여 쿼리를 실행하고 KQL 데이터베이스의 데이터에 대한 쿼리 결과를 보고 조작합니다. KQL 쿼리 세트를 사용하면 나중에 사용하도록 쿼리를 저장하거나 쿼리를 내보내고 다른 사용자와 공유할 수 있습니다. 또한 KQL 쿼리 세트는 쿼리를 만들기 위해 Kusto 쿼리 언어를 사용하며 T-SQL 및 일부 T-SQL 함수도 지원합니다.
• Eventstream 기능을 사용하면 이벤트 허브, 사용자 지정 앱 및 샘플 데이터를 포함하는 여러 원본 형식의 스트리밍 데이터를 통합할 수 있습니다. 원본을 설정한 후에는 스트리밍 데이터를 레이크하우스, KQL 데이터베이스 또는 사용자 지정 앱을 비롯한 여러 대상으로 보낼 수 있습니다.

KQL 데이터베이스 개체

많은 데이터베이스와 마찬가지로 KQL 데이터베이스에는 의사 결정 시스템 다운스트림을 지원할 수 있도록 데이터 스토리지, 스트리밍 및 쿼리 요구 사항을 처리하는 많은 개체가 있습니다.

 

• 테이블은 데이터 열 및 행 집합을 포함하는 스키마 엔터티입니다. 테이블에는 잘 정의된 스키마(열 이름 및 데이터 형식 쌍의 순서가 지정된 목록)가 있습니다. .create table 명령을 사용하여 새 테이블을 만들고, .show table 명령을 사용하여 테이블 스키마를 표시하고, .ingest 명령을 사용하여 데이터를 테이블로 수집합니다.
• 함수는 다른 KQL 쿼리 내에서 호출할 수 있는 하위 쿼리 식을 캡슐화하는 스키마 엔터티입니다. 저장 함수에는 이름, 선택적 매개 변수 목록 및 하위 쿼리 식이 포함된 본문이 있습니다. .create function 명령을 사용하여 새 저장 함수를 만들고 .show functions 명령을 사용하여 데이터베이스에서 저장 함수를 표시할 수 있습니다.
• 구체화된(materialized)뷰는 더 빠른 검색을 위해 쿼리의 미리 계산된 결과를 저장하는 스키마 엔터티입니다. 구체화된 뷰에는 이름, 선택적 매개 변수 목록 및 쿼리 식이 포함된 본문이 있습니다. .create materialized-view 명령을 사용하여 새로운 구체화된 뷰를 만들고 .show materialized-views 명령을 사용하여 데이터베이스에서 구체화된 뷰를 표시할 수 있습니다.
• 데이터 스트림은 KQL 데이터베이스에 연결된 모든 연결된 KQL 이벤트 스트림을 나타냅니다