본문 바로가기

Microsoft Fabric

 (29)
04. Fabric 실시간 분석 이전 포스팅에 이어 가져온 데이터로 KQL 쿼리 세트를 만들어 봅니다. 2024.03.07 - [Microsoft Fabric/Fabric 실습 5 - 실시간 분석] - 02. Fabric 실시간 분석 이전 포스팅에서 구성한 KQL 데이터베이스로 이동합니다. 상단의 "New related item"버튼을 클릭하여 KQL Queryset를 선택합니다. 새 KQL Queryset의 이름을 nyctaxiqs 으로 입력하고 "만들기"를 클릭합니다. 새 KQL Queryset가 만들어지면 샘플 예제가 있는 쿼리 편집기가 표시됩니다. 뉴욕시 노란색 택시의 상위 10개 픽업 위치를 반환하는 쿼리를 작성하고 실행해 봅니다. nyctaxitrips | summarize Count=count() by PULocationI..
03. Fabric 실시간 분석 이전 포스팅에서 로드한 스트리밍 데이터를 KQL 및 SQL 쿼리를 사용하여 살펴 보겠습니다. 2024.03.07 - [Microsoft Fabric/Fabric 실습 5 - 실시간 분석] - 02. Fabric 실시간 분석 Kusto 쿼리의 기본적인 함수를 사용해 봅니다. take getschema summarize count 이전 포스팅에서 구성한 KQL 데이터베이스로 이동합니다. Eventstream으로 가져온 데이터 테이블 끝의 더보기 아이콘(...)을 클릭하여 Query table을 선택하고 Show any 100 records를 클릭합니다. 상위 100개의 레코드를 확인하는 Kusto 쿼리 take 100이 실행되고 상위 100개 레코드가 표시됩니다. nyctaxitrips3 | take 100..
02. Fabric 실시간 분석 Eventstream을 사용하여 가져온 데이터 분석 실습을 진행해 봅니다. 이전 포스팅에서 만들어 둔 KQL 데이터베이스를 활용해 봅니다. 2024.03.07 - [Microsoft Fabric/Fabric 실습 5 - 기타] - Fabric 실시간 분석 (1) 1. 원본 데이터 추가하기 1) KQL 데이터베이스 상단의 Get Data의 드롭다운을 펼쳐서 Eventstream을 선택하고 "New Eventstream"을 클릭합니다. 2) Eventstream의 이름을 입력하고 "만들기"를 클릭합니다. 3) EventStream 작업 캔버스 또는 상단의 "New source" 드롭다운 버튼을 클릭하고 "Sample data"를 선택합니다. 4) 우측에 표시된 패널 창에서 원본 이름을 nytaxitripsd..
01. Fabric 실시간 분석 1. KQL 데이터베이스 만들기 1) Fabric이 지원되는(또는 평가판 사용을 설정한) 작업영역을 선택합니다. 2) 상단의 "+ 새로 만들기"를 클릭합니다. 3) KQL 데이터베이스를 선택합니다. 4) KQL Database 이름을 입력하고 Type은 새 데이터베이스(기본값)으로 선택하여 "만들기"를 클릭합니다. ※ 다양한 데이터 원본에서 데이터를 가져올 수 있지만 실습에서는 Local File을 사용해 봅니다. https://raw.githubusercontent.com/MicrosoftLearning/dp-data/main/sales.csv 5) KQL 데이터베이스가 만들어지면, 상단의 "Get data"버튼을 클릭하고 Local file을 선택합니다. 6) 데이터 가져오기 마법사에서 로컬 파일을 ..
Fabric의 Synapse 실시간 분석 Fabric의 Synapse 실시간 분석은 KQL(Kusto 쿼리 언어) 데이터베이스를 사용하여 강력한 데이터 분석용 도구인 KQL 및 테이블 스토리지를 제공합니다. 이 구조는 텍스트 또는 구조적 데이터에서 인사이트와 패턴을 찾는 효율적인 방법을 제공합니다. KQL은 로그 파일 또는 스트리밍 서비스의 실시간 데이터와 같은 시계열 구성 요소를 포함하는 데이터에 최적화되어 있습니다. Synapse 실시간 분석이란? Synapse 실시간 분석은 Fabric 서비스 전체에서 고속 데이터 분석을 위한 엔드투엔드 스트리밍 솔루션을 제공합니다. 시계열 데이터에 최적화되어 있으며 모든 데이터 형식의 자동 분할 및 인덱싱을 지원합니다. Microsoft Fabric의 실시간 분석 Kusto Query Language(K..
Data Warehouse 데이터 분석 Lake에 정의된 테이블에 대한 기본 읽기 전용 SQL 엔드포인트와 달리 Data Warehouse는 전체 SQL 의미 체계를 제공합니다. 테이블에 데이터를 삽입, 업데이트 및 삭제하는 기능을 포함합니다. 1. 데이터 웨어하우스 만들기 1) Fabric이 지원되는(또는 평가판 사용을 설정한) 작업영역을 선택합니다. 2) 상단의 "+ 새로 만들기"를 클릭합니다. 3) 웨어하우스를 선택합니다. 4) 새 웨어하우스의 이름을 입력합니다. 5) 만들기를 클릭합니다. 1분 정도 후에 새 웨어하우스가 생성됩니다. 2. 테이블 만들기 및 데이터 삽입 1) 홈 화면에서 "T-SQL 코드 템플릿으로 테이블 만들기" 타일을 클릭 또는 상단의 "새 SQL 쿼리"버튼을 클릭합니다. 2) 쿼리 창에 아래 CREATE TABLE ..
Fabric Data Warehouse 이해하기 Data Warehouse는 SQL 쿼리를 지원하기 위해 관계형 스키마를 기반으로 빌드된 분석 저장소입니다. Microsoft Fabric을 사용하면 작업 영역에서 관계형 데이터 웨어하우스를 만들고 엔드투엔드 분석 솔루션의 다른 요소와 쉽게 통합할 수 있습니다. Fabric의 데이터 웨어하우스는 테이블에서 데이터를 삽입, 업데이트 및 삭제하는 기능을 포함한 전체 SQL 시멘틱을 제공합니다. Fabric의 데이터 웨어하우스는 Delta 형식으로 저장되며 SQL을 사용하여 쿼리할 수 있는 레이크하우스를 기반으로 빌드되므로 고유합니다. 최신 데이터 웨어하우스를 빌드하는 프로세스는 일반적으로 다음과 같이 구성됩니다. 데이터 수집 - 원본 시스템에서 데이터 웨어하우스로 데이터 이동 데이터 스토리지 - 분석에 최적..
05. 파이프라인에 Dataflow 추가 Dataflow를 파이프라인의 활동으로 포함할 수 있습니다. 파이프라인은 데이터 수집 및 처리 작업을 오케스트레이션하는 데 사용되며, 이를 통해 예약된 단일 프로세스에서 Dataflowfmf 다른 종류의 작업과 결합할 수 있습니다. 파이프라인은 Data Factory 환경을 비롯한 몇 가지 다른 환경에서 만들 수 있습니다. Fabric을 사용하는 작업 영역을 선택하고 상단의 "새로 만들기"를 클릭하여 "데이터 파이프라인"을 선택합니다. 파이프라인 이름을 입력하고 저장하면 파이프라인 편집기가 열립니다. "파이프라인 활동 추가"를 클릭하고 "데이터 흐름"을 클릭합니다. 데이터 흐름 활동을 선택한 상태에서 "설정" 탭을 클릭하고, "데이터 흐름" 선택 목록에서 이전에 만든 Dataflow를 선택합니다. 상단의..

티스토리툴바