02. Fabric 실시간 분석

Eventstream을 사용하여 가져온 데이터 분석 실습을 진행해 봅니다. 

 

이전 포스팅에서 만들어 둔 KQL 데이터베이스를 활용해 봅니다. 

2024.03.07 - [Microsoft Fabric/Fabric 실습 5 - 기타] - Fabric 실시간 분석 (1)

 

1. 원본 데이터 추가하기

1) KQL 데이터베이스 상단의 Get Data의 드롭다운을 펼쳐서 Eventstream을 선택하고 "New Eventstream"을 클릭합니다.

 

2) Eventstream의 이름을 입력하고 "만들기"를 클릭합니다. 

 

3) EventStream 작업 캔버스 또는 상단의 "New source" 드롭다운 버튼을 클릭하고 "Sample data"를 선택합니다.

 

4) 우측에 표시된 패널 창에서 원본 이름을 nytaxitripsdatasource 로 입력하고 Sample data는 Yellow Taxi (high data-rate)를 선택한 후 "추가"를 클릭합니다.

 

5) 데이터 추가가 완료되면 작업 캔버스에서 "KQL Database"를 클릭합니다.

 

6) 우측에 표시된 KQL Database 설정 패널 창에서 항목을 다음과 같이 선택 및 입력한 후 "Add and configure"를 클릭합니다. 

  Data ingestion mode : Direct ingestion 선택 

  Destination name : nytaxidatabase 입력

  작업 영역 : Fabric이 허용된 작업영역 선택 

  KQL 데이터베이스 : 사용할 KQL 데이터베이스 선택

 

7) 데이터 추가가 완료되면 데이터 가져오기 마법사 창이 표시됩니다. 

 

2. KQL 데이터베이스에 데이터 로드 구성

1) 새 테이블을 클릭하고 테이블 이름에 nyctaxitrips 를 입력합니다. 

 

2) 데이터 원본 구성의 속성을 다음과 같이 선택하고 "다음"을 클릭합니다. 

 데이터 연결 이름 : 데이터베이스 이름과 Eventstream 이름에서 만들어집니다. 변경할 수 있습니다. 

 압축 : None

 

3) 데이터 검사가 자동으로 진행되며, 완료되면 형식(서식)을 JSON으로 선택한 후 "마침"을 클릭합니다.

 

4) 상단의 "열 편집"을 클릭하여 필요한 경우 데이터 형식을 변경합니다. 

 

이 샘플 데이터에서는 아래 3개의 열 유형을 변경하고 "적용"을 클릭합니다.

VenderID : int

passenger_count : long

payment_type : real

 

5) 데이터 로드 과정이 진행됩니다. 완료되면 "닫기"를 클릭합니다.

 

3. 기록 데이터 가져오기 

1) 아래 GitHub에서 Fabric 샘플 리포지토리를 열어 위치 데이터를 다운로드합니다.

https://github.com/microsoft/fabric-samples/blob/main/docs-samples/real-time-analytics/ny-yellow-taxi-location-info.csv

 

2) NycTaxiDB라는 KQL 데이터베이스로 이동하여 상단의 "Get data"버튼을 클릭합니다. 

 

3) 데이터 원본 선택 창에서 "로컬 파일"을 선택합니다. 

 

4) 새 테이블에 "Locations"를 입력하고 다운로드 받은 파일을 업로드합니다.

 

5) 파일이 업로드 되면 "다음"을 클릭합니다.

 

6) 데이터 검사 순서에서 "첫 번째 행은 열 머리글입니다." 토글을 켜고 "마침"을 클릭합니다. 

 

7) 데이터 ingeste가 끝나면 "닫기"를 클릭합니다. 

 

다음 포스팅에서 계속 됩니다.