03. Dataflows Gen2 살펴보기

Dataflows는 확장 가능한 데이터 변환 프로세스를 빌드하고 실행하기 위한 클라우드 기반 ETL(추출, 변환, 로드) 도구의 유형입니다.  Dataflows Gen2는 Power Query Online을 사용하여 ETL 작업을 수행하는 쉽고 재사용 가능한 방법을 제공합니다.

Dataflows Gen2 사용에 대한 이점과 제한 사항

이점:

• 표준 날짜  Dimension 테이블과 같은 일관된 데이터로 데이터를 확장합니다.
• 셀프 서비스 사용자가 데이터 웨어하우스의 하위 집합에 개별적으로 액세스할 수 있도록 허용합니다.
• 데이터 흐름을 통해 성능을 최적화하고 재사용을 위해 데이터를 한 번 추출하여 느린 원본의 데이터 새로 고침 시간을 줄입니다.
• 대규모 분석가 그룹에만 데이터 흐름을 노출하여 데이터 원본 복잡성을 간소화합니다.
• 사용자가 데이터를 대상에 로드하기 전에 정리하고 변환할 수 있도록 하여 데이터의 일관성과 품질을 보장합니다.
• 다양한 원본에서 데이터를 수집하는 로우 코드 인터페이스를 제공하여 데이터 통합을 간소화합니다.

제한 사항:

• 데이터 웨어하우스에 대한 대체본이 아닙니다.
• 행 수준 보안은 지원되지 않습니다.
• Fabric 용량 작업 영역이 필요합니다.

 

 

Dataflows Gen2는 Power query Online을 사용하여 변환을 시각화합니다.

 

Power query Online 인터페이스 요약

1. Power Query 리본

다양한 데이터 변환이 가능합니다. 

• 행 필터링 및 정렬
• 피벗 및 피벗 해제
• 쿼리 병합 및 추가
• 분할 및 조건부 분할
• 값 바꾸기 및 중복 제거
• 열 추가, 이름 바꾸기, 다시 정렬 또는 삭제
• 순위 및 백분율 계산기
• 상위 N 및 하위 N

2. 쿼리 창

쿼리 창에는 쿼리라고 하는 다양한 데이터 원본이 표시됩니다. 

 

3. 데이터 미리 보기 창
데이터 미리 보기 창에는 사용자가 수행해야 하는 변환과 이러한 변환이 데이터에 미치는 영향을 확인할 수 있는 데이터 하위 집합만 표시합니다. 또한 열을 끌어다 놓아 순서를 변경하거나 열을 마우스 오른쪽 단추로 클릭하여 필터링하거나 변경하여 미리 보기 창과 상호 작용할 수도 있습니다.

4. 쿼리 설정 창
쿼리 설정 창에는 주로 적용된 단계가 포함되어 있습니다. 수행하는 각 변환은 단계에 연결되며, 그 중 일부는 데이터 원본을 연결할 때 자동으로 적용됩니다. 변환의 복잡성에 따라 각 쿼리에 대해 여러 단계를 적용할 수 있습니다.

 

5. 고급 편집기를 통해 M 코드를 볼 수도 있습니다.

 

쿼리 설정 창에서 Lakehouse를 대상으로 설정할 수 있는 데이터 대상 필드를 볼 수 있습니다.