본문 바로가기

전체

 (87)
01. Apache Spark 사용 설정하기 Apache Spark는 대규모 데이터 처리 및 분석을 위한 오픈 소스 병렬 처리 프레임워크입니다. Spark는 “빅 데이터” 처리 시나리오에서 널리 사용되고 있으며 Azure HDInsight, Azure Databricks, Azure Synapse Analytics, Microsoft Fabric 등 여러 플랫폼 구현에서 사용할 수 있습니다. 간단히 말해서 Spark는 여러 컴퓨터에 작업을 분산하여 대량의 데이터를 신속하게 처리하는 “분할 및 정복” 접근 방식을 사용합니다. 작업을 배포하고 결과를 정렬하는 프로세스는 Spark에서 처리합니다. SparkContext라는 클러스터 관리 개체를 사용하여 Spark 클러스터에서 처리 배포를 관리하는 드라이버 프로그램을 시작하는 일부 코드 형식으로 데이터 ..
05. 레이크하우스에서 보고서 만들기 레이크하우스에 생성된 테이블은 Power BI의 데이터 모델을 정의하는 기본 데이터 세트 자동으로 추가됩니다. 따라서 레이크하우스의 테이블에서 Power BI 보고서를 바로 만들 수 있습니다. 1. SQL 분석 엔드포인트 모드의 하단에서 모델 탭을 클릭하면 데이터세트의 데이터 모델 스키마가 표시됩니다. 2. 상단 메뉴에서 보고 탭을 선택합니다. 그런 다음 "새 보고서" 버튼을 선택합니다. 홈 탭에도 새 보고서 버튼이 동일하게 있습니다. 3. 오른쪽의 데이터 패널 에서 "sales" 테이블을 확장합니다. 그런 다음 Item과 Quantity필드를 선택합니다. (보고서 페이지 크기가 너무 작으므로 필터와 시각화 패널은 사용하지 않는 동안 접어두어도 됩니다.) 4. 시각화 패널을 열어서 묶은 가로 막대형 차트..
04. 레이크하우스에서 시각적 쿼리 만들기 시각적 쿼리 만들기 Power BI 경험이 있는 데이터 분석가는 파워 쿼리 기술을 적용하여 시각적 쿼리를 만들 수 있습니다. (페이지의 오른쪽 상단에서 레이크하우스에서 SQL 엔드포인트로 전환해야 시각적 쿼리를 사용할 수 있습니다. 이전 포스팅 참고 2024.01.23 - [Microsoft Fabric/Fabric 실습 시리즈 1] - 06. 레이크하우스에서 SQL 쿼리 사용하기 ) 1. 새 시각적 쿼리 단추를 클릭합니다. 2. Sales 테이블을 편집기 창으로 끌어옵니다. 테이블을 끌어다 놓으면 아래처럼 시각적 쿼리 편집창이 표시됩니다. 리본 메뉴에는 Power BI에서 익숙하게 사용했던 시각적 쿼리 단추가 배치되어 있으며, 1) 상단에는 쿼리 편집 단계가 표시됩니다. 단계 끝의 + 아이콘을 클릭하여..
03. 레이크하우스에서 SQL 쿼리 사용하기 레이크하우스를 만들고 그 안에 테이블을 정의하면 SQL 문을 사용하여 테이블을 쿼리할 수 있는 SQL 엔드포인트가 자동으로 생성됩니다. SQL을 사용하여 테이블 쿼리 1. 레이크하우스 페이지의 오른쪽 상단에서 레이크하우스에서 SQL 엔드포인트로 전환합니다. 그런 다음, SQL 쿼리 엔드포인트가 열릴 때까지 잠시 기다립니다. 2. 새 SQL 쿼리 단추를 사용하여 새 쿼리 편집기를 열고 다음 SQL 쿼리를 입력합니다. SELECT Item, SUM(Quantity * UnitPrice) AS Revenue FROM sales GROUP BY Item ORDER BY Revenue DESC; 3. ▷ Run 버튼을 사용하여 쿼리를 실행하고 결과를 보면 각 제품의 총 수익이 표시됩니다.
02. 레이크하우스에 데이터 수집하기 기본 데이터 수집 방법 Fabric 레이크하우스에 데이터를 로드하는 여러 가지 방법이 있습니다. 업로드: 로컬 파일 또는 폴더를 레이크하우스에 업로드합니다. 그런 다음, 파일 데이터를 탐색 및 처리하고 결과를 테이블에 로드할 수 있습니다. 데이터 흐름(Gen2): Power Query Online을 사용하여 다양한 원본에서 데이터를 가져오고 변환하며 레이크하우스의 테이블에 직접 로드합니다. Notebooks: Fabric에서 Notebook을 사용하여 데이터를 수집, 변환하고 레이크하우스의 테이블 또는 파일에 로드합니다. Data Factory 파이프라인: 데이터를 복사하고 데이터 처리 작업을 오케스트레이션하여 결과를 레이크하우스의 테이블 또는 파일에 로드합니다. 바로 가기를 사용하여 데이터에 액세스 레..
01. 레이크하우스 만들기 Fabric 레이크하우스를 만드는 경로는 두 가지가 가능합니다. - Power BI ( https://app.powerbi.com/ )에서 작업영역을 선택하고 새로 만들기 - Fabric ( https://app.fabric.microsoft.com/ ) 에서 시작하기 1. Power BI 에서 시작하기 Fabric이 지원되는(또는 평가판 사용을 설정한) 작업영역을 선택합니다. Fabric 평가판 사용을 설정한 작업영역 만들기 상단의 "새로 만들기" 버튼에서 "추가 옵션"을 클릭합니다. 2. Fabric에서 시작하기 왼쪽 하단의 Fabric 아이콘을 클릭하고 Data Engineering을 클릭합니다. Fabric이 지원되는(또는 평가판 사용을 설정한) 작업영역을 선택합니다. Power BI를 통해서 들..
Fabric에서 Data Lakehouse 이해하기 ※ 필자는 포스팅하는 현재도 Data Warehouse, Data Lake, Data Factory의 구분이나 용도를 정확히 구분하지 못하고 있습니다. 따라서 본 포스팅은 Data Lakehouse에 대한 정확한 정의나 가이드를 위한 포스팅이 아님을 미리 밝힙니다. Data Lakehouse에 대한 정의에 대해서는 다른 전문가들의 견해와 의견을 참고하시기 바랍니다. http://cloudinsight.net/data/data-lakehouse/ Data Lakehouse에 대한 이해 - 클라우드 인사이트 많은 회사들이 Data Warehouse와 Data Lake를 병행하여 사용하면서 Data 중복이나 Data Lake Data의 권한관리에 대한 요구사항이 발생하는 경험을 하고 있다. 이를 해결하기 위해..
Microsoft Fabric 평가판 사용하기 1. 테넌트 설정에서 Fabric 사용 허용 관리자 권한이 있는 경우 Power BI 서비스의 오른쪽 위에 있는 설정 메뉴에서 관리 센터에 접속하고 테넌트 설정에서 Fabric을 사용하도록 설정합니다. 관리자는 전체 조직이나 Microsoft 365 또는 Microsoft Entra 보안 그룹을 기반으로 구성할 수 있는 특정 사용자 그룹이 패브릭을 사용할 수 있도록 할 수 있습니다. 관리자는 용량 수준에서 다른 사용자에게 Fabric을 사용하도록 설정하는 기능을 위임할 수도 있습니다. 2. Power BI 작업 영역에 프리미엄 용량 설정 (개인적인 의견이지만 현재 Power BI 온라인 서비스와 Fabric 서비스는 Power BI 온라인 서비스 상에 같이 있는 것처럼 보입니다. 나중에 분리될 지는 모르..

티스토리툴바