본문 바로가기

전체 글

 (77)
07. Spark에서 델타 테이블 작업 델타 테이블(또는 델타 형식 파일)을 사용하여 여러 가지 방법으로 데이터를 검색하고 수정할 수 있습니다. Spark SQL 사용 Spark의 델타 테이블에서 데이터를 다루는 가장 일반적인 방법은 Spark SQL을 사용하는 것입니다. spark.sql 라이브러리를 사용하여 다른 언어(예: PySpark 또는 Scala)에 SQL 문을 포함할 수 있습니다. 이전 포스팅에서 생성된 newtable 테이블에 행을 추가해봅니다. 2024.01.30 - [Microsoft Fabric/Fabric 실습 시리즈 1] - 15. Fabric의 Delta Lake spark.sql("INSERT INTO newtable VALUES (1, 'Widget', 'Accessories', 2.99)") Spark 작업 성공..
생성형 AI와 함께하는 Copilot Studio Copilot Studio Copilot Studio는 자연어 또는 그래픽 인터페이스를 사용하여 Copilot을 만들고 사용자 지정할 수 있는 엔드투엔드 대화형 AI 플랫폼입니다. 조직에서 Microsoft Copilot을 확장하거나 자체 Copilot을 구축할 수 있습니다. 이는 직관적인 Copilot 개발 스튜디오의 효율성과 LLM 및 생성형 AI를 결합한 것입니다. Power Virtual Agents(및 기타 Microsoft Power Platform 기술)를 기반으로 구축되고 IT 전문가와 제작자 모두의 요구 사항을 충족하도록 설계된 Copilot Studio는 Microsoft Azure OpenAI Studio, Azure Cognitive Services, Azure Bot Service..
monetize, proliferation, dominant monetize /ˈmʌnɪtaɪz/ 돈을 벌다. to earn money from something, especially a business or an asset Newspapers try to monetize their online content in several ways. proliferation 급증, 확산 the sudden increase in the number or amount of something; a large number of a particular thing attempts to prevent cancer cell proliferation a proliferation of personal computers dominant 우세한, 지배적인, 우성의 more important, p..
conventional, endorse conventional 관습적인, 극히 평범한 unconventional 1. (often disapproving) tending to follow what is done or considered acceptable by society in general; normal and ordinary, and perhaps not very interesting She's very conventional in her views. 2. [usually before noun] following what is traditional or the way something has been done for a long time It's not a hotel, in the conventional sense, but rather ..
resurgent, surpass resurgent 다시 유행하는, 기승을 부리는 becoming stronger or more popular again a resurgent economy resurgent nationalism surpass 능가하다, 뛰어넘다 to do or be better than somebody/something He hopes one day to surpass the world record. Its success has surpassed all expectations.
06. Fabric의 Delta Lake 1. Delta Lake 이해 Delta Lake는 Spark 기반 데이터 레이크 처리에 관계형 데이터베이스 의미 체계를 추가하는 오픈 소스 스토리지 계층입니다. Microsoft Fabric 레이크하우스의 테이블은 Delta 테이블로, 레이크하우스 사용자 인터페이스의 테이블에 있는 삼각형 Delta(▴) 아이콘으로 표시됩니다. Delta 테이블은 Delta 형식으로 저장된 데이터 파일에 대한 스키마 추상화입니다. 각 테이블에 대해 레이크하우스는 Parquet 데이터 파일이 포함된 폴더와 트랜잭션 세부 정보가 JSON 형식으로 기록되는 _delta_Log 폴더를 저장합니다. Delta 테이블을 사용하면 쿼리 및 데이터 수정을 지원하는 관계형 테이블. Apache Spark를 사용하면 CRUD(만들기, 읽..
06. Apache Spark로 데이터 분석 연습하기 이전 포스팅을 참고하여 sales, products, customers 데이터를 가져옵니다. 2024.01.23 - [Microsoft Fabric/Fabric 실습 시리즈 1] - 05. Fabric 레이크하우스에 데이터 수집하기 05. Fabric 레이크하우스에 데이터 수집하기 기본 데이터 수집 방법 Fabric 레이크하우스에 데이터를 로드하는 여러 가지 방법이 있습니다. 업로드: 로컬 파일 또는 폴더를 레이크하우스에 업로드합니다. 그런 다음, 파일 데이터를 탐색 및 d365-powerbi.tistory.com 데이터 로드는 코드를 직접 작성하지 않아도 간단히 클릭해서 자동작성할 수 있습니다. data 폴더 아래 로드하고자 하는 파일 끝의 더보기 ... 를 클릭하여 데이터 로드를 클릭하고 Spark를..
05. Spark Notebook에서 데이터 시각화 Microsoft Fabric의 Notebook은 사용자 인터페이스에서 몇 가지 기본 차트 기능을 제공하며, 해당 기능이 필요한 기능을 제공하지 않는 경우 많은 Python 그래픽 라이브러리 중 하나를 사용하여 Notebook에서 데이터 시각화를 만들고 표시할 수 있습니다. 기본 제공 Notebook 차트 사용 Spark Notebook에서 데이터 프레임을 표시하거나 SQL 쿼리를 실행하면 결과가 코드 셀 아래에 표시됩니다. 코드를 실행한 결과에서 Chart 탭을 클릭하고 View options 아이콘을 클릭하면 다음과 같이 차트를 커스터마이징할 수도 있습니다. 차트 종류는 다음 10가지가 가능합니다. Bar chart Line chart Column chart Area chart Pie chart Sc..

티스토리툴바