본문 바로가기

전체

(87)
02. Data Factory 데이터 복사 작업 Fabric을 사용하도록 설정한 작업 영역에 들어갑니다. Fabric 작업영역 설정은 기존 포스팅을 참고하시면 됩니다. 2024.01.22 - [Microsoft Fabric/Fabric 실습 시리즈 1] - 02. Microsoft Fabric 평가판 사용하기 상단의 새로 만들기를 클릭하여 데이터 파이프라인을 선택합니다. 새 파이프라인의 이름을 지정하고 만들기를 클릭합니다. 파이프라인 화면 중앙에 데이터 복사를 클릭하고 데이터 복사 도우미를 사용하여 데이터 복사 작업을 구성할 수 있습니다. 또는 "활동" 탭에서 "데이터 복사" 버튼을 클릭하여 "캔버스에 추가"를 클릭하면 캔버스에서 해당 작업을 선택하고 아래 창에서 해당 설정을 편집할 수 있습니다. 다음과 같은 다양한 데이터 원본 연결이 지원됩니다. 변..
01. Fabric Data Factory 파이프라인 데이터 파이프라인은 일반적으로 하나 이상의 원본에서 데이터를 추출하고 대상에 로드하며 종종 그 과정에서 데이터를 변환함으로써 전체 프로세스를 오케스트레이션하는 일련의 작업을 의미합니다. 파이프라인은 일반적으로 운영 데이터 저장소에서 레이크하우스 또는 데이터 웨어하우스와 같은 분석 데이터 저장소로 트랜잭션 데이터를 수집하는 ETL(추출, 변환 및 로드) 프로세스를 자동화하는 데 사용됩니다. Microsoft Fabric의 파이프라인 Microsoft Fabric의 파이프라인은 데이터 이동 및 처리 태스크를 수행하는 일련의 활동을 집약합니다. - 데이터 전송 및 변환 활동을 정의하고 - 분기, 반복 및 기타 일반적인 처리 논리를 관리하고 - 이러한 활동을 오케스트레이션할 수 있습니다. Fabric의 파이프라..
08. 스트리밍 데이터에 델타 테이블 사용 Delta Lake는 스트리밍 데이터를 지원합니다. 델타 테이블을 사용해서 가상의 IoT 디바이스의 스트리밍 데이터를 싱크해 봅니다. from notebookutils import mssparkutils from pyspark.sql.types import * from pyspark.sql.functions import * # 폴더 생성하기 inputPath = 'Files/streamdata/' mssparkutils.fs.mkdirs(inputPath) # 폴더에서 데이터 조회해서 스트림 생성하기 jsonSchema = StructType([ StructField("device", StringType(), False), StructField("status", StringType(), False) ])..
07. Spark에서 델타 테이블 작업 델타 테이블(또는 델타 형식 파일)을 사용하여 여러 가지 방법으로 데이터를 검색하고 수정할 수 있습니다. Spark SQL 사용 Spark의 델타 테이블에서 데이터를 다루는 가장 일반적인 방법은 Spark SQL을 사용하는 것입니다. spark.sql 라이브러리를 사용하여 다른 언어(예: PySpark 또는 Scala)에 SQL 문을 포함할 수 있습니다. 이전 포스팅에서 생성된 newtable 테이블에 행을 추가해봅니다. 2024.01.30 - [Microsoft Fabric/Fabric 실습 시리즈 1] - 15. Fabric의 Delta Lake spark.sql("INSERT INTO newtable VALUES (1, 'Widget', 'Accessories', 2.99)") Spark 작업 성공..
생성형 AI와 함께하는 Copilot Studio Copilot Studio Copilot Studio는 자연어 또는 그래픽 인터페이스를 사용하여 Copilot을 만들고 사용자 지정할 수 있는 엔드투엔드 대화형 AI 플랫폼입니다. 조직에서 Microsoft Copilot을 확장하거나 자체 Copilot을 구축할 수 있습니다. 이는 직관적인 Copilot 개발 스튜디오의 효율성과 LLM 및 생성형 AI를 결합한 것입니다. Power Virtual Agents(및 기타 Microsoft Power Platform 기술)를 기반으로 구축되고 IT 전문가와 제작자 모두의 요구 사항을 충족하도록 설계된 Copilot Studio는 Microsoft Azure OpenAI Studio, Azure Cognitive Services, Azure Bot Service..
monetize, proliferation, dominant monetize /ˈmʌnɪtaɪz/ 돈을 벌다. to earn money from something, especially a business or an asset Newspapers try to monetize their online content in several ways. proliferation 급증, 확산 the sudden increase in the number or amount of something; a large number of a particular thing attempts to prevent cancer cell proliferation a proliferation of personal computers dominant 우세한, 지배적인, 우성의 more important, p..
conventional, endorse conventional 관습적인, 극히 평범한 unconventional 1. (often disapproving) tending to follow what is done or considered acceptable by society in general; normal and ordinary, and perhaps not very interesting She's very conventional in her views. 2. [usually before noun] following what is traditional or the way something has been done for a long time It's not a hotel, in the conventional sense, but rather ..
resurgent, surpass resurgent 다시 유행하는, 기승을 부리는 becoming stronger or more popular again a resurgent economy resurgent nationalism surpass 능가하다, 뛰어넘다 to do or be better than somebody/something He hopes one day to surpass the world record. Its success has surpassed all expectations.