Illumina / IAP (分析平台)

Illumina / IAP (分析平台) === ###### tags: `Illumina`, `基因體`, `BaseSpace`, `系統架構` **目錄** [TOC] <hr> ## 系統架構圖 - 來源 [![](https://i.imgur.com/ldLBJ2j.jpg)](https://i.imgur.com/ldLBJ2j.jpg) [![](https://i.imgur.com/Jyr7EfT.jpg)](https://i.imgur.com/Jyr7EfT.jpg) (圖片來源：Twitter / [commonwl](https://twitter.com/commonwl) / [David Roberson](https://twitter.com/david_roberson/status/1187437867410362369)) - 上面這個投影片來自 [GA4GH 7th Plenary](https://broadinstitute.swoogo.com/ga4gh7thplenary/posters) - 2019/10/21~23 GA4GH 第7年度會議 - [購票資訊]( https://broadinstitute.swoogo.com/GA4GH7thPlenary) (門票：台幣5000多元) - [會議內容](https://broadinstitute.swoogo.com/ga4gh7thplenary/posters) [![](https://i.imgur.com/sRjyRHC.png)](https://i.imgur.com/sRjyRHC.png) - [會議紀錄 (影片)](https://www.youtube.com/watch?v=uzceh7mFiUA&list=PLXa1b5-MwOAYBxusC52TZAVlFqr2KuV7z&index=7) - 似乎沒有照會議內容的順序進行 - 最後沒找到 Illumina 那一片段，想說可以找到影片解說 ## 系統架構圖 - 導讀 - ### 標題 Title > Illumina’s secure, enterprise grade, and GA4GH compliant data platform > 具有高安全、企業規模等級，以及符合 GA4GH 的 Illumina 資料平台 - ### 共同作者 Co-authors - Pratik Soares, Charles Aylward, Claudia Dennler, Angel Pizarro - ### 摘要 Abstract > Here, we present a commercially supported GA4GH Workflow Execution Service (WES) API endpoint in Illumina's data platform. We demonstrate portability of a community developed workflow from Dockstore to the platform, as well as showcase sample-to-answer workflows leveraging DRAGEN and the TruSight Oncology 500 panel. > > - 在這裡，我們介紹一個在 Illumina 資料平台中有商業支援的 GA4GH 工作流程執行服務(WES) API 端點。 > - 從 Dockstore 到該資料平台中，我們展示了由一個社群所開發的工作流程之可移植性。 > - 以及利用 DRAGEN 和 TruSight Oncology 500 panel (TruSight 500 個癌症基因的熱點偵測區域) 展示從樣本到答案的工作流程 > (給予樣本，判斷有無這 500 個癌症基因變異) > - #### 換句話說 - Illumina 資料平台有支援 GA4GH 標準的 WES API 界面 - 可輕易由 Dockstore 移植到 Illumina 資料平台 - Illumina 已經建好可以偵測 500 個癌症基因變異的實驗流程，並透過 DRAGEN 加速執行 - #### 參考資料 - #### [Dockstore](https://docs.dockstore.org/en/develop/) - Dockstore 由 GA4GH 推出的開放平台 - 用於共享 Docker 相關的工具 - 並且這些工具是由「**通用工作流程語言(CWL)**」、「**工作流程描述語言(WDL)**」、或「**Nextflow(NFL)**」所描述 - #### TruSight Oncology 500 - [[均泰] TruSight Oncology 500 癌症免疫治療關聯基因評估套組](http://www.gtbiotech.com.tw/products/pd_TruSight_O500.asp?item14=,1) - 可分析多種癌症基因變異與免疫治療生物標記 - [[Illumina][臨床研究商品] TruSight Oncology 500](https://www.illumina.com.cn/products/by-type/clinical-research-products/trusight-oncology-500.html#productLongDescription) - 支援腫瘤樣本的全基因體圖譜分析 - 能鑑定出各種腫瘤類型中涉及的所有相關 DNA 與 RNA 變異 - [[Illumina][臨床研究商品] TruSight Oncology 500 文件說明](http://web.illumina.com.cn/landing/documents/application_area/cancer/trusight-oncology-500-data-sheet-1170-2018-010-chs-v1-web.pdf) <hr> # Illumina 資料平台 (Illumina's Data Platform) ## 概述 > Illumina's data platform is a global, secure, enterprise scaled, cost-effective platform fully managed by Illumina and accessible via APIs. These APIs will span the genomics workflow from lab management, to sequencing, to data analysis and interpretation, to data aggregation and querying for research. The platform combines Illumina sequencing and tools, such as DRAGEN, with community and commercial offerings, to enable a rich ecosystem of solutions for users. > > - Illumina 資料平台是一個全球化、安全性高、具有企業規模、高性價比的平台。 > - 該平台由 Illumina 完全管理，並且可透過 API 存取。 > - 這些 API 涵蓋了基因體工作流程，從實驗室管理到定序(一級分析)、到資料分析與變異解讀(二級分析)、到資料彙整與研究查詢(三級分析)，都可透過 API 存取。 > - 這個資料平台，將 Illumina 的定序和 DRAGEN 等工具與社群和商業產品相結合，為用戶提供多種解決方案的生態系統。 > ### 基因體工作流程圖 ![](https://i.imgur.com/oGFduct.png) | 流程(en) | 流程(cht) | 說明 | | -------- | -------- | -------- | | Assay Design | 分析設計 | - 使用 Illumina ADT (Assay Design Tool) 軟體設計實驗套組[^1] | | Sample Accessioning | 樣本登錄 | 樣本登錄到 Sequence Hub / LIMS | | Sample & Library Prep | 樣本＆基因庫製備 | 核酸萃取，並製成基因庫 | | Sequencing & Primary analysis | 定序＆一級分析 | 定序＆一級分析 | | Alignment & Variant Calling | 對齊＆變異位點偵測 | 二級分析 | | Variant Interpretation | 變異位點解讀 | 三級分析 | | Reporting | 報告 | 結果分析與提供報告 | | Data Aggregation | 資料聚合 | 將資料傳送到基因體資料儲存中心 - 事後資料檢索 - 供群體分析使用 | [^1]: Illumina ADT (Assay Design Tool) 軟體設計實驗套組取自：[國立臺灣大學 / 生物技術研究中心 / 基因型鑑定服務](https://cbt.ntu.edu.tw/course/service3/18) ### 資料平台中，各部位的角色 ![](https://i.imgur.com/LUhsX9H.png) - #### Apps | Apps 名稱 | 詳述 | | -------- | ---- | | **BSSH** | BaseSpace Sequence Hub BaseSpace 序列樞紐中心 ==整合定序工作流程的工具== | | **BSVI** | BaseSpace Variant Interpreter (BaseSpace 變異解析工具) ==識別人類基因體資料中有生物學意義的變異== | | **CA/CE** | Cohort Analyzer and Correlation Engine (CA/CE) 群體分析工具與關聯引擎 ==用於群體分析和組間比較的工具，並找出疾病與基因的關聯== | | **DesignStudio** | 設計套裝工具 ==定序試劑盒的設計工具== | | **Clarity LIMS** | Laboratory Information Management System (實驗室資訊管理系統) ==協助樣本/試劑追蹤、自動化工作流程，簡化實驗室運作== | - BSSH (BaseSpace™ Sequence Hub) > 在 BaseSpace Sequence Hub 中整合定序工作流程，其為用於資料分析、儲存和合作的 Illumina 基因組學計算環境。隨著進度執行，輸出檔案也會即時串流到環境當中。(資料來源：[NovaSeq 6000](https://emea.support.illumina.com/content/dam/illumina-support/documents/documentation/system_documentation/translations/novaseq-6000-system-guide-1000000019358-cht.pdf)) - BSVI (BaseSpace™ Variant Interpreter) > BaseSpace Variant Interpreter 可幫助遺傳實驗室快速辨識人類基因體資料中有生物學意義的變異。(資料來源：[BaseSpace Variant Interpreter](https://www.illumina.com/products/by-type/informatics-products/basespace-variant-interpreter.html)) - CA/CE (Cohort Analyzer / Correlation Engine) > 匯集大規模基因體資料，並解釋。提供了一個可靠、安全且可擴展的平台，用於群體定序應用。 > - CA 主要用於生物標記＆藥物的探索，以及臨床疾病與基因之間的關聯研究，相當於 GWAS(全基因體關聯分析)[[註]](https://www.illumina.com.cn/products/by-type/informatics-products/basespace-cohort-analyzer.html) > - CE 主要是透過「挖掘超過 2 萬件的基因體研究」，來獲取資料驅動的基因、實驗、藥物和基因表現型的結果 - DesignStudio > DesignStudio 是一個個人化、易於使用、基於 web 的定序試劑盒設計工具。DesignStudio 透過動態回饋來優化目標區域的覆蓋度，縮短設計客製項目所需的時間。(資料來源：[DesignStudio 測序分析設計工具](https://www.illumina.com.cn/informatics/research/experimental-design/designstudio.html)) - Clarity LIMS (Laboratory Information Management System) > Clarity 是 GenoLogics 的實驗室資訊管理系統，專為臨床或研究基因體學和質譜實驗室的需求而建立，旨在提供端到端的樣本追蹤、自動化、預配置工作流程和卓越的可用性。([來源](https://news.everydayhealth.com.tw/2014/10/24/12831)) > > 透過點對點樣本和試劑追蹤、協助自動化工作流程及整合式儀器操作，提升作業效率。(資料來源：[NovaSeq 6000](https://emea.support.illumina.com/content/dam/illumina-support/documents/documentation/system_documentation/translations/novaseq-6000-system-guide-1000000019358-cht.pdf)) > > Clarity LIMS 的起源： > [GenoLogics與Illumina簽署協定為HiSeq X Ten系統提供實驗室資訊系統](https://news.everydayhealth.com.tw/2014/09/14/11345) - #### Data Fabric (資料結構) [![](https://i.imgur.com/LUhsX9H.png)](https://i.imgur.com/LUhsX9H.png) - Data Fabric 的定義[[註]](https://www.facebook.com/zeronetech/posts/2443301975680189/) - 整合雲端和內部環境的資料管理 - 可以為內部環境和多種雲端環境，提供一致性管理 - Data Fabric 是混合雲的技術架構[[註]](https://www.kx.com.tw/data-fabric/)，能在不同雲端無縫連接不同的資料管理環境，合併成一個連貫的整體[[註]](https://www.kx.com.tw/file/repository/Data_Fabric.pdf)。 [![](https://i.imgur.com/3FNSWXo.png)](https://i.imgur.com/3FNSWXo.png) - #### SW and informatics OS (軟體＆資訊學作業系統) [![](https://i.imgur.com/LUhsX9H.png)](https://i.imgur.com/LUhsX9H.png) - **Illumina Instrument Software (Control and Firmware)** Illumina 儀器 / 底層的系統軟體（控制和韌體) (沒有涉及到資訊處理) - **Illumina Informatics Software / FPGA** Illumina 儀器 / 上層資訊軟體, FPGA (涉及到資訊處理) - #### 各部位的互動關係 [![](https://i.imgur.com/LUhsX9H.png)](https://i.imgur.com/LUhsX9H.png) - 底下 Apps 表示 BaseSpace 整個套裝軟體 - ##### Apps 可以連線： - 操控定序儀 (⇆底層的系統軟體) (就像辦公室裡的印表機，可以取消列印、重新列印、測試列印等) - 檢視定序儀的綜合結果(儀表板) (⇆上層的資訊軟體) (就像查看印表機的列印狀態、列印的歷史紀錄) - 控制定序儀的資料，將本地端的定序資料，直接上傳到 Illumina 後端的資料平台 - ##### 業界夥伴(Industry Patners) - 無法連線定序儀 - 只能存取 Illumina 後端的資料平台 - ##### ISV Developers - ISV: Individual Software Vendor, 獨立軟體供應商 - 可能是安裝在「定序儀」上面的應用程式(?) - 或是指 **FPGA** 用到的相關軟體套件，包括 map/align, VC, SV, CNV, RE 的軟體套件 [![](https://i.imgur.com/QZQpEBm.png)](https://i.imgur.com/QZQpEBm.png) [![](https://i.imgur.com/4qyfdxS.png)](https://i.imgur.com/4qyfdxS.png) ([圖片來源](https://basespace.illumina.com/apps/6840834/DRAGEN-Germline-Pipeline)) - #### platform service 上的元件 [![](https://i.imgur.com/Lgvy86a.png)](https://i.imgur.com/Lgvy86a.png) - ##### GDS, Genomic Data Store (基因體資料儲存) - Content-aware cloud file storage 具有內容感知的雲端檔案儲存 (file watcher?) - Granular access levels 詳細的存取階層 - ##### TES, Task Execution Service (任務執行服務) - Simplified compute infrastructure 簡易的計算基礎設施 - Docker-based tasks 跑在 docker 上的任務 - ##### WES, Workflow Execution Service (工作流程執行服務) - Workflow or process orchestration 工作流程或程序自動化 - GA4GH compilant 符合 GA4GH 規範 - ##### Event Notification Service (事件通知服務) - Real-time integration with platform 與平台即時整合 - Flexible delivery choices 靈活的傳遞選項 - ##### Genomics Lab Service (基因體學實驗室服務) - Genomics wet-lab toolkit 基因體學溼實驗室工具箱 - Sample tracking 樣本追蹤 - Instrument Performance Analytics 儀器效能分析 ## GA4GH > Illumina's data platform adheres to GA4GH specififcations for the Workflow Execution Service (WES) and will continue to align with GA4GH standards as they emerge. With GA4GH compliant APIs, the platform provides interoperability for submitting tools and workflows for data analysis. The platform provides a standard interface for submitting CWL-based workflows for execution on a distributed cloud infrastructure, and external software systems can utilize the standardized interface to run genomic anslysis applications without needing to conform to unique input and output data models. > > - Illumina 資料平台針對「工作執行流程(WES)」遵守 GA4GH 規範，並當 Illumina 資料平台不斷地推陳出新時，將持續與 GA4GH 標準保持一致。 > - 透過使用符合 GA4GH 標準的 API，該平台針對「上傳工具」與「資料分析的工作流程」提供互操作性。 > - 該平台提供一個**標準的界面**，用於上傳相容於 CWL、且能在分散式雲端基礎設施上執行的工作流程。 > - 外部的軟體系統可以利用標準化的界面來執行基因體分析應用程式，而無須遵循唯一的輸入與輸出資料模型。 > > In the diagram below, the CWL-based BAMstats tool stored in Dockstore is passed to the GA4GH-compiant WES API exposed by Illumina's data platform. The platform passes the job to the Kubernetes container orchestration layer, where it is assigned compute resources with a docker image for the container to use. Output files generated by the application are stored on a cloud-based file store for retrieval. > - 在下圖中，儲存在 Dockstore 中、相容於 CWL 的 BAMStat 工具，被傳遞到由 Illumina 資料平台公開的符合 GA4GH 之 WES API。 > - 該平台將任務傳遞到 K8S 容器編排層。在該層中，該任務被分配到帶有 Docker 映像檔的計算資源，並供容器使用。 > - 由應用程式生成的輸出檔案，儲存在雲端的檔案系統以供檢索。 > [![](https://i.imgur.com/e3tlvM3.jpg)](https://i.imgur.com/e3tlvM3.jpg) - 貨櫃圖示是 Dockstore 的 logo ![](https://i.imgur.com/9jua0TY.png) - ### 換句話說 - Illumina 資料平台支援 GA4GH 標準的 WES API 界面並提供一個互動式界面，可上傳相容於 CWL 的工作流程 - 用戶可以選擇遵循 GA4GH 的不同雲端平台來執行任務。 - Illumina 有遵循 GA4GH，Dockstore 的任務就可透過 Illumina 資料平台來執行。 - 當 Illumina 資料平台接收了一項任務 → 該任務會傳遞到 K8S 的編排層，由 K8S 來調度資源 → 由帶有 Docker 映像檔的容器來執行計算 → 執行基因體相關的程式 → 並將輸出的結果存放在雲端供檢索 # 額外的 WES 工作流程 (Additional WES Workflows) ## 端到端的腫瘤學解決方案 (E2E Oncology Solutions) > The platform enables comprehensive sample-to-answer software solutions for routine oncology companion diagnostic testing and tumor profiling with the ability for partner integrations. Through this model, the platform enables users to build comprehensive end-to-end solutions. > - 該資料平台可提供「從樣本到答案」的全面性軟體解決方案 > - 用於常規「腫瘤伴隨式診斷測試」和「腫瘤分析」 > - 並讓合作夥伴有整合此工作流程的能力 > - 透過此模型，該平台使用戶能夠建立全面的端到端解決方案。 - ### 換句話說 - [伴隨式診斷(Companion Diagnostics)](https://yourgene.pixnet.net/blog/post/118910747) - 針對特定藥物的「投藥前」診斷，藉以判斷患者是否適用該藥物。 - 癌症常規療法： - 手術切除、化療、放療(放射線治療) - 對於癌症常規療法，Illumina 資料平台提供： - 腫瘤樣本到報告產出的端到端解決方案。 [![](https://i.imgur.com/NBNwGpy.jpg)](https://i.imgur.com/NBNwGpy.jpg) ### 1: BaseSpace Clarity LIMS 1. 登錄樣本 (Accession Sample) (入庫樣本) 將樣本登入到基因組實驗室服務(Genomic Lab Service) (LIMS) ### 2-3-4流程: 應該是純粹做定序 2. 自動化執行溼實驗室實驗方法 (Automation executes wet lab protocols) - 像是 NeoPrep 3. 開始後續的定序流程 (Start post sequencing workflow) 4. 上傳定序資料 (Upload sequencing data) ### 2-3-4流程(定序) + 5-6-7流程 (後續的自動化分析流程) 5. 開始後續的定序流程 (Start post sequencing workflow) ==(註：主要是執行一級分析的流程)== 6. 執行自動化流程 (Execute pipeline) ==(註1：pipeline 與 workflow 詞彙用法，多半可以相通)== ==(註2：主要是執行 QC 與二級分析的流程)== ==(註3：流程中的每件任務，由 Task Execution Service)== #### WES 流程類型1：TSO500 Pipeline - TruSight Oncology 500 Panel - TruSight 500 個癌症基因的熱點偵測區域 - 這個產品展示了「從樣本到答案」的工作流程 (給予樣本，判斷有無存在這 500 個癌症基因變異) #### WES 流程類型2：一般 Pipeline - 品質控制 (QC) - 解多工，將定序結果合併 (Demultiplex) - 序列比對 (Alignment) - 變異位點偵測 (Variant calling) 7. 讀取輸入＆寫到輸出 (Read inputs & write outputs) - Interpretation & Reporting tools 進行變異位點解讀(三級分析)＆執行報表生成工具 - Read inputs & write outputs 從資料暫存區讀取分析結果並將結果寫到「基因體資料儲存 (Genomic Data Store)」 ### 不管手動還是自動，最後產生報告結果 8. 繼續額外的報告解讀，且/或回傳最終的報告結果 (Continue with additional interpretation and/or return final report) ### Event Notification Service (ENS) - 工作流程執行服務 (Workflow Execution Service, WES) - 任務執行服務 (Task Execution Service, TES) - 不管是 WES 還是 TES，兩者皆可以提供即時狀態更新 (provide real time status updates) ## DRAGEN through CWL and ISL - DRAGEN - Dynamic Read Analysis for GENomics 基因體動態讀取分析 - [NGS 二級分析生物資訊平台](http://www.gtbiotech.com.tw/products/Dragen.asp?item5=,1) > - DRAGEN™ 使用 FPGA 加速晶片與 G3 數據壓縮技術 > - 可快速且大量平行運算定序資料 > - 25分鐘即可完成分析一個人類全基因體 > - 應用範圍 > - DRAGEN™ 可分析全基因體定序(Whole Genome Sequencing, WGS) > - 全外顯子定序(Whole Exome Sequencing, WES) > - 核醣核酸定序(RNA Sequencing, RNA-seq)等。 - CWL - Common Workflow Language 通用工作流程語言 - ISL - Illumina State language Illumina 狀態語言 > DRAGEN support is baked into the platform - making it easy to chain DRAGEN tasks with a larger pipeline. This workflow launches DRAGEN with the Illumina States Language through the Illumina WES APIs or with CWL and Illumina GA4GH compliant WES APIs. > - DRAGEN 的支援，已整合到 Illumina 平台 > - 因此，可以輕鬆地將 DRAGEN 任務與更大的工作流程串接。 > - 這個工作流程透過 - Illumina WES APIs - 或是使用 CWL 和 Illumina API 中與 GA4GH 相容的 WES APIs > 使用 Illumina 狀態語言來啟動 DRAGEN [![](https://i.imgur.com/rUGFtxE.jpg)](https://i.imgur.com/rUGFtxE.jpg) - ##### GDS, Genomic Data Store (基因體資料儲存) - Content-aware cloud file storage 具有內容感知的雲端檔案儲存 (file watcher?) - Granular access levels 詳細的存取階層 - ##### ENS, Event Notification Service (事件通知服務) - Real-time integration with platform 與平台即時整合 - Flexible delivery choices 靈活的傳遞選項 - ##### TES, Task Execution Service (任務執行服務) - Simplified compute infrastructure 簡易的計算基礎設施 - Docker-based tasks 跑在 docker 上的任務 - ##### WES, Workflow Execution Service (工作流程執行服務) - Workflow or process orchestration 工作流程或程序自動化 - GA4GH compilant 符合 GA4GH 規範 [![](https://i.imgur.com/rUGFtxE.jpg)](https://i.imgur.com/rUGFtxE.jpg) 1. GDS - Create DGS Volume 建立 DGS 儲存空間，可能用於存放序列資料、執行結果、分析結果等 2. ENS - Create ENS subscription for task completeion events 為了任務完成事件，建立 ENS 事件的訂閱 3. TES - DRAGEN mapping, calling Parent1 DRAGEN 映射，呼叫任務1 - DRAGEN mapping, calling Parent2 DRAGEN 映射，呼叫任務2 - DRAGEN mapping, calling Proband(呼叫工作流程發起者) DRAGEN 映射，呼叫任務1＆任務2的發起者(?) 4. 等待結果 - Poll for DRAGEN Parant1 completion 排隊等待 DRAGEN 任務1 的完成 - Poll for DRAGEN Parant2 completion 排隊等待 DRAGEN 任務2 的完成 - Poll for DRAGEN Proband completion 排隊等待 DRAGEN 任務1＆2發起者的完成 5. TES - DRAGEN joint variant calling DRAGEN 參與執行「變異位點偵測」任務 6. 等待結果 - Poll for DRAGEN joint variant calling completion 排隊等待 DRAGEN 完成執行「變異位點偵測」任務 7. ENS - Delete ENS subscription 刪除 ENS 事件訂閱 # 群體基因體學 (Population Genomics) ## 群體基因體學參考架構(Population Genomics Reference Architecture) > The goal of the platform is to provide the infrastructure necessary to power a population-scale learning health system. Learning health systems support integration of genomics into clinical settings while simultaneously making genotype / phenotype data available for research and discovery and rapidly integrating insights and discoveries back into the clinic. The infrastructure provides the federation and analytical capability needed for rich data solutions - interoperable with other GA4GH APIs, compliant with local regulations, and enabling a data exchange. > > - Illumina 平台的目標是為了推動群體規模的「學習型健康照護系統(LHS)」前進，提供所需的基礎設施。 > - 學習型健康照護系統支援將基因體學整合到臨床環境中，同時使基因型/表現型資料可用於研究和發現，並將見解和發現迅速整合回臨床。 > - 該基礎設施提供了豐富的資料解決方案所需的聯合和分析功能： > - 可與其他 GA4GH API 互操作 > - 遵守當地法規 > - 允許資料交換 - ### 換句話說 - 為了推動「學習型健康照護系統(LHS)」，Illumina 推出相關的基礎設施 - 學習型健康照護系統，可將「基因體學知識」和「臨床環境資料」互相整合 - 該基礎設施，亦可與其他 GA4GH API 互操作，並遵守當地法規 [![](https://i.imgur.com/vqvzt90.png)](https://i.imgur.com/vqvzt90.png) - ### 診所 (Clinic) [![](https://i.imgur.com/ussPePj.png)](https://i.imgur.com/ussPePj.png) - 電子健康紀錄 (Electronic Health Record, EHR) - 檢驗順序 (Test Ordering) :question: - 病患資訊 (Patient info) - 臨床報告 (Clinical Reports) - 研究同意入口網站(Research Consent Portal) - ### 定序實驗室 (Sequencing Lab) [![](https://i.imgur.com/cQm647x.png)](https://i.imgur.com/cQm647x.png) - Block1 - 測試 Raq 入口網站 (Test Raq Portal) :question: - 實驗室資訊管理系統 LIMS (Laboratory Information Management System) - 基因庫製備 (Library Prep) - 定序 (Sequencing) - 實驗室自動化 (Lab Automation) - Block2 - 分析工作平台 (Anslysis Workbench) - 執行品質控制 (Run QC) - 序列比對 (Alignment) - 變異變異位點偵測 (Variant Calling) - 分析品質控制 (Analysis QC) - 工作流程自動化 (Workflow Automation) - ### 臨床實驗室 (Clinical Lab) [![](https://i.imgur.com/y3Cem3y.png)](https://i.imgur.com/y3Cem3y.png) - 個案管理入口網站 (Case Management Portal) - 臨床工作平台 (Clinical Workbench) - 標註 (Annotation) - 過濾篩選 (Filtering) - 解讀 (Interpretation) - 產生報告 (Reporting) - Coration Portal (:question:) - 額外參考資料： [![](https://i.imgur.com/ZPqnC0t.png)](https://i.imgur.com/ZPqnC0t.png) (圖片來源：[AWS 基因组学解决方案](https://sides-share.s3.cn-north-1.amazonaws.com.cn/AWS+Webinar+2019/PDF/GATK+Best+Practices+On+AWS.pdf)) - ### 研究環境 (Research Environment) ![](https://i.imgur.com/NRKJfXd.png) - 資料交換 (Data Exchange) - 資料目錄 (Data Catalog) [^datacatalog] - 資料使用與存取 (Data Use & Access) - 研究工作平台 (Research Workbench) - 工作區 (Workspaces) - 工具與工作流程 (Tools & Workflows) - 研究資料輸出 (Research Data Outputs) [^datacatalog]: Data Catalog > 可視為「資料探索服務」 > > 在 Google Cloud 中，Data Catalog 是全代管的中繼資料管理服務，可簡化任何規模的資料探索作業，不需特別設定或管理基礎架構。 - ### 資料環境 (Data Environment) ![](https://i.imgur.com/lIE04Cl.png) - PHI Store (:question:) - 資料儲存 (Data Stores) - 表現型儲存 (Phenotype Store) - 基因體檔案儲存 (Genomic File Store) - 公開與私有知識庫 (Public & Private KB) - 彙整變異儲存 (Aggregate Variant Store) - ### 總覽 [![](https://i.imgur.com/vqvzt90.png)](https://i.imgur.com/vqvzt90.png) # 思考 - 為何需要 CWL (Common Workflow Language)? - Twitter / [commonwl](https://twitter.com/commonwl) / [status](https://twitter.com/commonwl/status/880020077306929152) https://youtu.be/86eY8xs-Vo8 {%youtube 86eY8xs-Vo8 %} - [「生資無價系列專題」- 如何寫出專業的生物資訊分析流程](https://medium.com/@chungtsai/468875223273) - 那什麼是 Workflow Language 呢？ > 簡單地說，就是另一種專門來串 Pipeline （也可以叫 Workflow）的 Language。 > > 之前，大家習慣用 Shell script 或 Script Language 直接來串 Pipeline，在移植到不同運算伺服器時，常常遇到不同 OS 版的函式庫版本不相容、Python 2 和 3 不相容、環境參數設定不同等問題而無法直接跑。 > > 目前枱面上有兩個主流的 Workflow Languages > - 一個叫 Common Workflow Language (CWL) > - 另一個叫 Workflow Description Language (WDL)