---
# System prepended metadata

title: Benchmarking truth set
tags: [Blog]

---

# Benchmarking truth set

當團隊開發一套新工具，要如何評估工具的準確度?這時需要一組可信度高的正確資料集來協助衡量(benhcmark)工具表現，以下介紹在人類基因體常用的資料集來源。


## GIAB 
[Genome In A Bottle Consotrium](https://www.nist.gov/programs-projects/genome-bottle) 由美國國家標準與技術研究所 (NIST) 主持的計畫，主要提供人類基因體相關的標準品與正確資料集(truth set):

標準品主要從NIGMS Human Genetic Cell Repository挑選cell line 來產生，共有7個樣本(HG001-HG007)，標準品的編號和族群、家族關係等整理如下表:

![image](https://hackmd.io/_uploads/Sk0cRiRNR.png)
(table collected from [Coriell Institute for medical research](https://www.coriell.org/1/NIGMS/Collections/NIST-Reference-Materials))


製作正確資料集首先需要不同定序平台與偵測工具的檔案來源、在生資分析上也需要做好品質篩選(QC)、變異的比對合併(merging)以及基因型計算(genotyping)過程可說耗費精力。GIAB不僅提供多個標準品的正確資料集，也致力於提供不同種變異類型/參考序列的資料集，目前官網有提到以下幾種:

> **Structural variants**: Currently available for HG002 on GRCh37 and in Challenging Medically Relevant Gene benchmark below
> 
> **Small variants** in more difficult regions: v4.2.1 is available for all 7 GIAB samples on GRCh37 and GRCh38 (manuscript).
> 
> **MHC**: Included in v4.2.1 small variant benchmark for HG001-HG007 (Manuscript describing MHC benchmark)
> 
> 273 Challenging Medically Relevant Genes small variant and SV benchmarks in HG002 and Preliminary benchmark for T2T-CHM13v1.0
> 
> v1.0 TR benchmark for HG002 indels and SVs >=5bp in **tandem repeats** on GRCh38 (preprint)
> 
> v1.0 XY benchmark for HG002 small variants in **chromosomes X and Y** on GRCh38 (preprint)

GIAB團隊以令人驚訝的速度前進，久沒關注竟然有針對tandem repeat跟性染色體的truth set，目前僅先釋出資料集給研究者，論文似乎還在preprint階段

附上去年11月 NIST 針對新釋出的benchmark truth set做的投影片介紹: https://www.slideshare.net/slideshow/2023-giab-amp-update/263498422

### 資料下載

如果想要truth set，可以直接從ftp網站找檔案下載使用: https://ftp-trace.ncbi.nlm.nih.gov/ReferenceSamples/giab/release/
或是去 GitHub 查看感興趣的標準品目前有沒有對應的 truth set: https://github.com/genome-in-a-bottle/giab_latest_release
兩個路徑都行，~~反正最後都會引導到相同的地方~~

實際找個HG002 SNV/indel GRCh38 truth set來看，透過層層資料夾點選，最終找到目標VCF檔:
![image](https://hackmd.io/_uploads/H1cnbRAVR.png)


如果想要看開源的標準品fastq, bam 等檔案，以拿來當作測試工具的input，可以至以下網站查詢: https://github.com/genome-in-a-bottle/giab_data_indexes

網站也是先依族群分標準品，然後分定序平台和檔案類型:

![image](https://hackmd.io/_uploads/rk4Rvj0VC.png)

## Somatic truth set
上述可能針對human germline variant 為主，而想做somatic caller benchmarking 的話該如何?最近找到[一個Biostar的討論](https://www.biostars.org/p/9558720/)，裡面有提到兩篇釋出somatic truth set的文章，一個是WGS, 一個針對panel，最近準備來讀:

> Fang, L.T., Zhu, B., Zhao, Y. et al. Establishing community reference samples, data and call sets for benchmarking cancer mutation detection using whole-genome sequencing. Nat Biotechnol 39, 1151–1160 (2021). https://doi.org/10.1038/s41587-021-00993-6

> Jones, W., Gong, B., Novoradovskaya, N. et al. A verified genomic reference sample for assessing performance of cancer panels detecting small variants of low allele frequency. Genome Biol 22, 111 (2021). https://doi.org/10.1186/s13059-021-02316-z


## 討論
過去在沒有資料及整合釋出前，會使用模擬資訊來作為正確答案；之後可能會使用同時具有WGS, WES等不同定序結果的樣本，透過不同層級的證據來驗證變異真實存在，或是使用sanger sequencing等實驗做驗證，但缺點為無法一次比較出結果，且驗證樣本的品質等因素也會影響評估結果。

若對truth set 流變和其他團隊製作的truth set感興趣的話，可閱讀2023年這篇 review paper:
> Majidian, S., Agustinho, D.P., Chin, CS. et al. Genomic variant benchmark: if you cannot measure it, you cannot improve it. Genome Biol 24, 221 (2023). https://doi.org/10.1186/s13059-023-03061-1

文章的corresonding author Fritz J. Sedlazeck 和 Medhat Mahmoud 都是 GIAB 的團隊領導，也參與美國許多定序計畫如All of US, T2T consortium 等

不過雖然說是truth set，其製作過程也是將不同平台與工具偵測的結果經由比對，篩選留下的consensus cell-set，若未來隨著定序技術進步，如PacBio, Nanopore等long-read定序資料占比提高，一定會有更多位點被偵測到，或是篩掉某些位點；另外不同參考序列的取捨，也會影響留在truth set的位點資訊，如從GRCh37 truth set 經由座標轉換(liftover)至 GRCh38 後，拿來benchmark GRCh38 detected test set 就會有一些潛在無法比對的區域，導致false positive 數量增加。

而有正確解答和代測檔案，就可以找做benchmarking的工具了，如 snv/indel比對的hap.py等，有機會可以寫一篇來介紹。

