Grid Unesp - HackMD

# Grid Unesp https://www.ncc.unesp.br/gridunesp/docs/v2/perguntas_frequentes.html#como-faco-para-instalar-um-software-aplicacao-biblioteca-no-gridunesp [TOC] ### Como acessar ``` ssh monti@access2.grid.unesp.br ``` inserir senha. ### Como enviar arquivos para GridUnesp Não há sistema de backup, o que significa que em caso de falha irreparável, os dados estarão perdidos. O usuário deve tomar o cuidado para **mover os arquivos produzidos nos processamentos para um computador local**, deixando apenas os arquivos estritamente necessários para a realização das próximas simulações, contribuindo assim para a normalidade operacional do cluster. ``` scp test.data spock@access2.grid.unesp.br:/home/spock/. ``` # METAGENOMICA ### Envio arquivos No linux pessoal: * criar pasta chamada prova * Dentro da pasta “prova” criar uma pasta chamada “raw_reads” * Nela colocar duas amostras aleatórias zipadas (total de 4 arquivos - foward e reverse) * copiar caminho até pasta "prova" ``` pwd ``` /home/diolinux/Downloads/prova * no terminal pessoal passar pastas para GridUnesp ``` scp -r /home/diolinux/Downloads/prova monti@access.grid.unesp.br:/home/monti/. ``` * no GRidUnesp passar pastas para para linux pessoal scp monti@access2.grid.unesp.br:/home/monti/test.data . ### Instalar Miniconda * baixar Miniconda em linux pessoal [https://docs.conda.io/en/latest/miniconda.htmlbash Miniconda3-latest-Linux-x86_64.sh](https://) https://docs.conda.io/projects/conda/en/latest/user-guide/install/linux.html * passar para pasta em GridUnesp (comando em linux pessoal) `scp -r /home/diolinux/Downloads/Miniconda3-latest-Linux-x86_64.sh monti@access.grid.unesp.br:/home/monti/.` * em terminal GridUnesp ``` bash Miniconda3-latest-Linux-x86_64.sh ``` ### Instalar qiime * Criar qiime `conda create -n qiime` * Abrir qiime `source activate qiime` * Atuaizar conda `conda update -n base -c defaults conda` * Baixar wget `conda install wget` `conda env create -n qiime2-2021.4 --file qiime2-2021.4-py38-linux-conda.yml` * Verificar se instalou `conda activate qiime2-2021.4` #### *Anotações adicionais (possíveis soluções)* `module load anaconda3` `conda update conda` `conda init` ``` wget https://data.qiime2.org/distro/core/qiime2-2021.4-py38-linux-conda.yml conda env create -n qiime2-2021.4 --file qiime2-2021.4-py38-linux-conda.yml ``` `conda create -n qiime` ## Análise com "prova" `qiime tools import --type 'SampleData[PairedEndSequencesWithQuality]' --input-path raw-reads/ --input-format CasavaOneEightSingleLanePerSampleDirFmt --output-path demux-paired-end.qza` criado demux-paired-end.qza ### Tirar primers (se não souber quais são não fazer ) `qiime cutadapt trim-paired --p-cores 7 --p-front-f CCTACGGG --p-front-r GACTAC --p-discard-untrimmed --output-dir primer_trimmed --i-demultiplexed-sequences demux-paired-end.qza` criado primer_trimmed/trimmed_sequences.qza `qiime demux summarize --i-data primer_trimmed/trimmed_sequences.qza --output-dir demux_summarize` criado demux_summarize/visualization.qzv `qiime tools export --input-path demux_summarize/visualization.qzv --output-path demux_summary` criado demux_summary * Visualizar demux summary > quality plot em terminal de linux pessoal : `scp -r monti@access2.grid.unesp.br:/home/monti/prova/demux_summary .` ![](https://i.imgur.com/laHKkPC.png) Based on the plots you see in demux.qzv, choose values for --p-trunc-len and --p-trim-left In the **demux.qzv** quality plots, we see that the quality of the initial bases seems to be high, so we won’t trim any bases from the beginning of the sequences. The quality seems to drop off around position 120, so we’ll truncate our sequences at 240 bases. ### Denoising geral: `qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza --p-trim-left-f 8 --p-trim-left-r 12 --p-trunc-len-f 250 --p-trunc-len-r 240 --p-trunc-q 3 --p-max-ee-f 3 --p-max-ee-r 5 --p-chimera-method pooled --p-pooling-method pseudo --p-min-fold-parent-over-abundance 10 --o-representative-sequences rep-seqs-dada2.qza --o-table asv-table.qza --o-denoising-stats dada_stat --p-n-threads 7 ` criado: asv-table.qza rep-seqs-dada2.qza dada_stat.qza > **precisa ver e estudar cada caso específico:** > se concentrar em p max ee-f e ee-r , p-trunc f e r > > qiime dada2 denoise-paired > –i-demultiplexed-seqs primer_trimmed/trimmed_sequences.qza --p-trim-left-f 0 > –p-trunc-len-f 250 > –p-trunc-len-r 240 > –p-trunc-q 3 > –p-max-ee-f 4 > –p-max-ee-r 5 > –p-chimera-method pooled > –p-pooling-method pseudo > –p-min-fold-parent-over-abundance 10 > –o-representative-sequences rep-seqs-dada2.qza > –o-table asv-table.qza - > -o-denoising-stats dada_stat > –p-n-threads 1 > > significado de cada comando de denoising > https://docs.qiime2.org/2021.8/plugins/available/dada2/denoise-paired/ > > como é comando > > https://github.com/qiime2/q2-dada2/blob/master/q2_dada2/_denoise.py > > algumas respostas > > https://forum.qiime2.org/t/dada2-denoise-paired-no-features-remaining/16630 * criar tabela qualidade denoising `qiime tools export --input-path dada_stat.qza --output-path dada_stat` criado directory dada_stat * tranferir dados para visualização (terminal pessoal) scp monti@access2.grid.unesp.br:/home/monti/prova/dada_stat/stats.tsv . exemplo de resultados pessoais: ![](https://i.imgur.com/gaNLYR4.png) comparar percentage of input passed filtred numeric com non-chimeric bom? 60% ou acima pode dar errado (partir para junção antes de denoising) - **a verificar** ##### Anotações pessoais (comandos que podem ajudar) * tranferir dados para visualização (terminal pessoal) scp monti@access2.grid.unesp.br:/home/monti/prova/asv-table.qza . scp monti@access2.grid.unesp.br:/home/monti/prova/dada_stat.qza . scp monti@access2.grid.unesp.br:/home/monti/prova/demux-paired-end.qza . scp monti@access2.grid.unesp.br:/home/monti/prova/rep-seqs-dada2.qza . site para ver resultados https://view.qiime2.org/ anotacoes Ilario file:///home/diolinux/Dropbox/qiime2%20copia.txt ## como instalar FLASH baixar arquivo para linux https://ccb.jhu.edu/software/FLASH/ fazer comandos ``` tar xzf FLASH-1.2.11.tar.gz cd FLASH-1.2.11 make ``` ### comandos feitos na da Amanda (sem denoising ) qiime tools import --type 'SampleData[PairedEndSequencesWithQuality]' --input-path raw-reads/ --input-format CasavaOneEightSingleLanePerSampleDirFmt --output-path demux-paired-end.qza qiime cutadapt trim-paired --p-cores 7 --p-discard-untrimmed --output-dir primer_trimmed --i-demultiplexed-sequences demux-paired-end.qza qiime demux summarize --i-data primer_trimmed/trimmed_sequences.qza --output-dir demux_summarize qiime tools export --input-path demux_summarize/visualization.qzv --output-path demux_summary qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza --o-table asv-table.qza --o-denoising-stats dada_stat --p-n-threads 7 qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza --p-trunc-len-f 250 --p-trunc-len-r 250 --p-trunc-q 3 --p-max-ee-f 10 --p-max-ee-r 10 --o-representative-sequences rep-seqs-dada2.qza --o-table asv-table.qza --o-denoising-stats dada_stat --p-n-threads 7 qiime tools export --input-path dada_stat.qza --output-path dada_stat qiime tools export --input-path dada2_table.qzv --output-path dada_statistic_feature qiime feature-classifier classify-consensus-vsearch --i-query rep-seqs-dada2.qza --i-reference-reads /home/amascanio/database/silva-138-99-seqs.qza --i-reference-taxonomy /home/amascanio/database/silva-138-99-tax.qza --p-threads 7 --o-classification taxonomy2 qiime taxa filter-table --i-table asv-table.qza --i-taxonomy taxonomy2.qza --p-exclude mitochondria,chloroplast,Unassigned --o-filtered-table table-no-mitochondria-no-chloroplast.qza qiime taxa filter-table --i-table asv-table.qza --i-taxonomy taxonomy2.qza --p-exclude Unassigned --o-filtered-table filtered_asv-table.qza qiime feature-table rarefy --i-table table-no-mitochondria-no-chloroplast.qza --p-sampling-depth 1 --o-rarefied-table asv-table-rare.qza qiime metadata tabulate --m-input-file taxonomy2.qza --o-visualization taxonomy.qzv qiime tools export --input-path taxonomy2.qza --output-path taxonomy qiime feature-table tabulate-seqs --i-data rep-seqs-dada2.qza --o-visualization dada2_rep_set.qzv qiime tools export --input-path dada2_rep_set.qzv --output-path rep_set qiime taxa barplot --i-table table-no-mitochondria-no-chloroplast.qza --i-taxonomy taxonomy2.qza --o-visualization plot --m-metadata-file metadata.tsv qiime tools export --input-path plot.qzv --output-path taxa_sum scp amasciano@access2.grid.unesp.br/home/amascanio/prova1/taxa_sum . ### microbiome analyst http://biom-format.org/ criar map.txt como map é #NAME Description 1J cecal 2J cecal 3J cecal 4J cecal 5J cecal 6J cecal 7J cecal 8J cecal 9J cecal 10J cecal http://qiime.org/scripts/make_otu_table.html ## comando jaqueline prova4**** qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza --p-trunc-len-f 250 --p-trunc-len-r 250 --p-trunc-q 3 --p-max-ee-f 20 --p-max-ee-r 20 --o-representative-sequences rep-seqs-dada2.qza --o-table asv-table.qza --o-denoising-stats dada_stat2 --p-n-threads 7