---
# System prepended metadata

title: Grid Unesp

---


# Grid Unesp 

https://www.ncc.unesp.br/gridunesp/docs/v2/perguntas_frequentes.html#como-faco-para-instalar-um-software-aplicacao-biblioteca-no-gridunesp

[TOC]

### Como acessar



```
ssh monti@access2.grid.unesp.br
```
inserir senha.
### Como enviar arquivos para GridUnesp

 Não há sistema de backup, o que significa que em caso de falha irreparável, os dados estarão perdidos.

O usuário deve tomar o cuidado para **mover os arquivos produzidos nos processamentos para um computador local**, deixando apenas os arquivos estritamente necessários para a realização das próximas simulações, contribuindo assim para a normalidade operacional do cluster.

```
scp test.data spock@access2.grid.unesp.br:/home/spock/.
```

# METAGENOMICA 

### Envio arquivos

No linux pessoal:

* criar pasta chamada prova 
* Dentro da pasta “prova” criar uma pasta chamada “raw_reads”
* Nela colocar duas amostras aleatórias zipadas (total de 4 arquivos - foward e reverse)
* copiar caminho até pasta "prova"

```
pwd
```
/home/diolinux/Downloads/prova

* no terminal pessoal passar pastas para GridUnesp

```
scp -r /home/diolinux/Downloads/prova monti@access.grid.unesp.br:/home/monti/.
```
* no GRidUnesp passar pastas para para linux pessoal

scp monti@access2.grid.unesp.br:/home/monti/test.data .


### Instalar Miniconda 

* baixar Miniconda em linux pessoal
 [https://docs.conda.io/en/latest/miniconda.htmlbash Miniconda3-latest-Linux-x86_64.sh](https://)
 
 https://docs.conda.io/projects/conda/en/latest/user-guide/install/linux.html
* passar para pasta em GridUnesp (comando em linux pessoal)
`scp -r /home/diolinux/Downloads/Miniconda3-latest-Linux-x86_64.sh monti@access.grid.unesp.br:/home/monti/.`
* em terminal GridUnesp
```
bash Miniconda3-latest-Linux-x86_64.sh
```

### Instalar qiime 

* Criar qiime
`conda create -n qiime`
* Abrir qiime 
`source activate qiime`
* Atuaizar conda 
`conda update -n base -c defaults conda`
* Baixar wget 
`conda install wget`

`conda env create -n qiime2-2021.4 --file qiime2-2021.4-py38-linux-conda.yml`

* Verificar se instalou 

`conda activate qiime2-2021.4`

#### *Anotações adicionais (possíveis soluções)*


`module load anaconda3`
`conda update conda`
`conda init`

```
wget https://data.qiime2.org/distro/core/qiime2-2021.4-py38-linux-conda.yml

conda env create -n qiime2-2021.4 --file qiime2-2021.4-py38-linux-conda.yml
```

`conda create -n qiime`

## Análise com "prova"

`qiime tools import --type 'SampleData[PairedEndSequencesWithQuality]' --input-path raw-reads/ --input-format CasavaOneEightSingleLanePerSampleDirFmt --output-path demux-paired-end.qza`


criado demux-paired-end.qza


### Tirar primers (se não souber quais são não fazer )


`qiime cutadapt trim-paired --p-cores 7 --p-front-f CCTACGGG --p-front-r GACTAC --p-discard-untrimmed --output-dir primer_trimmed --i-demultiplexed-sequences demux-paired-end.qza`

criado primer_trimmed/trimmed_sequences.qza


`qiime demux summarize --i-data primer_trimmed/trimmed_sequences.qza --output-dir demux_summarize`

criado demux_summarize/visualization.qzv

`qiime tools export --input-path demux_summarize/visualization.qzv --output-path demux_summary`

criado demux_summary

* Visualizar demux summary > quality plot 

em terminal de linux pessoal :

`scp -r monti@access2.grid.unesp.br:/home/monti/prova/demux_summary .`

![](https://i.imgur.com/laHKkPC.png)

Based on the plots you see in demux.qzv, choose  values  for --p-trunc-len and --p-trim-left
In the **demux.qzv** quality plots, we see that the quality of the initial bases seems to be high, so we won’t trim any bases from the beginning of the sequences. The quality seems to drop off around position 120, so we’ll truncate our sequences at 240 bases.


 ### Denoising  

geral: 

`qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza --p-trim-left-f 8 --p-trim-left-r 12 --p-trunc-len-f 250 --p-trunc-len-r 240 --p-trunc-q 3 --p-max-ee-f 3 --p-max-ee-r 5 --p-chimera-method pooled --p-pooling-method pseudo --p-min-fold-parent-over-abundance 10 --o-representative-sequences rep-seqs-dada2.qza --o-table asv-table.qza --o-denoising-stats dada_stat --p-n-threads 7 `

criado:

asv-table.qza
rep-seqs-dada2.qza
dada_stat.qza

> **precisa ver e estudar cada caso específico:**
>  se concentrar em p max ee-f e ee-r , p-trunc f e r 
> 
> qiime dada2 denoise-paired
> –i-demultiplexed-seqs primer_trimmed/trimmed_sequences.qza --p-trim-left-f 0
> –p-trunc-len-f 250
> –p-trunc-len-r 240
> –p-trunc-q 3
> –p-max-ee-f 4
> –p-max-ee-r 5
> –p-chimera-method pooled
> –p-pooling-method pseudo
> –p-min-fold-parent-over-abundance 10
> –o-representative-sequences rep-seqs-dada2.qza
> –o-table asv-table.qza -
> -o-denoising-stats dada_stat
> –p-n-threads 1
> 
> significado de cada comando de denoising
> https://docs.qiime2.org/2021.8/plugins/available/dada2/denoise-paired/
> 
> como é comando 
> 
> https://github.com/qiime2/q2-dada2/blob/master/q2_dada2/_denoise.py
> 
> algumas respostas
> 
> https://forum.qiime2.org/t/dada2-denoise-paired-no-features-remaining/16630



* criar tabela qualidade denoising 

`qiime tools export --input-path dada_stat.qza --output-path dada_stat`

criado directory dada_stat

* tranferir dados para visualização (terminal pessoal)

scp monti@access2.grid.unesp.br:/home/monti/prova/dada_stat/stats.tsv .

exemplo de resultados pessoais:

![](https://i.imgur.com/gaNLYR4.png)
comparar percentage of input passed filtred numeric com non-chimeric 
bom? 60% ou acima 

pode dar errado (partir para junção antes de denoising) - **a verificar**






##### Anotações pessoais (comandos que podem ajudar)

* tranferir dados para visualização (terminal pessoal)

scp monti@access2.grid.unesp.br:/home/monti/prova/asv-table.qza .

scp monti@access2.grid.unesp.br:/home/monti/prova/dada_stat.qza .


scp monti@access2.grid.unesp.br:/home/monti/prova/demux-paired-end.qza .

scp monti@access2.grid.unesp.br:/home/monti/prova/rep-seqs-dada2.qza .

site para ver resultados 

https://view.qiime2.org/

anotacoes Ilario
file:///home/diolinux/Dropbox/qiime2%20copia.txt

## como instalar FLASH

baixar arquivo para linux
https://ccb.jhu.edu/software/FLASH/

fazer comandos 
```
tar xzf FLASH-1.2.11.tar.gz
cd FLASH-1.2.11
make
```
### comandos feitos na da Amanda (sem denoising )

qiime tools import --type 'SampleData[PairedEndSequencesWithQuality]' --input-path raw-reads/ --input-format CasavaOneEightSingleLanePerSampleDirFmt --output-path demux-paired-end.qza

qiime cutadapt trim-paired --p-cores 7 --p-discard-untrimmed --output-dir primer_trimmed --i-demultiplexed-sequences demux-paired-end.qza

qiime demux summarize --i-data primer_trimmed/trimmed_sequences.qza --output-dir demux_summarize

qiime tools export --input-path demux_summarize/visualization.qzv --output-path demux_summary

qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza  --o-table asv-table.qza --o-denoising-stats dada_stat --p-n-threads 7 

 qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza --p-trunc-len-f 250 --p-trunc-len-r 250 --p-trunc-q 3 --p-max-ee-f 10 --p-max-ee-r 10 --o-representative-sequences rep-seqs-dada2.qza --o-table asv-table.qza --o-denoising-stats dada_stat --p-n-threads 7
 
 
qiime tools export --input-path dada_stat.qza --output-path dada_stat


qiime tools export --input-path dada2_table.qzv --output-path dada_statistic_feature

qiime feature-classifier classify-consensus-vsearch --i-query rep-seqs-dada2.qza --i-reference-reads /home/amascanio/database/silva-138-99-seqs.qza --i-reference-taxonomy /home/amascanio/database/silva-138-99-tax.qza --p-threads 7 --o-classification taxonomy2


qiime taxa filter-table --i-table asv-table.qza --i-taxonomy taxonomy2.qza --p-exclude mitochondria,chloroplast,Unassigned --o-filtered-table table-no-mitochondria-no-chloroplast.qza


qiime taxa filter-table --i-table asv-table.qza --i-taxonomy taxonomy2.qza --p-exclude Unassigned --o-filtered-table filtered_asv-table.qza



qiime feature-table rarefy --i-table table-no-mitochondria-no-chloroplast.qza --p-sampling-depth 1 --o-rarefied-table asv-table-rare.qza

qiime metadata tabulate --m-input-file taxonomy2.qza --o-visualization taxonomy.qzv

qiime tools export --input-path taxonomy2.qza --output-path taxonomy

qiime feature-table tabulate-seqs --i-data rep-seqs-dada2.qza --o-visualization dada2_rep_set.qzv

qiime tools export --input-path dada2_rep_set.qzv --output-path rep_set

qiime taxa barplot --i-table table-no-mitochondria-no-chloroplast.qza --i-taxonomy taxonomy2.qza --o-visualization plot --m-metadata-file metadata.tsv

qiime tools export --input-path plot.qzv --output-path taxa_sum

scp amasciano@access2.grid.unesp.br/home/amascanio/prova1/taxa_sum .

### microbiome analyst


http://biom-format.org/


criar map.txt

como map é

#NAME Description
1J    cecal
2J    cecal
3J    cecal
4J    cecal
5J    cecal
6J    cecal
7J    cecal
8J    cecal
9J    cecal
10J   cecal

http://qiime.org/scripts/make_otu_table.html
















## comando jaqueline prova4****

qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza --p-trunc-len-f 250 --p-trunc-len-r 250 --p-trunc-q 3 --p-max-ee-f 20  --p-max-ee-r 20 --o-representative-sequences rep-seqs-dada2.qza --o-table asv-table.qza --o-denoising-stats dada_stat2 --p-n-threads 7