# Grid Unesp

https://www.ncc.unesp.br/gridunesp/docs/v2/perguntas_frequentes.html#como-faco-para-instalar-um-software-aplicacao-biblioteca-no-gridunesp

[TOC]

### Como acessar

ssh [e-mail]

inserir senha.
### Como enviar arquivos para GridUnesp

Não há sistema de backup, o que significa que em caso de falha irreparável, os dados estarão perdidos.

O usuário deve tomar o cuidado para **mover os arquivos produzidos nos processamentos para um computador local**, deixando apenas os arquivos estritamente necessários para a realização das próximas simulações, contribuindo assim para a normalidade operacional do cluster.

scp test.data [e-mail]:/home/spock/.

# METAGENOMICA

### Envio arquivos

No linux pessoal:

* criar pasta chamada prova
* Dentro da pasta “prova” criar uma pasta chamada “raw_reads”
* Nela colocar duas amostras aleatórias zipadas (total de 4 arquivos - foward e reverse)
* copiar caminho até pasta "prova"

pwd

/home/diolinux/Downloads/prova

* no terminal pessoal passar pastas para GridUnesp

scp -r /home/diolinux/Downloads/prova [e-mail]:/home/monti/.

* no GRidUnesp passar pastas para para linux pessoal

scp [e-mail]:/home/monti/test.data .

### Instalar Miniconda

* baixar Miniconda em linux pessoal
[https://docs.conda.io/en/latest/miniconda.htmlbash Miniconda3-latest-Linux-x86_64.sh](https://)

https://docs.conda.io/projects/conda/en/latest/user-guide/install/linux.html
* passar para pasta em GridUnesp (comando em linux pessoal)
`scp -r /home/diolinux/Downloads/Miniconda3-latest-Linux-x86_64.sh [e-mail]:/home/monti/.`
* em terminal GridUnesp

bash Miniconda3-latest-Linux-x86_64.sh

### Instalar qiime

* Criar qiime
`conda create -n qiime`
* Abrir qiime
`source activate qiime`
* Atuaizar conda
`conda update -n base -c defaults conda`
* Baixar wget
`conda install wget`

`conda env create -n qiime2-2021.4 --file qiime2-2021.4-py38-linux-conda.yml`

* Verificar se instalou

`conda activate qiime2-2021.4`

#### *Anotações adicionais (possíveis soluções)*

`module load anaconda3`
`conda update conda`
`conda init`

wget https://data.qiime2.org/distro/core/qiime2-2021.4-py38-linux-conda.yml

conda env create -n qiime2-2021.4 --file qiime2-2021.4-py38-linux-conda.yml

`conda create -n qiime`

## Análise com "prova"

`qiime tools import --type 'SampleData[PairedEndSequencesWithQuality]' --input-path raw-reads/ --input-format CasavaOneEightSingleLanePerSampleDirFmt --output-path demux-paired-end.qza`

criado demux-paired-end.qza

### Tirar primers (se não souber quais são não fazer )

`qiime cutadapt trim-paired --p-cores 7 --p-front-f CCTACGGG --p-front-r GACTAC --p-discard-untrimmed --output-dir primer_trimmed --i-demultiplexed-sequences demux-paired-end.qza`

criado primer_trimmed/trimmed_sequences.qza

`qiime demux summarize --i-data primer_trimmed/trimmed_sequences.qza --output-dir demux_summarize`

criado demux_summarize/visualization.qzv

`qiime tools export --input-path demux_summarize/visualization.qzv --output-path demux_summary`

criado demux_summary

* Visualizar demux summary > quality plot

em terminal de linux pessoal :

`scp -r [e-mail]:/home/monti/prova/demux_summary .`


Based on the plots you see in demux.qzv, choose values for --p-trunc-len and --p-trim-left
In the **demux.qzv** quality plots, we see that the quality of the initial bases seems to be high, so we won’t trim any bases from the beginning of the sequences. The quality seems to drop off around position 120, so we’ll truncate our sequences at 240 bases.

### Denoising

geral:

`qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza --p-trim-left-f 8 --p-trim-left-r 12 --p-trunc-len-f 250 --p-trunc-len-r 240 --p-trunc-q 3 --p-max-ee-f 3 --p-max-ee-r 5 --p-chimera-method pooled --p-pooling-method pseudo --p-min-fold-parent-over-abundance 10 --o-representative-sequences rep-seqs-dada2.qza --o-table asv-table.qza --o-denoising-stats dada_stat --p-n-threads 7 `

criado:

asv-table.qza
rep-seqs-dada2.qza
dada_stat.qza

> **precisa ver e estudar cada caso específico:**
> se concentrar em p max ee-f e ee-r , p-trunc f e r
>
> qiime dada2 denoise-paired
> –i-demultiplexed-seqs primer_trimmed/trimmed_sequences.qza --p-trim-left-f 0
> –p-trunc-len-f 250
> –p-trunc-len-r 240
> –p-trunc-q 3
> –p-max-ee-f 4
> –p-max-ee-r 5
> –p-chimera-method pooled
> –p-pooling-method pseudo
> –p-min-fold-parent-over-abundance 10
> –o-representative-sequences rep-seqs-dada2.qza
> –o-table asv-table.qza -
> -o-denoising-stats dada_stat
> –p-n-threads 1
>
> significado de cada comando de denoising
> https://docs.qiime2.org/2021.8/plugins/available/dada2/denoise-paired/
>
> como é comando
>
> https://github.com/qiime2/q2-dada2/blob/master/q2_dada2/_denoise.py
>
> algumas respostas
>
> https://forum.qiime2.org/t/dada2-denoise-paired-no-features-remaining/16630

* criar tabela qualidade denoising

`qiime tools export --input-path dada_stat.qza --output-path dada_stat`

criado directory dada_stat

* tranferir dados para visualização (terminal pessoal)

scp [e-mail]:/home/monti/prova/dada_stat/stats.tsv .

exemplo de resultados pessoais:

comparar percentage of input passed filtred numeric com non-chimeric
bom? 60% ou acima

pode dar errado (partir para junção antes de denoising) - **a verificar**

##### Anotações pessoais (comandos que podem ajudar)

* tranferir dados para visualização (terminal pessoal)

scp [e-mail]:/home/monti/prova/asv-table.qza .

scp [e-mail]:/home/monti/prova/dada_stat.qza .

scp [e-mail]:/home/monti/prova/demux-paired-end.qza .

scp [e-mail]:/home/monti/prova/rep-seqs-dada2.qza .

site para ver resultados

https://view.qiime2.org/

anotacoes Ilario
file:///home/diolinux/Dropbox/qiime2%20copia.txt

## como instalar FLASH

baixar arquivo para linux
https://ccb.jhu.edu/software/FLASH/

fazer comandos

tar xzf FLASH-1.2.11.tar.gz
cd FLASH-1.2.11
make

### comandos feitos na da Amanda (sem denoising )

qiime tools import --type 'SampleData[PairedEndSequencesWithQuality]' --input-path raw-reads/ --input-format CasavaOneEightSingleLanePerSampleDirFmt --output-path demux-paired-end.qza

qiime cutadapt trim-paired --p-cores 7 --p-discard-untrimmed --output-dir primer_trimmed --i-demultiplexed-sequences demux-paired-end.qza

qiime demux summarize --i-data primer_trimmed/trimmed_sequences.qza --output-dir demux_summarize

qiime tools export --input-path demux_summarize/visualization.qzv --output-path demux_summary

qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza --o-table asv-table.qza --o-denoising-stats dada_stat --p-n-threads 7

qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza --p-trunc-len-f 250 --p-trunc-len-r 250 --p-trunc-q 3 --p-max-ee-f 10 --p-max-ee-r 10 --o-representative-sequences rep-seqs-dada2.qza --o-table asv-table.qza --o-denoising-stats dada_stat --p-n-threads 7

qiime tools export --input-path dada_stat.qza --output-path dada_stat

qiime tools export --input-path dada2_table.qzv --output-path dada_statistic_feature

qiime feature-classifier classify-consensus-vsearch --i-query rep-seqs-dada2.qza --i-reference-reads /home/amascanio/database/silva-138-99-seqs.qza --i-reference-taxonomy /home/amascanio/database/silva-138-99-tax.qza --p-threads 7 --o-classification taxonomy2

qiime taxa filter-table --i-table asv-table.qza --i-taxonomy taxonomy2.qza --p-exclude mitochondria,chloroplast,Unassigned --o-filtered-table table-no-mitochondria-no-chloroplast.qza

qiime taxa filter-table --i-table asv-table.qza --i-taxonomy taxonomy2.qza --p-exclude Unassigned --o-filtered-table filtered_asv-table.qza

qiime feature-table rarefy --i-table table-no-mitochondria-no-chloroplast.qza --p-sampling-depth 1 --o-rarefied-table asv-table-rare.qza

qiime metadata tabulate --m-input-file taxonomy2.qza --o-visualization taxonomy.qzv

qiime tools export --input-path taxonomy2.qza --output-path taxonomy

qiime feature-table tabulate-seqs --i-data rep-seqs-dada2.qza --o-visualization dada2_rep_set.qzv

qiime tools export --input-path dada2_rep_set.qzv --output-path rep_set

qiime taxa barplot --i-table table-no-mitochondria-no-chloroplast.qza --i-taxonomy taxonomy2.qza --o-visualization plot --m-metadata-file metadata.tsv

qiime tools export --input-path plot.qzv --output-path taxa_sum

scp [e-mail]/home/amascanio/prova1/taxa_sum .

### microbiome analyst

http://biom-format.org/

criar map.txt

como map é

#NAME Description
1J cecal
2J cecal
3J cecal
4J cecal
5J cecal
6J cecal
7J cecal
8J cecal
9J cecal
10J cecal

http://qiime.org/scripts/make_otu_table.html

## comando jaqueline prova4****

qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza --p-trunc-len-f 250 --p-trunc-len-r 250 --p-trunc-q 3 --p-max-ee-f 20 --p-max-ee-r 20 --o-representative-sequences rep-seqs-dada2.qza --o-table asv-table.qza --o-denoising-stats dada_stat2 --p-n-threads 7