#Manual Qiime2 - passos para analise Taxonomica
## Acessar Gridunesp
ssh [e-mail]

Para encontrar as pastas
ls
Abrir pasta
cd
Voltar uma pasta
cd ../
-r significa que e uma pasta
Para encontrar caminho da pasta
pwd

Baixar Miniconda
https://docs.conda.io/projects/conda/en/latest/user-guide/install/linux.html

Comando pessoal para passar Miniconda para GridUnesp (o comando tem que ser feito no terminal pessoal)
scp -r /home/qiime2/Downloads/Miniconda3-latest-Linux-x86_64.sh [e-mail]:/home/amascanio

2. Ativar o Miconda
bash Miniconda3-latest-Linux-x86_64.sh

3. Atualizar conda
conda update -n base -c defaults conda

4. Instalar wget
a. conda install wget
b. wget https://data.qiime2.org/distro/core/qiime2-2021.4-py38-linux-conda.yml
c. conda env create -n qiime2-2021.4 --file qiime2-2021.4-py38-linux-conda.yml
d. conda activate qiime2-2021.4

Para usar o quiime, precisa ativar o mesmo

conda activate qiime2-2021.4

5. Download das amostras (google Drive)
6. Criar pastas

a. dentro de documentos, criar pasta com nome prova.
b. dentros de prova, criar pasta com nome raw-reads.
7. No terminal pessoal criar o comando abaixo, para carregar todas as amostras presentes na pasta raw-reads.
scp -r /home/qiime2/Documents/prova/raw-reads/ [e-mail]:/home/amascanio

Apos instalacao do programa

PASSO A PASSO
1. Acessar Grid Unesp

ssh [e-mail]

como saber se estou no quiime? Se aparecer (base), significa que nao estou no quiime, para ativa-lo

2. Ativar quiime2 (no terminal do Grid)

para ativar o meu (apenas, 1 comando)

1.conda activate qiime2-2021.4

para ativar o da Jara (2 comandos)

1. source activate qiime
2. conda activate qiime2-2021.4
3. Para encontrar as amostras (no terminal do Grid)
4. Analise com prova

qiime tools import --type 'SampleData[PairedEndSequencesWithQuality]' --input-path raw-reads/ --input-format CasavaOneEightSingleLanePerSampleDirFmt --output-path demux-paired-end.qza

criado demux-paired-end.qza

esperar, pois, demora!

5. Primers (fazer esse passo, so se tiver essa informacao)

primers usados para minha amostra
região V3-V4 do 16SrRNA conforme protocolo da Illumina

V3-V4F: 5’ TCGTCGGCAGCGTCAGATGTGTATAAGAGACAGCCTACGGGNGGCWGCAG 3’

V3-V4R: 5’ GTCTCGTGGGCTCGGAGATGTGTATAAGAGACAGGACTACHVGGGTATCTAATCC 3’

a. primeiro comando

qiime cutadapt trim-paired --p-cores 7 --p-front-f CCTACGGG --p-front-r GACTAC --p-discard-untrimmed --output-dir primer_trimmed --i-demultiplexed-sequences demux-paired-end.qza

atencao!!! trocar a sequencia que vem apos--p-front-f e --p-front-r pelas usadas para o meu projeto. Incluir somente as letras, e nao precisa ser a porcao inteira (se basear na quantidade de letras que a Jara usou)

comando para as minhas amostras

qiime cutadapt trim-paired --p-cores 7 --p-front-f TCGTCGGC --p-front-r GTCTCC --p-discard-untrimmed --output-dir primer_trimmed --i-demultiplexed-sequences demux-paired-end.qza

p-cores 7 como se fosse 7 CPU ou maquinas trabalhando ao mesmo tempo (quanto maior o numero, mais rapido vai rodar)

Tentar com 7, caso fique rodando 1 dia e nao de certo, avisar a Jara. Pois, precisa entrar em contato com o pessoal da TI (pra aumentar esse numero)

criado primer_trimmed/trimmed_sequences.qza
dar ls
no terminal do Grid ira aparecer demux-paired-end.qza miniconda3 primer_trimmed qiime2-2021.4-py38-linux-conda.yml raw-reads

para andar mais rapido com a seta nos comandos Ctrl+C e a seta

b. segundo comando

qiime demux summarize --i-data primer_trimmed/trimmed_sequences.qza --output-dir demux_summarize

criado demux_summarize/visualization.qzv
dar ls pra ver se criou
no terminal do Grid ira aparecer demux_summarize miniconda3 primer_trimmed qiime2-2021.4-py38-linux-conda.yml raw-reads
a escreita em azul quer dizer que criou uma pasta

c. terceiro comando

qiime tools export --input-path demux_summarize/visualization.qzv --output-path demux_summary

criado demux_summary
dar ls
no terminal do Grid ira aparecerdemux_summarize demux_summary miniconda3 primer_trimmed qiime2-2021.4-py38-linux-conda.yml raw-reads

Passar pasta summary para o terminal pessoal, pois, precisamos visualizar e no terminal do GridUnesp nao e possivel

importante saber o caminho da pasta (no meu caso ficou diferente do que a Jara fez)

scp -r [e-mail]:/home/jaquelinegaliardo/demux_summary .

baixou no /home/qiime2
da proxima eu quero baixar em download

ls
cd Downloads/
/home/qiime2/Downloads

Da pasta demux_summary, abrir apenas quality plot

no eixo quality score ideal olhar ate 30.

d. quarto comando

Para ver percentage of input passed filtred numeric, na tabela dada_stat gerada

denoising

qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza --p-trim-left-f 8 --p-trim-left-r 12 --p-trunc-len-f 250 --p-trunc-len-r 240 --p-trunc-q 3 --p-max-ee-f 5 --p-max-ee-r 5 --p-chimera-method pooled --p-pooling-method pseudo --p-min-fold-parent-over-abundance 10 --o-representative-sequences rep-seqs-dada2.qza --o-table asv-table.qza --o-denoising-stats dada_stat --p-n-threads 7

criado
asv-table.qza
rep-seqs-dada2.qza
dada_stat.qza

criar tabela qualidade denoising

qiime tools export --input-path dada_stat.qza --output-path dada_stat

criado directory dada_stat

tranferir dados para visualização (terminal pessoal)

scp [e-mail]:/home/amascanio/dada_stat/stats.
Comparar percentage of input passed filtred numeric com non-chimeric. Percentual aceitavel (considerado bom) e de 60% ou acima

Se der abaixo de 60% uma opcao seria realizar a junção antes de denoising) - a verificar

SITE QIIME - TIRAR DUVIDAS E RELATAR PROBLEMAS

https://forum.qiime2.org/t/bad-quality-plot-quality/24448
Joined antes de qiime

a. baixar PRINSEQ no terminal pessoal (semelhante ao FLASH, porém usado para cortar par 250 - ele serve para juntar foward e reverse)

https://anaconda.org/bioconda/prinseq

COMANDOS PARA FAZER TODAS JUNTAS (no terminal do Grid)

criar uma pasta reads_single

ls *.fastq.gz > list.txt

sed -e 's/_R1_001.fastq.gz//g' -e 's/_R2_001.fastq.gz//g' list.txt > list2.txt

sort -u list2.txt > list3.txt

gunzip *.gz

Em seguida, usar o PRINSEQ.

ATENCAO!!! nos detalhes do comando em relação ao caminho de onde fica a pasta do PRINSEQ e aos nomes das amostras (nesse o corte está para 250pb)

a instalacao tem que ser feita fora do quiime (qiime2-2021.4), tem que estar (base)

NAO ESQUECER DE CRIAR A PASTA Cut antes de realizar o comando

Para criar pasta cut, dentro da pasta raw-reads

para criar pasta
mkdir + nome da pasta, **entre aspas**

for x in $(<list3.txt); do perl ~/prinseq-lite-0.20.4/prinseq-lite.pl -fastq "$x"_R1_001.fastq -fastq2 "$x"_R2_001.fastq -out_good cut/"$x" -trim_to_len 251; done

JUNÇÃO (fora do quiime)

site para download
https://ccb.jhu.edu/software/FLASH/

terminal pessoal

scp -r /home/qiime2/Downloads/FLASH-1.2.11-Linux-x86_64.tar.gz [e-mail]:/home/jaquelinegaliardo

terminal Grid
pasta FLASH-1.2.11-Linux-x86_64.tar.gz esta zipada (vermelho)
para extrair tar xzf FLASH-1.2.11-Linux-x86_64.tar.gz (ficara azul)
cd FLASH-1.2.11-Linux-x86_64
make (pra mim esse nao deu certo)

copiando list3.txt para pasta cut (comando feio dentro da pasta raw-reads)
cp list3.txt /home/jaquelinegaliardo/raw-reads/cut

para juntar forward e reverse (comando feio dentro da pasta raw-reads) - ATENCAO!!! no formato dos arquivos (_R1_001.fastq / _R2_001.fastq)
for x in $(<list3.txt); do /home/jaquelinegaliardo/FLASH-1.2.11-Linux-x86_64/flash "$x"_R1_001.fastq "$x"_R2_001.fastq -d $x -o $x; done

para juntar forward e reverse (comando feio dentro da pasta cut) - ATENCAO!!! no formato dos arquivos (_1.fastq / _2.fastq)
for x in $(<list3.txt); do /home/jaquelinegaliardo/FLASH-1.2.11-Linux-x86_64/flash "$x"_1.fastq "$x"_2.fastq -d $x -o $x; done

criar pasta lixo
mkdir lixo

movendo alguns arquivos para a pasta lixo
mv **/*hist lixo/
mv **/*histogram lixo/
mv **/*.notCombined_1.fastq lixo/
mv **/*.notCombined_2.fastq lixo/
rm -r lixo

criar pasta (dentro da pasta cut)
mkdir paired_reads

seguir com esses comandos (dentro da pasta cut)
mv *.fastq paired_reads/
mv paired_reads/ ../

criar pasta (dentro da pasta cut)
mkdir raw_reads
fazer esse comando (dentro da pasta cut)
mv **/*fastq raw_reads

substutiir .extendedFrags.fastq por _R1_001.fastq

for f in *.extendedFrags.fastq; do
mv -- "$f" "${f%.extendedFrags.fastq}_R1_001.fastq"
done

Copiando amostras PRINSEQ + FLASH para o terminal pessoal

scp -r [e-mail]:/home/amascanio/raw-reads/cut/raw_reads .

passar para o DRIVE

a. ativar o qiime
b. zipar as amostar da pasta raw_reads (que fica dentro da pasta cut) gzip *.fastq
c. fazer o comando a baixo, dentro da pasta cut

qiime tools import --type 'SampleData[SequencesWithQuality]' --input-path raw_reads/ --input-format CasavaOneEightSingleLanePerSampleDirFmt --output-path demux-single-end.qza

criado
Imported raw_reads/ as CasavaOneEightSingleLanePerSampleDirFmt to demux-single-end.qza

d. preciso usar forward do prime utilizado no meu trabalho

qiime cutadapt trim-single --p-cores 7 --p-front TCGTCGGC --p-discard-untrimmed --output-dir primer_trimmed --i-demultiplexed-sequences demux-single-end.qza

criado
Saved SampleData[SequencesWithQuality] to: primer_trimmed/trimmed_sequences.qza

e. filtros

qiime dada2 denoise-single --i-demultiplexed-seqs primer_trimmed/trimmed_sequences.qza --p-trunc-len 0 --p-trim-left 0 --p-trunc-q 3 --p-max-ee 2 --p-chimera-method consensus --p-pooling-method pseudo --p-min-fold-parent-over-abundance 10 --o-representative-sequences rep-seqs-dada2.qza --o-table asv-table.qza --o-denoising-stats dada_stat --p-n-threads 7

criado
Saved FeatureTable[Frequency] to: asv-table.qza
Saved FeatureData[Sequence] to: rep-seqs-dada2.qza
Saved SampleData[DADA2Stats] to: dada_stat.qza

Dentro da pasta cut, fazer os seguintes comandos

qiime demux summarize --i-data demux-single-end.qza --output-dir demux_summarize

criado demux_summarize/visualization.qzv

qiime tools export --input-path demux_summarize/visualization.qzv --output-path demux_summary

criado demux_summary

f. fazer download do quality plot e stat.stv no terminal pessoal

O ideal e que os valores do input numeric tenham no minimo 6 casas decimais, antes do corte e juncao tinha de 4 a 5 casas e depois ficou com de 1 a 2 casas decimais.

Para melhorar a qualidade vamos testar os filtros abaixo

qiime dada2 denoise-paired --i-demultiplexed-seqs demux-paired-end.qza --p-trim-left-f 0 --p-trim-left-r 0 --p-trunc-len-f 0 --p-trunc-len-r 0 --p-trunc-q 2 --p-max-ee-f 2 --p-max-ee-r 2 --p-chimera-method pooled --p-pooling-method pseudo --p-min-fold-parent-over-abundance 1 --o-representative-sequences rep-seqs-dada2.qza --o-table asv-table.qza --o-denoising-stats dada_stat --p-n-threads 7

INFORMACOES PARA METODOLOGIA