# Sprint Reflektioner
## Roadmap

## Numero Uno
#### Jira Issue History

## Numero Dos
#### Jira Issue History

## Numero Tres
#### Jira Issue History

#### Reflektioner
Arbete med fördjupningsområden har rullat på, svar på frågorna ramlade in sent i veckan vilket öppnar möjligheten att jobba på mer än bakgrunden i rapporten.

Vi hade ett möte med mjukvaruutvecklarna som jobbade med den gamla chatbotten. Vi tar med oss ett par visdomsord, fick lite bättre inblick i vad som funkade bra och dåligt.

Arbete på webbskrapan påbörjades.

## Numero Quatro
#### Jira Issue History

#### Reflektioner
Fortsatt arbete på fördjupningsområden, med fokus på att göra tillräckligt för presentation i slutet av inception-fasen.

Presentationen sammanställdes och blev väl förberedd inför presentationstillfället. Referentgranskningen blev också effektivt färdigställd, en snabb extra-koll planeras inför överlämning av materialet.

Tre av fyra medlemmar har postat tillägsavtalet till Rikard för utökade rättigheter till organisationens data. Punkten är något nedprioriterad eftersom det i nuläget inte ser ut som att datan kommer att behövas för att uppfylla projektets krav.

En planerad issue av "utforska fine-tuning" raderades då en ny språkmodell presenterades av OpenAI sent i veckan som vi kommer att byta till. Denna nya modell går ej att fine-tune:a.

## Numero Cinco
#### Jira Issue History

#### Reflektioner
Samtliga medlemmar av teamet har nu skickat det signerade tillägsavtalet till Rikard Björkman, kontaktperson hos beställande kund.

Fördjupningsområden har presenterats i samband med inception-fas presentationerna, fortsatta framsteg tuffar på individuellt.

Nya GPT-3.5-turbo modellen har utforskats och en fungerande implementation av modellen finns att hitta på implementation-wiki:t. I nuläget lutar vi starkt åt att använda den här språkmodellen. Iallafall initialt.

Embeddings har utforskats, detta området är komplext och behöver utforskas mer. Vi är inställda på att embeddings + en vektordatabas är rätt lösning för vårt problem, men vi behöver utforska förfarande kring implementation närmre.

LanChain har också utforskats, vi bedömer tekniken som "overkill" i vårt fall, men vi behåller den insamlade kunskapen i fallet att vi behöver använda tekniken.

Lite bilder har skapats, se design-wiki:t. Vi bedömer att systemets arkitektur enligt bildernas presentation passar våra ändamål.

Den egen-utvecklade sökmotorn för att söka genom webbskrapans output är satt på is. Vi är inne på spåret att använda vektorisering och OpenAI embeddings istället, vilket hade uteslutit användandet av vår egna sökmotor. För att inte slösa tid på onödig utveckling placeras uppgiften på backburnern (extremt nedprioriterad.)

## Numero Seis
#### Jira Issue History

#### Reflektioner
Sprintens fokus hamnade främst på att färdigställa den dokumentation som vi tyckte behövdes för att färdigställa projektets elaboration-fas. allra främst dokumentation

Kunden har uppdaterats och tagit del av projektets arkitektur och de verktyg vi kommer att använda i systemets konstruktion. De tycker att det ser spännade ut.

Webbskrapan är nu färdig och fullständigt funktionell. Det återstår lite städande av texten som skrapas, detta lämnas till nästa sprint.

OpenAI Embeddings är färdiglabbade med, vi har hittat några problemområden som behöver lösas. Främst handlar det om rate-limiting när stora mängder data ska vektoriseras.

En första-version av ett gränssnitt till chattbotten är färdigt. Nu kan man prata med botten :\)

Sökmotorn förblir på is, kan anses vara ganska "skrotad" om inget förändras i framtiden. Vi slutar att nämna den i dessa reflektioner.

Kostnadskalkylen placeras också på is, vår förhoppning är att ha en sådan kalkyl färdigställd till nästa presentationstillfälle med kunden.

## Numero Siete
#### Jira Issue History

#### Reflektioner
Vi har nu helt bestämda på att använda Pinecone som vektordatabaslösning. Vi behöver då lösa hur man laddar upp serviceportalens artkilar dit, så vi har implementerat en "proof-of-concept" implementation som kan hantera det med hjälp av en existerande lösning från OpenAI.

"Text-streaming" är implementerad för chatt-klienten, detta var mycket mer utmanande än först uppskattat. Fungerar ännu inte på Firefox.

Referentgranskningen är genomförd, den ska presenteras och överlämnas till gruppen nästa vecka.

Presentationen av elaboration-fasen är förberedd, ska presenteras nästa sprint.

Inte ännu hunnit testa artiklarnas token-count genomgående, men vi har inte stött på några problem när vi labbar. Detta tyder på att artiklarna iallafall är under 8k tokens i storlek. Behöver titta nogare på det.

Klientens stilsättning får vänta, den var ändå främst planerad som en "kul-att-göra"-syssla. Det är väldigt lätt att kasta in lite ny stilsättning när det passar.

## Numero Ocho
#### Jira Issue History

#### Reflektioner
Presentationen av fasen samt peer-review genomförd, det gick finfint.

Planerat lite mer stilsättning, stilen ändras sakta men säkert

Mycket arbete som hamnar på att färdigställa fördjupningsområderapporterna.

Vi har kontrollerat token-count av serviceportalens artiklar, ser inte ut att bli några problem.

Städat lite skräptext från artiklarna, sånt som "se maskinöversättning".

Retrieval plugin:et fick mest fokus på läs-hållet, inte mycket labbande ännu. Knepig teknik.

## Numero Nueve
#### Jira Issue History

#### Reflektioner
Denna sprint varade i dubbel längd (två veckor) pga påsken.

Nu är fördjupningsområdesrapportera inlämnade (äntligen).

Första veckan bokade vi ett möte med kunden, genomförde mötet/presentation av material andra veckan. Mycket positiv feedback.

Kostnadskalkylen genomfördes inför mötet med kunden, väldigt billiga grejer.

Demo-applikation med ett "admin"-mode där man kan se vad som händer bakom kulisserna i applikationen förbereddes för kundmötet. Denna resurs förväntas vara bra när projektets testning påbörjas.

Retrieval-plugin:et är knepigt och det är mycket att sätta sig in i. Det får bli fortsatt laboration kommande sprint, förhoppningsvis också någon sorters "drifad" version av verktyget.

## Numero Diez
#### Jira Issue History

#### Reflektioner
Påbörjad planering av systemets överlämning, jobbar nu på en docker-compose som lätt ska kunna starta upp hela systemet utan att något måste driftsättas.

Planeringen för testningen förblir vag, inte mycket framsteg ännu. Lättare när vi har ett sammansatt system.

Retrieval + webbskrapan + API:et är ihoplimmat, finemang. Retrieval effektivt driftsatt enl docker-tänket.

Klienten dockeriserad, även "färdigpreppad" för att börja prata med retrieval. Måste bara ha en retrieval driftad att prata med i samma docker-compose.

## Numero Once
#### Jira Issue History

#### Reflektioner
Dokumentation smått förändrad och uppdaterad hit och dit för peer-review syfte. Inte hur mycket som helst som skulle ändras men nu har vi en wiki-sida för hur överlämningen ska gå till. Där står också våra aktuella avgränsningar och brister.

Överlämningen fortsatt planerad, i nuläget har vi i princip en helt färdig docker-compose orkestrering som är färdig att skickas iväg.

Planeringen kring testningen är klar, vi är bestämda på att hantera vår testning främst i transition-fasen. Vi har testat vårt test-flöde också för att bekräfta att det känns bra, och det gör det.

Klienten är sammankopplad med retrieval nu, så hela systemet sitter ihop som det behöver för att fungera. Målet är att flytta kopplingen från klienten till vårt API istället, alltså klient > API > Retrieval. Detta gör vi nästa sprint.

## Numero Doce

#### Jira Issue History

#### Reflektioner

En management-sida är påbörjad för att förbättra användar-upplevensen när pinecone indexet ska fyllas med information. I nuläget behöver man göra detta genom API-anrop i ex. Postman, men vi började arbetet för att göra ett snyggare och mer lättanvänt interface i klienten. Detta tog längre tid än förväntat och flyttas vidare till nästa sprint.

Vi fixade också lite småsaker som att meddelanden kan skickas genom att klicka enter, och inte behöva klicka på "send"-knappen. Vi lade även till en config i API:et för att kunna plocka ut en specifik mängd context, detta för lite "future-proofing" när modeller såsom gpt-4 anländer och massivt större token-limits blir tillgängliga.

Klientens anrop på för att hämta kontext har blivit flyttat till vårt egna API, istället för direkt mot retrieval API:et. Detta samlar funktionaliteten till vårt API istället för att sprida ut den.

Vi genomförde också vår peer-review av grupp 0, som presenterades under kursens presentationstillfälle där vi presenterade resultatet av vår construction-fas. Det gick finemang.

## Numero Trece

#### Jira Issue History

#### Reflektioner
API-management sidan för bättre användarupplevelse är effektivt klar, några smågrejer att fila på återstår men funktionaliteten är där. Vi petade också litegrann på stilsättningen av klienten, så nu anser vi att den är helt klar.

Ett litet problem med webbskrapan fick felsökas och åtgärdas, det gick finfint.

Vi har nu påbörjat vår testprocess i full blås. Vi förväntar oss att flera delar avv systemet kommer ha misslyckade tester, men då på områden där vi har gjort medvetna avgränsningar mot kravspecifikationen av sådant som nedprioriterats.

## Numero Catorce

#### Jira Issue History

#### Reflektioner
Mycket småprylar som har färdigställts, ex. lagt till en rate-limiter på skrapan och städat lite bland miljövariabler och dokumentation.

Testningen har kommit igång rejält och blåser på, delar av systemet är svåra att testa.

Slutrapporten är påbörjad, ganska lågt prioriterad pga examensarbeten och annat i vägen.

## Numero Quince
#### Jira Issue History

#### Reflektioner
Vi har förberett och utfört en slutpresentation för beställande kund. Presentationen gick bra och vi kunde demonstrera hur hela systemet fungerar. Länk till inspelad presentation [finns här](https://lnu.box.com/s/pk1z87vq2o9iip4pu6zs2avaqz4tdaz8).

Vi har också förberett slutpresentationen till kursavslutet, den liknar presentationen för kunden ganska mycket.

Arbete fortsätter på slutrapporten.

## Numero Dieciséis
#### Jira Issue History

#### Reflektioner
Vi har nu gjort vår slutpresentation för kursen, det gick finfint.

Arbete fortsätter med slutrapporten och lagets utvecklare har påbörjat sina individuella rapporter också.

Vi planerar ett meddelande till beställande kund som slutgiltig slutleverans. De har redan fått en effektiv slutleverans i formen av förra sprintens presentation, men vi tänker lämna över arbetet i skrift också.

## Numeri Diecisiete
#### Jira Issue History

#### Reflektioner
Projektet är avslutat med nöjd kund och nöjda utvecklare.

:smiley: