# DAI Übergabe Max ## Pepper Alles was zum Thema "SSDS on Pepper" relavnt ist, ist in der README vom SSDS-Pepper-App Prjoekt dokumentiert. https://gitlab.dai-labor.de/IRML/ssds-pepper-app/ ## SSDS Rasa Für das SSDS-Projekt habe ich mit Khaled einen Prototypen entwickelt, der für bestimmte Themen einen Slot-basierten interaktiven Assitenten zum Finden der richtigen Dienstleitung bietet. Die Ergebnisse aus diesem Projekt haben jedoch nie in das eigentliche SSDS Chatbot Projekt einzug gehalten. https://gitlab.dai-labor.de/IRML/chatbot-apis/ssds-rasa ## ITDZ Index Hyperlink Visualisierung ~~Das Projekt ist bisher nirgendwo abgelegt, außer bei mir lokal. Die zugrunde liegenden Daten sind ca. 8GB groß. Soll ich das ins Git-LFS pushen oder irgendwo auf dem NAS ablegen? Hier schonmal ein Link zur Ergebnisdatei: https://file.io/BMFotaheWpy4~~ Das Projekt ist in diesem Repo hinterlegt und dokumentiert: https://gitlab.dai-labor.de/IRML/itdz/itdz-berlin-solr-index-visualization ## Corona Chatbot / Corona FAQ Corona Chatbot Projekt: https://gitlab.dai-labor.de/IRML/chatbot-apis/corona-chatbot * Hier fehlt noch eine Doku des Deployments. Ich weiß allerdings nicht, ob ich das vollständig leisten kann, da das nicht primär meine Aufgabe war. ### Forschungsprojekte #### Finetuning eines SentenceTransformer Modells Die Embeddings, welche das SentenceTransformer Modell generiert liefert die Grundlage für die semantische Suche welche die IR Funktionalität des Chatbots realisiert. Alles was ich bezüglich des Modell-Finetunings gemacht habe ist in diesem Wiki-Eintrag dokumentiert: https://gitlab.dai-labor.de/IRML/chatbot-apis/corona-chatbot/-/wikis/%C3%9Cbersicht-Model-Finetuning Das ist der Link zum entsprechenden GitLab-Projekt: https://gitlab.dai-labor.de/IRML/sentencetransformer-finetuning #### Vergleich verschiedener Retriveal-Verfahren Um die semantische Suche mit lexikalischer Suche sowie Kombinationen von beidem zu vergleichen, habe ich basierend auf Elasticsearch in diesem Projekt begonnen entsprechende Experimente durchzuführen https://gitlab.dai-labor.de/IRML/semantic-retrieval-research ### Brain4X Basierend auf der Vorarbeit aus dem Corona-Chatbot-API Projekt (https://gitlab.dai-labor.de/IRML/chatbot-apis/corona-chatbot-api) und dem Semantic-Retrieval-Research Projekt (s.o.) habe ich für den Brain4X Corona Chatbot in diesem Projekt die Retrieval- und die Crawling-Komponente für die Corona-FAQs implementiert: https://gitlab-edu.aot.tu-berlin.de/brain4x/corona-faq-api Hier existiert nun auch eine ausführliche Readme.