# Poster {alexander.zellner, dominik.horn, henrik.wachowitz, simon.kostin, to.schmidt}@tum.de ## Motivation The ongoing growth of Artificial Intelligence (AI) and its capability to identify patterns in raw data, started a transformation in the medical sector. Applications based on this new technology try to enhance diagnostics and medical care [1]. However, for non-technical users, these systems are black-boxes making it difficult to comprehend their decisions and verdicts [2]. Explainable AI addresses this problem by visualizing the system's decision process or generating counterfactual explanations. This approach may help medical professionals trusting AI systems and incorporating them into the medical decision process [3]. In the current corona crisis, a machine based detection algorithm for Covid-19 infections may increase efficiency and precision. At this point, the classification of Covid-19 infection in chest X-ray images is still unsolved. We want to contribute to this research by providing a general approach for generating conterfactual explanations for pneumonia x-ray images. ## Research Question / Goals How can we leverage the power of GANs and VAEs to create counterfactual explanations for medical professionals helping them understand AI-based pneumonia diagnosis of chest x-rays? ![](https://i.imgur.com/BtpAKnK.png) ## Background X-ray images are often used to diagnose pneumonia. The most relevant factors are white spots in the lungs (called infiltrates) that suggest an infection. [4] Counterfactual explanations present an alternative input, altering the decision of a machine learning model. In our case, we modify x-ray images in a way that changes their classification. Counterfactual examples help humans to explore different situations and make AI-driven predictions more transparent. [5] ## Methods ### Generative Adversarial Networks We extend the loss function of the cycle GAN, presented in [6], by the output of the classifier. The network learns how to transform x-ray images from one domain to the other and identifies the defining features for the classification. ### Variational Autoencoder We train two different decoders, using x-rays of healthy lungs and of lungs infected with pneumonia. While both use the same encoder, we generate counterfactuals by decoding an image of domain A with the decoder trained on domain B. ## Next Steps ## References [1] F. Jiang, Y. Jiang, H. Zhi, Y. Dong, H. Li, S. Ma, Y. Wang, Q. Dong, H. Shen, and Y. Wang. “Artificial intelligence in healthcare: past, present and future.” In: Stroke and Vascular Neurology 2.4 (2017), pp. 230–243. [2] A. Holzinger, C. Biemann, C. S. Pattichis, and D. B. Kell. “What do we need to build explainable AI systems for the medical domain?” In: CoRR abs/1712.09923 (2017). [3] W. Xu. “Toward Human-Centered AI: A Perspective from Human-Computer Interaction.” In: Interactions 26.4 (June 2019), pp. 42–46. [4] D. Wootton and C. Feldman. “The diagnosis of pneumonia requires a chest radiograph (x-ray) – yes, no or sometimes?” In: pneumonia: A Peer Reviewed Open Access Journal 5 (June 2014), p. 1. [5] R. K. Mothilal, A. Sharma, and C. Tan. “Explaining Machine Learning Classifiers through Diverse Counterfactual Explanations.” In: CoRR abs/1905.07697 (2019). [6] J.-Y. Zhu, T. Park, P. Isola, and A. A. Efros. “Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks.” In: CoRR abs/1703.10593 (2017). ## Pitch Struktur: + Motivation / Problem + Research Question + Backround + Method **Motivation:** Die Covid-19-Pandemie betrifft uns alle. Damit lag es nahe, sich intensiver mit dem Thema Lungenentzündungen zu befassen. Die momentane Pandemie zeigt uns allen wie schwierig es ist, mit solchen Erkankungen Schritt zu halten, gerade wenn sie nicht direkt diagnostizierbar sind. Es gibt verschiedene Ansätze medizinisches Personal mithilfe von künstlicher Intelligenz bei der Diagnose zu unterstüzen. Im Mittelpunkt dieser Ansätze stehen oft Machine Learning Modelle zur Klassifikation von Röntgenaufnahmen der Lungen nach verschiedenen Erkrankungen. Unsere Nutzerumfragen haben ergeben, dass Patienten nicht alleine den Einschätzungen von Künstlicher Intelligenz vertrauen, sondern weiterhin Ärzte konsoldieren wollen. Damit KI dennoch in den Diagnoseprozess integriert werden kann, müssen Entscheidungen für den Nutzer transparent sein. An diesem Punkt setzen Counterfactual Explanations an. Für ein Röntgenbild generiert dieser Ansatz ein Gegenbeispiel. Dieses zeigt das Aussehen der Lungen mit bzw. ohne eine Erkrankung. Durch den Vergleich der beiden Bilder können sowohl Ärzte als auch Patienten die Diagnose einer Künstlichen Intelligenz einfacher nachvollziehen. **Research Question:** Wir haben uns gefragt: wie können wir solche Erklärungen generieren und mit den Modellen zur Klassifizierung kombinieren? **Method:** **VAE:** In unserem ersten Ansatz generieren wir Counterfactual Explanations mithilfe eines Variational Autoencoder. Ein Variational Autoencoder besteht aus Encoder und Decodern. Der Encoder komprimiert die Eingabe, in unserem Fall ein Röntgenbild der Lunge, auf die wichtigsten Features, wie zum Beispiel Größe und Kontrast. Der Decoder stellt anschließend aus diesen Features das originale Bild wieder her. Damit wir Röntgenaufnahmen zwischen den Domänen Gesund und Lungenentzündung konvertieren können, brauchen wir zwei verschiedene Decoder. Die jeweiligen Decoder werden nur mit Aufnahmen aus einer der beiden Domänen trainiert. Eine Counterfactual Explanation wird nun wiefolgt generiert: 1. Zuerst encodieren wir das Röntgenbild einer gesunden Lunge. 2. Anschließend nutzen wir den Decoder für Lungenentzündungen zum wiederherstellen des Bildes. Da der Decoder auf den Features einer kranken Lunge trainiert wurde, kann er die Merkmale einer Lungenentzündung wieder herstellen. Durch diesen Ansatz erhoffen wir uns, das diese Merkmale zu der gesunde Lunge hinzugefügt werden. In die andere Richtung, also von erkrankt nach gesund, kann dieser Ansatz ebenfalls angewendet werden. **Cycle GAN:** In unserem zweiten Ansatz generieren wir Counterfactuals mit Cycle Generative Adversarial Networks, sogennante cycle GANs. Die grundlegende Idee ist es, ein Neuronales Netz auf das Mapping von gesunden zu entzündeten Lungen zu trainieren. Zeitgleich wird aber auch ein Netz für die Rückrichtung, also das Mapping von krank zu gesund, mittrainiert. Ein wesentliches Merkmal ist dabei die Regularisierung des Mappings über einen cycle consistent loss. Die Loss-Funktion bestraft also, wenn das Bild nach dem Transformieren in die andere Domäne und zurück von dem Original abweicht. Dieses Vorgehen zielt darauf ab, nur die für eine Lungenentzündung entscheidenden Areale zu verändern. Den Loss erweitern wir außerdem um die Entscheidung des Classifiers. Dadurch sollen die Bilder soweit verändert werden, dass der Classifier zu einer anderen Entscheidung gelangt.