»BeBot« – ein Bewerber-Chatbot für die HAW
Ein Interview mit den Entwicklern Patrick Surdziel und Linh Phi
Das Projekt Tell-me.io ist natürlich nicht die erste Berührung, die es am Fachbereich Interaction Design mit dem Thema Chatbots gab. Zwei Mitarbeiter unseres Projekts haben zuvor bereits einen Chatbot für die HAW Hamburg erarbeitet, dessen Beta-Version mittlerweile im Einsatz ist: den BeBot für Bewerber. In diesem kleinen Interview erzählen Linh und Patrick ein wenig über dieses Projekt und worauf es dabei besonders ankam. Der BeBot ist ja ein sehr spannendes Projekt.
Wie kam es überhaupt zu der Idee, einen Chatbot für Bewerber zu bauen?
Linh:
Rund um das Thema Bewerbung gibt es tausend Dinge, die man in Erfahrung bringen muss. Die auf einer Website zu finden, ist nicht immer ganz einfach, und gerade die Bewerbungsphase ist für die angehenden Studenten eigentlich schon stressig genug. Darum haben wir nach einer einfachen Lösung gesucht, die es den Bewerbern ermöglicht, schneller und einfacher an ihre Antworten zu kommen.
Patrick:
Im Departments Design ist der Bewerbungsprozess für die künstlerischen Studiengänge aufgrund einer Mappen- bzw. Eignungsprüfung etwas aufwändiger. Da gibt es Fragen, die immer wieder auftauchen. Einige davon beantworten wir in einer klassischen FAQ-Seite auf der speziell für den Anmeldeprozess geschaffenen Website. Um den Bewerbungsprozess möglichst angenehm zu gestalten, wollten wir eine dynamische Lösung für oft gestellte Fragen schaffen, die schneller zu den Antworten führt. Außerdem wurde es Zeit, den Trend der Chatbots und die Plattformen dazu auszuprobieren.
Was war bei der Gestaltung besonders wichtig? Gab es eine Leitlinie?
Linh:
Erstmal natürlich die freie Texteingabe, um so ein natürliches Gespräch zwischen User und Bot zu ermöglichen.
Patrick:
Es ging uns darum, die Konversation offen zu gestalten, also die Möglichkeit zu lassen, alles fragen zu können. Gleichzeitig wollten wir aber natürlich auch klarmachen, dass es kein Mensch ist, der da antwortet. In der Sprache wollten wir auf Augenhöhe bleiben - darum duzt unser Bot die User kumpelhaft und nutzt eine junge, frische Sprache.
Wie seid Ihr konkret vorgegangen, und welche Phasen der Entwicklung gab es?
Linh:
Bevor es mit dem Entwickeln losging, haben wir uns erst einmal allgemein Conversational Interfaces angeschaut, Umfragen mit Studenten durchgeführt und Fragen und Antworten gesammelt. Diese Erkenntnisse wurden schließlich im BeBot umgesetzt.
Patrick:
Zunächst ging es darum, die bestehenden FAQs zu sichten, zu ergänzen, umzuformulieren und neu zu strukturieren. Das hat insgesamt etwa drei Monate in Anspruch genommen. Gleichzeitig musste eine geeignete, technische Plattform und ein passendes Widget zur Einbindung auf der Website gefunden werden. Das hat uns insgesamt tatsächlich auch einen Monat gekostet, da lange nicht klar war, ob wir die kostenpflichtige Standardstufe des IBM Watson Assistants zumindest für das erste Jahr kostenlos bekommen würden. Im dritten Schritt haben wir in einem Zeitraum von etwa zwei Wochen alle elementaren Intents, Entities und Antworten eingegeben. Letztlich ist das aber ein fortschreitender Prozess, in dem wir ständig immer noch Dinge ändern und verbessern. Nach der Eingabe der Basisdaten gab es vor dem Launch noch eine interne Test- und Trainingsphase, die auch nochmal etwa zwei Wochen in Anspruch genommen hat. Also vom Start der Arbeiten bis zum Launch hat es etwa vier Monate gedauert.
Welche Hindernisse hat es bei der Entwicklung gegeben? Wie habt Ihr sie überwunden?
Linh:
Für mich waren die Handhabung der großen Fülle an Informationen und das technische Knowhow die größten Hindernisse. Das wurde für mich leichter, als Patrick als Developer zu unserem Team dazustieß.
Patrick:
Das Finden einer passenden technischen Lösung war mit einigen Hindernissen verbunden. Angefangen haben wir mit Googles Dialogflow, allerdings gab es zu der Zeit dafür kein fertiges, kostenfreies Web-Widget, das gleichzeitig auch Buttons, Bilder und Hyperlinks unterstützte. Wir sind dann umgestiegen auf IBMs Watson Assistant, da es ein WordPress-Plugin für das Widget gab und wir letztendlich durch eine einjährige Partnerschaftsaktion ein kostenloses Upgrade für den Standard-Tarif bekamen. Wie auch andere Plattformen hat der Watson Assistant allerdings den Nachteil, dass das parallele Arbeiten mit mehreren Accounts schnell unübersichtlich wird. Daher sind wir dazu übergegangen, dass nur eine Person ins System einpflegt und alle anderen Inhalte vorher in einem Word-Dokument zusammengestellt werden. Das war auch ein wichtiges Learning dabei: Je weniger Leute im Intent- und Dialogsystem selbst arbeiten, desto einfacher ist es, den Überblick zu behalten. Ansonsten muss ständig nachgeschaut werden, was neu hinzugekommen ist und was noch fehlt, was ziemlich mühsam und unproduktiv ist.
In welchem Stadium ist der BeBot jetzt? Arbeitet Ihr noch weiter daran?
Patrick:
Er ist jetzt weit genug trainiert, um die etwa zwanzig häufigsten Intents souverän zu erkennen. Dabei hält sich die Bandbreite der Fragen in Grenzen, sodass das meiste damit abgedeckt wird. Trotzdem befindet er sich noch im Beta-Status und könnte diesen erst mit einem größeren Update verlassen. Dazu sollten noch einige ausstehende Fragen, aber vor allem differenzierte Antworten eingepflegt werden, da wir aufgrund der Menge erstmal vieles nur pauschal beantworten und damit manchmal auch eher mit zu vielen als zu wenigen Infos antworten. Außerdem planen wir eine kleine Auswahl der am häufigsten gestellten Fragen als Buttons direkt beim Onboarding einzubauen, damit die User noch schneller ans Ziel kommen beziehungsweise um erstmal einen Überblick zu geben, die Nutzenden zu leiten und die Hemmschwelle zu nehmen, etwas eintippen zu müssen. Auch sollen noch mehr Follow-Ups, also zum jeweiligen Thema weitere, passende Antworten angeboten werden, um über Dinge aufzuklären, die die Bewerberinnen und Bewerber nicht wissen können, die aber in dem Zusammenhang relevant sind. Damit ließen sich auch die aktuellen All-in-One-Antworten, die zu viele Informationen auf einmal beinhalten, reduzieren.
Wie wird denn der BeBot angenommen?
Patrick:
Wir haben aktuell knapp halb so viele Nutzende wie eindeutige Seitenaufrufe der klassischen FAQ-Webseiten. Ich habe das mal nachgeschaut, das waren 150 gegen 340 im April 2019. Im Schnitt haben wir fünf Konversationen pro Tag und gut drei Nachrichten pro Konversation. Natürlich gibt es immer mehr Nutzer, wenn gerade eine Bewerbungsfrist ansteht. Als Effekt haben wir schon weniger Anfragen per E-Mail und Telefon. Auch auffällig ist, dass ausschließlich ernsthafte Fragen gestellt werden. Also alles in allem ist unser Fazit positiv, insbesondere, wenn man bedenkt, dass es bei vielen schon noch eine Hemmschwelle gibt, einen Chat zu starten. Die meisten schauen ja doch noch lieber erstmal selbst, als sofort nachzufragen.
Aus Eurer persönlichen Perspektive, was sind Eure wichtigsten Learning aus der Entwicklung des BeBots?
Linh:
Als Designer war es die Gestaltung eines mehr konzeptionellen als visuellen Projektes, die sich für mich als eine Herausforderung herausstellte. Ich habe gelernt, mit redaktionellen Informationen und realen User-Interaktionen umzugehen. Gleichzeitig ergeben sich durch die Einbindung des Widgets auf der Webseite wertvolle Praxiserfahrungen.
Patrick:
Das Wichtigste und Schwierigste ist aus meiner Sicht definitiv, vorab die Inhalte zu sammeln, zu strukturieren und, ganz nach dem Maximalismus-Motto “mehr ist mehr”, genug Fragen für die daraus entstehenden Intents zu generieren. Und das System trainiert sich nicht wirklich selbst, es steckt ja keine wahre Intelligenz dahinter! Das bedeutet: Ohne ständiges Korrigieren eines Menschen keine guten Ergebnisse. Das NLP hilft nur dabei, mehr oder weniger marginale Unterschiede der Syntax zu erkennen, aber auch das nicht immer: Manchmal reicht schon ein anderes Wort oder ein Rechtschreibfehler in einem Wort oder Satz und schon scheitert die Erkennung. Nach dem Schritt der Registrierung, der ersten Einrichtung und so weiter ist es eigentlich technisch sehr einfach, einen Basic-Chatbot umzusetzen. Bei Plattformen wie Dialogflow oder Watson Assistant muss man dank der grafischen Oberfläche nichts programmieren können. Allerdings ist der Prozess dafür umso aufwändiger! Zumindest anfangs ist wirklich tägliches Training des Bots nötig. Dadurch bleibt der hohe Aufwand nach dem Launch bestehen, was natürlich auch hohe Kosten mit sich bringt. Die Frage ist, ob es sich dann noch lohnt. Etwas günstiger wird es natürlich mit einem stärker gerichtetem, eingeschränktem Chat, in dem man nicht alles fragen kann. Es ist also alles eine Frage der Zielsetzung und der Mittel.
Gibt es sonst noch irgendwas, was Ihr gern loswerden würdet?
Linh:
Ich hoffe, der BeBot wird auch noch lange nach meiner Zeit an der HAW zukünftigen Bewerbern zur Seite stehen!
Patrick:
Es ist unendlich viel Arbeit und Wortakrobatik. Aber es macht auch Spaß.
nächster Workshop