In the spring semester 2018, in the course ‘Laboratory Course in Food Chemistry‘ we let students use five ready-made Labster labs of which four were mandatory.[1] Here are the results of the evaluation, where 58 (out of 60 enrolled) students participated.
? Click on the graphs to enlarge them!
Semester Setup
We set up the Labster labs as preparation for the experiments in the real lab. ‘Lab Safety’ and ‘Chemistry Safety’ were due before the first entry in the real lab. ‘HPLC’ had to be done before the citric acid experiment, ‘Titration’ before the oil/fat experiment. The lab ‘Introduction to Food Macromolecule’ was optional. The following picture shows our setup in moodle.
On average, it takes 45 minutes to play through a lab. Let’s now get to the results of the evaluation!
How Many Labs Did You Play Through?
Additionally to the four mandatory labs, one more lab was made available for the students. 67% of the students played the mandatory ones. 17% played all five labs.
“I think, I can apply in the real world what I’ve learned virtually.”
79% of the students are confident that they could transfer what they have learned from the virtual to the real space.
The follow-up question was: “Can you name two, three examples (laboratory techniques or other) that you first applied in a Labster lab and then in the real lab?” The text answers are in the footnote.[2]
Students didn’t only think they could transfer what they’ve learned, they also told us what they did. The ‘Safety Lab’ made quite an impression on many students. It was mentioned many times although they did not use these techniques, especially saving a person and using the eye shower, in the real lab, fortunately!
Should Labster Labs Be Used More (Often) at ETH?
To this question, only the options ‘yes’, ‘no’ and ‘comment’ were available. 41% of the students clearly think that Labster labs should be used more. 19% on the other hand, don’t think it would be a good idea. From the 40% who could not decide between ‘yes’ and ‘no’,
- 16% are very positive but think that Labster is not technically mature
- 12% are also very positive but think that Labster should only be used for lab basics
- 7% don’t like the idea mostly out of a personal preference or only if the labs are not mandatory
- 5% do not have an opinion
If we simplify, we end up with following result:
How Pleased Were You With Labster Labs?
We gave students a scale from 0 – 10 and asked about their overall experience. Most students (14) chose level 7. The average is 6.26. If we divide the levels into two groups (not happy, i.e. <=5, and happy, i.e. >=6), we end up with 71% of satisfied students.
How Digitally Savvy Are You?
Because we suspected that students who were not very open to the digital world in general would not be very happy about virtual labs, we tried to come up with a ‘digital level’. We asked students about their digital habits (computer in general, use of paper, social media, use of Excel, video games).[3] They could only answer in black or white. Example: I try not to use paper if possible. Yes (+) / No (-).
For every positive response students got 0.2 points. The higher the score (towards 1), the most digitally open we assume them to be.
If we now combine their satisfaction level with their digital level, we do not get a very clear cut picture.
The only hint here is that the biggest part of a group (6 students) to choose one specific level was the ‘highly digital’ group (0.8) who chose satisfaction level 8.
Not entirely satisfied with these results, we looked further at the averages of some of the questions’ responses (0 no/no/not happy and 1 yes/yes resp. 10 for happy). We looked at the groups 0.4, 0.6 and 0.8 –because they are big enough and similar in size (17, 14 and 16 students)– and at the questions about the learning transfer, the increased use of Labster labs and the satisfaction level.
The least positive group is the 0.4 group. The most positive group is the 0.6 group that has already quite a high digital level. The 0.8 group might be open but may also already be more critical. What strikes us in these results is the very low result towards the increased use of Labster labs of the 0.4 group with an average of 0.353 in comparison to 0.75 and 0.656 for the 0.6 and 0.8 groups.
More data would definitely be needed to validate our ‘digital level’ but, so far, it seems to work.
The Best and the Worst
Here are some of the text answers about what they liked the most about Labster labs[4]
Man muss nicht im Labor anwesend sein sondern kann ganz gut von zu Hause aus diese Labs durchspielen. Sind sehr informativ!
Dass man Versuche virtuell bereits durchführen kann und so zusätzliche Erfahrung erwirbt.
Die Verständnisfragen, welche zeigen, ob man die jeweiligen Vorgehensweisen/ Versuche verstanden hat.
Man kann alles nachlesen und ohne Konsequenzen Fehler machen. In der Regel lernt man daraus und macht es im Labor besser.
Die Anwendung ist sehr realitätsnah. Die Versuche sind sehr genau animiert und man kann es sehr gut für das richtige Labor reproduzieren.
Die Theorieteile gefielen mir besonders gut. Es ist sehr angenehm, wann immer nötig, nochmals nachlesen zu können. ungeklärte fragen können (meistens) beantwortet werden.
Dass man eine Vorbereitung fürs Laborarbeiten erhält. Und dass man durch die Fragen und die Theorie gewisse Sachen bei den Experimenten danach im Labor besser versteht.
and about what they liked the least[5].
Relativ lange Spielzeiten. Manchmal nicht ganz eindeutig was man zu tun hat.
Teilweise ist es nicht möglich weiter zu spielen und man muss das ganze wieder von vorne beginnen. Auch war die Erklärung nicht immer sehr eindeutig, so dass man nicht wusste, was gefragt oder zu tun war.
Manchmal waren einige Dinge nicht klar und deutlich beschrieben. Z.B. wussten viele nicht, dass man bei der Titration die Bürette durch mehrmaliges Drücken auf die Öffnung auch wieder schliessen kann und so leerte man aus Versehen viel zu viel der Lösung in die Probe.
Zum Teil ist es sehr mühsam wenn man ein Fehler macht. Bei der Titration konnte ich den Trichter nicht mehr entfernen und musste von vorne beginnen.
All in all, Labster labs have been well received. One big problem was the ‘Titration’ lab that really had quite a few bugs and drove our students crazy.
Our Opinion
We think that Labster is a very promising designer and provider of virtual labs. It would surely be fully accepted by students very soon. On Labster’s side, progress can be made on the technical part (ease of use, clarity of instructions[6], fix bugs) and on the didactical part (not only one path to go; we want students to really be able to fail while playing).
Thank you again, dear students, for participating so willingly and for the numerous comments! And thank you, Labster, for a great collaboration.
Sarah Frédérickx & Dr. Melanie Erzinger
- Safety Lab, Chemistry Safety, Titration, HPLC and, not mandatory, Introduction to Food Macromolecule ↵
- All text answers:
Titration und Lösungen herstellen Titrationen Chromatogramme Eine brennende Person retten und eine HPLC Analyse durchzuführen Titration Wie man eine Flüssigkeit unter beachten vom Meniskus abfüllen muss. Gelernt habe ich zudem, wie man eine Person retten kann, die sich im Labor verletzt hat. HPLC. den rest hatte ich schon vorher durchgeführt. Im Labster kann man nicht im Labor gehen bevor man die Brille angezogen hat. Gewisse Informationen über wie man mit den Chemikalien umgehen soll waren hilfreich. Injektion der Probe bei der GC-Analyse. Das man Wasser nicht auf Säure giessen darf Titration HPLC Chromatographie und TItration Farbiger Nachweis von Makromolekülen (Introduction to food macromolecules) Genaues Einstellen/ Auswählen der Phasen beim HLPC Gerät Titration und Chromatographie Titration zur Bestimmung der Konzentration eines Umweltgifts --> Titration in verschiedenen realen Labor-Experimenten Erstellen einer Kalibriergeraden und Berechnungen Die Chromatographie. Das Abduschen einer Laborkollegin. Titration: wie man es vorbereiten soll Safety: gute Wiederholung von alles Titration, HPLC Titration, HPLC Titration und HPLC HPLC Säure und Wasser mischen Titration HPLC (Chromatographie) Titration, Chromatographie (HPLC) Tritation und Lösungen in Messkolben mischen. Herstellen von Lösungen Die korrekte Sicherheitsvorkehrungen wie Laborkittel, Brille, Entsorgung der Abfälle, usw. Das Arbeiten in der Kapelle. Sicherheit im Labor, HPLC Titration -> speziell Meniskus genau/richtig ablesen. HPLC. (War cool ausprobieren zu können, was die verschiedenen mobilen Phasen und so für Auswirkungen haben->Chromatogramm) Titration, HPLC Titration pipettieren Titration Titration, HPLC Sicherheitsmassnahmen verinnerlichen Da ich bereits eine sehr grosse Laborerfahrung hatte, trifft hier nichts auf mich zu. Beim Versuch mit der HPLC wurde aber auf sehr präzise und einfache Art und Weise das Gerät und die Funktionalität aufgezeigt. Dass man immer zuerst das Wasser und dann die Säure hinzugibt. Wie man Abfälle fachgerecht entsorgt HPLC, Titration Evakuierung, Titration Titration und Umgang mit Säure und Wasser GC, HPLC Titration, HPLC Titration, HPLC Die verschiedenen organischen Mittel etc. anders entwerfen. Titration HPLC arbeiten in Kappelle richtige Reihe von Experiment (Durchführung von Experiment wenig chaotisch) Titration Sicherheit im Labor Vor allem das Safety Lab hat schnell und immer wieder konkrete Anwendung im echten Labor gefunden! Auch der Umgang mit den (teils sehr giftigen) Chemikalien war viel bewusster und kontrollierter. Titration und HPLC Die Titration und das HPLC habe ich zuerst in Labster durchgeführt. Ich habe jedoch zuvor auch schon titriert. HPLC HPLC Gaschromatographie Marie angezündet, hoffe mal das passiert nie Titration (auch wenn ich schon vorher titriert habe im Gymnasium). Viele Techniken würden schon in vorherigen Labors geübt, die Labster waren jedoch eine gute Übung und Wiederholung. Die Theorie war vorher auch nicht ganz klar. Sicherlich die Titration (haben wir aber schon am Gymnasium gemacht). Und das mit der Säure und Wasser ist mit sehr fest geblieben. Titration Augenspüle - This was the question with the statements:
Wir möchten noch gerne etwas mehr ZU IHREN INTERNET-/DIGITALEN ANGEWOHNHEITEN erfahren. Was trifft zu? Was nicht?
Ich arbeite gerne am Computer.
Ich bin in den sozialen Netzwerken (Facebook, Instagram,...) aktiv.
Ich spiele regelmässig (ab zweimal pro Jahr) Video Games oder Online Games (inklusive Virtuelle Welten).
Wenn immer möglich, versuche ich kein Papier mehr zu benutzen.
Ich kann gut mit Tabellenkalkulationsprogrammen (z. B. Excel, Numbers,...) umgehen. ↵ - All text answers:
ich finde es sehr ansprechend, das man auf alles drauf-klicken kann und nicht nur auf das was man gerade braucht. Man kann sich also im Labor etwas "umsehen". Man muss nicht im Labor anwesend sein sondern kann ganz gut von zu Hause aus diese Labs durchspielen. Sind sehr informativ! Die Anwendung sieht sehr echt aus. Ich mag, dass es wie ein Computerspiel ist. gute Vorbereitung auf Praktikum Das es wie ein Computerspiel ist und damit macht es recht freude. Man lernt das wesentliche. Man kann die Simulationen bequem von zuhause zu jeder Zeit machen. Es ist sehr realistisch. Ich finden es gut dass man auch so Sachen lernen kann, man merkt sich Information so viel besser Dass man Versuche virtuell bereits durchführen kann und so zusätzliche Erfahrung erwirbt. ziemlich reale simulation Virtuelles Hantieren mit den Chemikalien Das ist interaktiv. Die Verständnisfragen, welche zeigen, ob man die jeweiligen Vorgehensweisen/ Versuche verstanden hat. Einfache Handhabung einfache Handhabung und gute Beschreibungen Es gibt einen guten Einblick was einem im Labor erwartet. Man bekommt einen überblick zur Laborsicherheit und kann es mal durchspielen Die Theorie war sehr gut erklärt Die Theorie ist sehr gut erklärt. Es ist änhlich wie die Realiät. Die Animationen Fragen und Theorie sind gut aufgebaut. Individuelles Zeitmanagement Das ich bei Unsicherheiten in der Theorie nachschlagen konnte und Erklärungen bekam. Die Durchführung der Experimente. Es ist nicht schlimm, wenn man Fehler macht. Realitätsnahe Praxis Das man sie einfach zu Hause und im eigenen Tempo machen kann. Die Gespräche mit den anderen im Labor - da hat man was gelernt Gute Qualität und sehr realistische Darstellung eines virtuellen Labors. Die Animationen sind sehr schön und dass man alles aus der Sicht der handelnden Person sieht, macht das ganze sehr authentisch! Layout Abläufe könnnen eintrainiert werden Ich fand die Quizfragen praktisch, und auch dass die Methoden und Funktionsweisen in einem Theorieteil erklärt wurde, wenn etwas nicht klar war. Man kann alles nachlesen und ohne Konsequenzen Fehler machen. In der Regel lernt man daraus und macht es im Labor besser. Sehr gut animiert und häufig sehr gute Illustrationen Es reicht völlig, wenn man dies direkt im LM Chemie Labor macht. Die Flexibilität des Durchführungszeitpunktes. Die Anwendung ist sehr realitätsnah. Die Versuche sind sehr genau animiert und man kann es sehr gut für das richtige Labor reproduzieren. Es ist eine neue Art von Lernen. Es ist eine gute Einführung und Vorbereitung, bevor man das Labor betritt. Eine gute Vergleich mit der Realität. Die gute Darstellung. Dass ich zu hause ohne Druck einen Versuch durchführen konnte. Die Theorieteile gefielen mir besonders gut. Es ist sehr angenehm, wann immer nötig, nochmals nachlesen zu können. ungeklärte fragen können (meistens) beantwortet werden. Dass man eine Vorbereitung fürs Laborarbeiten erhält. Und dass man durch die Fragen und die Theorie gewisse Sachen bei den Experimenten danach im Labor besser versteht. Das man Sachen wiederholen oder nachlesen kann. Ich finde die Grafik sehr gut gelungen. Dass man auch unrealistische Sachen erleben kann (Marie brennt 😉 ) Denke man ist aktiver dabei als wenn man in 2er Gruppen ist. Spannend es auzuprobieren, etwas neues, viel Theorie die man im labor nicht parallel erhält Es ist sehr modern gestaltet und alle Informationen sind jederzeit abrufbar (Theorie etc.). Es ist gut das wenn etwas falsch gemacht wird, die Folgen auch direkt gesehen werden können. Also z.B Säure in Wasser... Es sind gute Beispiele, an denen man etwas über die verwendeten Stoffe lernt. Ehrlich gesagt nichts, es ist schön einen Einblick ins Labor zu erhalten aber wenn man selber schon mehrmals im Labor stand, ist es mühsam. - All text answers:
manchmal ist es schwierig das man genau an den richtigen Ort klickt. Am meisten Zeit hat es mich gekostet wenn ich nicht genau wusste auf was ich klicken muss um weiter zu machen (z Bsp bei Labor Safety ist die Person verbrannt weil ich nicht draufdrücken konnte) Relativ lange Spielzeiten. Manchmal nicht ganz eindeutig was man zu tun hat. Z.T ist die Handhabung etwas mühsam. Z.B. ist es nervig, dass man immer alles einzeln wieder an seinen Platz stellen muss. Teilweise ist es nicht möglich weiter zu spielen und man muss das ganze wieder von vorne beginnen. Auch war die Erklärung nicht immer sehr eindeutig, so dass man nicht wusste, was gefragt oder zu tun war. Es wurde mir teils nicht alles angezeigt, da mein Laptopbildschirm zu klein war Es sind immer wieder technische Fehler aufgetaucht, wie dass man eine Titration durchführen musste, aber den Trichter nicht aufsetzen konnte. Oder dort, wo verlangt wurde, die Person aus dem Feuer zu retten. es hat nicht immer auf das reagiert, was man drücken wollte. Die Titrationssimulation ist sehr schlecht. Ich finde es bringt nicht, weil man die Bürette fast nicht bedienen kann. Deshalb wird es mehr frustrierend als sonst, und ich musste die Simulation mehrmals neustarten. Da man schon mehrere Titrationen im Labor durchführt finde ich die Simulation gar nicht nötig. Teilweise zu sehr realistisch (dass man zBsp die verschwendeten Lösungen zuerst wieder hinstellen muss, bevor man eine neue Flasche benutzen kann). Es ist unzuverlässlich, es funktionniert einfach nicht wirklich Dass man nicht genau weiss, wo im Labor sich verschiedene Dinge befinden. manchmal ist nicht ganz klar, was gemeint ist
teils waren auch die Formeln nicht ersichtlichGewisse Schritte funktionieren nur, wenn man genau auf den mm darauf Klickt wo das Programm will / eingestellt ist. Erwischt man nicht genau diese Stelle, ist man verwirrt und kommt nicht weiter. Die Technik funktionniert nicht immer perfekt zB. Titration bei ung.40% Der Schluss des "Chemistry Safety" erschien mir noch nicht ganz logisch aufgebaut. Zum Teil war es sehr verwirrend was man nun machen musste und man musste Dinge endlos lange probieren, nur weil die Steuerung nicht funktioniert hat (Titration!, Eintragen von Werten usw) Wenn man mehrmals was falsch wählt, blockiert es sich und man verliert so viel zeit. Darstellung Die vielen zwischenschritte mit back, da dies z.T. nicht ganz funktionierte und z.T. überflüssig war Ich muss jedes mal die Auflösung meines Computers ändern damit überhaupt alles in Labster angezeigt wurde. Zudem hat bei mir der Titrationsversuch mehrere Male nicht geklappt, da ich die Bürette nicht anklicken konnte, dass hat mich dann schlussendlich extrem viel Zeit gekostet. Manchmal hängt sichdas Programm auf oder man kann nicht weitermachen, da es die ausgeführten Aktion nicht annimmt. Manchmal könnte ich nicht verstehen, was drücken sollte. Zum Beispiel ich hätte viele Probleme mit der Frau und dem Feuer. Das wenn man nicht weiter kommt man blockiert ist. Ich konnte oft nicht weitermachen nur weil ich nicht wusste zu klicken war. Ich hatte zum Beispiel problem mit der Frau und dem Feuer. Es ist nicht immer einfach verstehen was sollte man machen. Die Theoretischen Teile Oft ist die Wegleitung etwas irreführend und man ist nicht genau bewusst, was man tuen muss. (Vor allem im Titrations Bereich) Zum Beispiel bei der Titration im Labster Lab ist das Handling des Programmes mühsam Das das Programm teilweise nicht im richtigen Format aufging (auch mit dem richtigen surfer) und dass man wenn man etwas (z.b. ein verfahren) nur kurz nachschauen wollte, alles noch einmal durchspielen musste. Eine Kurze Zusammenfassung der Methode die man evtl. auch downloaden könnte wäre toll, dann könnte man für das kommende Experiment im richten Labor noch einmal kurz nachlesen. Wenn das HPLC-Gerät nicht funktioniert und man bei den Fragen dann einfach raten muss. Ich finde die Steuerung in Labster überhaupt nicht intuitiv. Zudem läuft Labster nicht gleich gut auf allen Geräten. Das oberste Tablar, wo Methanol etc. drauf steht, war bei mir nicht sichtbar, weshalb ich aufs Geratewohl mit der Maus an den oberen Rand klicken musste. Das ist sehr zeitaufwändig.
Die Parametermanipulation bei HPLC funktioniert nicht.der Zeitaufwand ist etwas gross weil man doch immer alles sehr exakt anklicken muss und oft viel Zeit verliert obwohl man weiss was als nächstes kommt, jedoch nicht weiss wo klicken. Ein bisschen lange, vor allem HPLC. Die Funktionalität - nichts ist nerviger als Technologie die nicht funktioniert ! Teilweise zu unpräzise Erklärung, wo man als nächstes hinklicken muss. Bzw. zu kleine Klickfläche in vereinzelten Situationen. Manchmal waren einige Dinge nicht klar und deutlich beschrieben. Z.B. wussten viele nicht, dass man bei der Titration die Bürette durch mehrmaliges Drücken auf die Öffnung auch wieder schliessen kann und so leerte man aus Versehen viel zu viel der Lösung in die Probe. Zum Teil stürzt Programm ab, gewisse Sachen (bsp Titration durchführen) nicht ganz selbsterklärend
zum Teil zu viele theoretische FragenStimmen, Voice Actors würden das ganze viel angenehmern gestalten die technischen Probleme und wenn nicht klar ist, wo genau gedrückt werden soll. Zum Teil wird es ein wenig unklar formulliert und man kommt nicht weiter. Zudem ist eine gute Leistung des Computers erforderlich, ich musste mehrmals das Programm herunterfahren und dann wieder öffnen während dem Labster versuch Die Bedienung ist häufig seehr kompliziert. (bei der Titration musste ich 15 lang probieren, bis ich herausgefunden habe, wie man die Pipettierhilfe aufsetzen kann) Ich hatte einmal technische Probleme beim Anzeigen des Textes. Die Beantwortung der Fragen war nur noch durch raten möglich. Zum Teil ist es sehr mühsam wenn man ein Fehler macht. Bei der Titration konnte ich den Trichter nicht mehr entfernen und musste von vorne beginnen. Es ist nicht immer klar, was man machen soll bzw. funktioniert nicht. Es ist zu langsam, hab es mehrmals schliessen müssen, mein Laptop wurde immer sehr heiss. Diese Programme läuft ein bisschen zu langsam auf Mac. Ist leider oft Langsam und schlussendlich ist der Zeitaufwand im vergleich mit dem Lerneffekt recht gross. Dass ich zum Teil ewig nicht weiterkam (Titration). Viele der Abläufe sind nicht zwingend nötig für das Verständnis! Wir wissen ja z.B. dass man eine Flasche erst ablegen muss, bevor man den nächsten Gegenstand in die Hand nehmen kann. aber dies immer wieder per Knopfdruck in der richtigen Reihenfolge im Programm zu machen ist nicht nötig! Man soll ja nicht so grundlegende Dinge lernen, sondern den richtigen Umgang im Labor erlernen und Versuche korrekt verstehen. Das es teilweise zusammenbricht und es sehr lange immer laden muss. Das technisch nicht immer alles geklappt hat. Und z.B. die Titration war am Compi 100 mal schwieriger als im Lab. Einmal hat es bei mir auch nicht gespeichert und ich musste wieder von vorne beginnen. Es fehlt die Möglichkeit genügeng Hilfe zu bekommen wenn man bei gewissen Aufagben nicht weiterkommt bzw fehlt die Möglichkeit in solchen Fällen diesen Schritt zu überspringen. Dass es manchmal an ganz kleinen Sachen scheitert wie zum Beispiel, dass man bei der Waage auf "open" drücken muss und nicht einfach auf die Türe klicken kann. Persönliche Kontakt! Kommen viele Fragen auf und macht mehr Spass! Immer alles virtuell eher weniger... dauert, es zieht sich ziemlich
Titration war ultra mühsam, habe 30 minuten alleine zum titriren gebraucht
teilweise macht man eine schritt zu schnell und kommt dann nicht weiter, weil das das progrmm nicht gecheckt hat....Dass es nicht auf alles Geräten funktioniert (zB. Geht es nicht auf meinem Tablet, dh ich kann es nicht unterwegs machen). Das es nur mit Firefoy läuft. Ich hatte ca. 1 Stunde bis das Programm auf meinem Laptop lief (habe aber auch einen älteren Laptop) Ich konnte (auf meinem Computer) nicht immer genau darauf drücken, wo ich wollte. So wurde das ganze sehr zeitaufwendig, da ich viele der "brenzligen" Situationen viele Male probieren musste. Die Simulationen sind soweit gut aber gewisse Dinge sind noch nicht genug ausgeklügelt -> Ausflusshahn Bürette, Rettung der Laborpartnerin etc - This has already been very much improved with the new labs, including our new Kjeldahl Lab. Thanx! ↵