Terwijl ChatGPT op dit moment een ware hype is, zonder duidelijk doel, hebben Google Research en DeepMind onlangs MedPaLM geïntroduceerd , een open-source groot taalmodel voor medische doeleinden.

Het combineert HealthSearchQA, een nieuwe dataset met gratis antwoorden op online gezochte medische vragen, met zes bestaande datasets met antwoorden op open vragen over professionele medische onderzoeken, onderzoek en consumentenvragen. De benchmark bevat ook methodologie voor het evalueren van menselijke modelreacties langs verschillende assen, waaronder feitelijkheid, precisie, potentiële schade en vooringenomenheid.

De HealthsearchQA-dataset, die bestaat uit 3375 veelgestelde consumentenvragen, is samengesteld op basis van medische diagnoses en de bijbehorende symptomen. Alle gebruikers die de seed-zinnen invoerden, kregen de openbaar beschikbare veelgestelde vragen te zien die werden opgehaald met behulp van de seed-gegevens en gemaakt door een zoekmachine.

Een groep artsen stelde bijvoorbeeld vast dat 92,6% van de Med-PaLM-antwoorden overeenkwam met de door de arts gegenereerde antwoorden (92,9%), waarmee duidelijk is dat de klant sneller kan worden geholpen en op een toegankelijke manier.