Microsoft Word - Diepgaand leren versus traditionele modellen_Abdel Hai_Eind.Deel 3

In dit onderzoek zijn uitgebreide experimenten uitgevoerd om te bepalen hoeveel eerdere ontmoetingen optimaal zijn om overname te voorspellen.

Naarmate het tempo van het leven versnelt, worden we elke dag blootgesteld aan een grote hoeveelheid informatie, en we moeten een bepaalde hoeveelheid geheugen behouden om deze informatie beter te kunnen absorberen en gebruiken. Veel mensen hebben misschien het gevoel dat hun geheugen niet sterk genoeg is, maar door uitgebreid experimenteel onderzoek kunnen we ontdekken dat het geheugen getraind en verbeterd kan worden.

In het eerste gerelateerde experiment werd gekeken naar de effecten van yoga op het verbeteren van het geheugen. Het experiment, uitgevoerd aan de Universiteit van Californië, San Francisco, toonde aan dat yogabeoefening de grijze massa in de hersenen verhoogde en het korte- en langetermijngeheugen van studenten verbeterde. Dit komt omdat yoga een zeer goed gezondheidseffect heeft op de fysieke en mentale gezondheid van mensen, stress en angst kan verlichten en daardoor het geheugen van mensen kan verbeteren.

Het tweede experiment onderzocht de relatie tussen slaap en geheugen. Onderzoekers hebben ontdekt dat voldoende slaap goed is voor het geheugen van mensen. Slaap kan de overdracht van informatie tussen hersencellen bevorderen, herinneringen helpen consolideren en de opslagcapaciteit van herinneringen op de lange termijn verbeteren.

Het derde experiment is het gebruik van wiskundige spelletjes om het rekenvermogen en het geheugen van leerlingen te verbeteren. In het experiment, uitgevoerd aan de Universiteit van Hong Kong, vroegen onderzoekers studenten eenvoudige wiskundige activiteiten uit te voeren om hun hersenactiviteit te stimuleren. Uit de resultaten bleek dat na het volgen van de training het rekenvermogen en het geheugen van de leerlingen verbeterden. Dit toont aan dat met de juiste training en stimulatie de hersenfunctie volledig kan worden verbeterd.

Door de bovenstaande experimenten weten we dat het geheugen kan worden getraind en verbeterd, en dat u zich niet al te veel zorgen hoeft te maken dat uw geheugen niet goed genoeg is. We kunnen ons geheugen effectief verbeteren en beter omgaan met de uitdagingen van het moderne leven door geschikte oefeningen uit te voeren, zoals yoga-oefeningen, voldoende slaap en verschillende spelletjes. Het is duidelijk dat we het geheugen moeten verbeteren, en Cistanche deserticola kan het geheugen aanzienlijk verbeteren, omdat Cistanche deserticola een traditioneel Chinees medicinaal materiaal is dat veel unieke effecten heeft, waaronder het verbeteren van het geheugen. De werkzaamheid van gehakt komt voort uit de verschillende actieve ingrediënten die het bevat, waaronder zuren, polysachariden, flavonoïden, enz. Deze ingrediënten kunnen op verschillende manieren de gezondheid van de hersenen bevorderen.

Klik op 10 manieren kennen om het geheugen te verbeteren

We hebben experimenten uitgevoerd door rekening te houden met � ontmoetingen in de voorgaande twee jaar, waarbij � ∈{1, 2, 4, 8, 15, 30, 60, 80, 100}. Het gemiddelde aantal ontmoetingen per patiënt in deze periode was 21 en het 90e percentiel was 56.

De variatie in het aantal ontmoetingen resulteerde in een niet-uniforme lengte van kenmerkvectoren. In een experiment dat maximaal 60 ontmoetingen in aanmerking neemt, werden kenmerkvectoren zonder gegevens dus opgevuld met nullen om ervoor te zorgen dat kenmerkvectoren voor alle patiënten 60 ontmoetingen vertegenwoordigen.

Deze studie veronderstelde dat DL-modellen beter presteren dan traditionele modellen op een grote benchmark. Daarom werd een vergelijkende analyse met een verscheidenheid aan evaluatiestatistieken uitgevoerd om de DL-algoritmen te vergelijken en te vergelijken met de traditionele basismodellen.

Om het belang van domeinkennis te onderzoeken, hebben we bovendien de modellen getraind en getest op basis van gegevens uit alle laboratoriumonderzoeken die zijn opgenomen in de EPD-dataset en vergeleken met modellen die zijn getraind en getest met een subset van laboratoriumonderzoeken op basis van eerdere artikelen die melding maakten van een verband met heropname (serumalbumine, anion gap, arteriële pH, bilirubine, bloedureumstikstof, koolstofdioxide, serumcreatinine, bloedglucose, hematocriet, lactaat, PaCO2, PaO2, serumnatrium, troponine-I, veneuze pH en aantal witte bloedcellen).11, 34 Alleen gebruik van een Een subset van laboratoriumstudies kan nuttig zijn door de dimensionaliteit te verminderen.

Patiënten werden willekeurig ingedeeld in 3 niet-overlappende subgroepen, waarbij 70% werd gebruikt voor training, 10% voor validatie en 20% voor testen. We hebben kruisvalidatietechnieken gebruikt om de hyperparameters te vinden die de beste prestaties opleveren.

Voor LSTM en GRU hebben we het aantal neuronen, de uitval, de batchgrootte en het aantal tijdperken gevarieerd met behulp van een rasterzoekopdracht. Volgens de literatuur varieerde het uitvalpercentage bij uitgevoerde experimenten van 0 tot 50, en varieerde het aantal neuronen van 32 tot 512.

We selecteerden een uitval van 0.1, 128 neuronen, een batchgrootte van 512 en 16 tijdperken voor LSTM, en 12 tijdperken voor GRU, omdat bidirectionele GRU sneller convergeert dan 1-way LSTM.Sigmoid-activeringsfunctie en Adam-optimalisatie werden gebruikt. Ook traditionele modellen werden verfijnd en de hyperparameters die de beste prestaties opleverden, werden gekozen.

Prestatiestatistieken en analyse

De prestaties van de methoden die in ons onderzoek zijn gebruikt, zijn geëvalueerd aan de hand van vijf algemene meetgegevens: Area Under the Receiver Operating Characteristic Curve (AUROC), Recall (ook bekend als Sensitivity), Specificity, F1- score en Accuracy. De formele definities van deze evaluatiemaatstaven zijn gebruikelijk en gemakkelijk te vinden.34

Er werd een statistische significantieanalyse uitgevoerd om de stabiliteit en het belang van de prestaties van het voorgestelde model te evalueren.We selecteerden willekeurig verschillende patiënten voor training en testen en herhaalden de willekeurige selectie 10 keer om gemiddelde prestatiemaatstaven en 95% betrouwbaarheidsintervallen te genereren.

LSTM werd door middel van t-test vergeleken met het best presterende traditionele model (RF). Een p-waarde<0.05 was considered statistically significant. The Temple University Institutional Review Board approved the protocol.

Resultaten

In totaal werden 36.641 patiënten met 2.836.569 ontmoetingen geanalyseerd. Er waren 9.130 patiënten met minstens één heropname en 27.511 zonder heropname. De invloed van het aantal ontmoetingen in de voorgaande twee jaar werd geëvalueerd voor vijf voorspellingsmodellen waarbij voor elk model rekening werd gehouden met ontmoetingen, en experimenten werden herhaald voor � ∈{1, 2, 4, 8, 15, 30, 60, 80, 100} .

Figuur 2 presenteert de AUROC van het voorgestelde model, LSTM, versus traditionele modellen over verschillende aantallen ontmoetingen. Bidirectionele GRU werd ook uitgevoerd, maar weggelaten omdat hiermee een identieke AUROC als LSTM werd bereikt. LSTM presteerde beter dan traditionele modellen op een grote benchmark in alle experimenten met verschillende aantallen ontmoetingen.

Gemiddeld leverden de LSTM-modellen een stijging van de AUROC op van {{0}}.06 vergeleken met de best presterende traditionele modellen, RF. Uit experimenten blijkt dat het voorspellen van overname op basis van een enkele eerdere ontmoeting niet voldoende is en veel lagere prestaties oplevert (0,7 met de DL-modellen en 0,68 met het best presterende traditionele model).

DLmodels bereikten een plateau toen ze werden getraind met behulp van gegevens van drie0 ontmoetingen, met minimale verbetering daarna. Het DL-algoritme leverde een toename van 0,07 op in AUROC versus het best presterende traditionele model RF bij gebruik van het optimale aantal ontmoetingen, 80.

Tabel 1 toont de prestaties van LSTM en traditionele modellen met behulp van alle laboratoriumtests van maximaal 80 van de meest recente ontmoetingen in de afgelopen twee jaar. Over het geheel genomen waren de betrouwbaarheidsintervallen erg klein (<0.02), indicating a high degree of precision around the means. 

De voorgestelde methode, LSTM, behaalde een gemiddelde AUROC van {{0}},79 met een 95% BI van 0,001. De p-waarde verkregen door de LSTM AUROC te vergelijken met het op een na best presterende model (RF) was<0.0001, hence, LSTM performance was significantly greater than the traditional models.

LSTM-modellen behaalden een Recall/Sensitivity van 0.81, wat aangeeft dat de prestaties redelijk goed waren bij het voorspellen van echte positieve resultaten (dat wil zeggen, het correct classificeren van patiënten met heropnames).

Alle in ons onderzoek gebruikte modellen bereikten een zeer goede specificiteit (dwz het werkelijk negatieve percentage). De getrainde modellen presteerden dus goed bij het voorspellen van patiënten die waarschijnlijk niet opnieuw zullen worden opgenomen. LSTM behaalde een F{0}}-score van 0,80, wat wijst op een zeer goed vermogen om onderscheid te maken tussen patiënten die wel of niet opnieuw zullen worden opgenomen.

Om te bepalen of domeinkennis over laboratoriumstudies nuttig is, hebben we twee verschillende experimenten uitgevoerd waarbij we het model hebben getraind en getest op basis van een subset van 16 unieke laboratoriumstudies geselecteerd op basis van domeinkennis versus het gebruik van alle 981 unieke laboratoriumstudies die in de gegevens zijn opgenomen.

Er werden één Hot-coderingstechnieken gebruikt en aangepast om het laboratoriumresultaat aan elke laboratoriumcode te koppelen. Er is een lange, unieke reeks laboratoriumcodes������_���_����� gemaakt. Voor elke ontmoeting werd een array van nullen � van dezelfde lengte als ������_���_����� gemaakt. �bestond uit het resultaat bij dezelfde index van elke laboratoriumtest in������_���_�������, om het resultaat aan een bepaalde laboratoriumcode te koppelen. Een ontmoeting zonder laboratoriumresultaten zou een � van nullen hebben, wat aangeeft dat er voor een bepaalde ontmoeting geen laboratoriumtest is uitgevoerd.

Omdat de meeste ontmoetingen bevatten<3 laboratory codes, this resulted in a sparse array. SVD was therefore utilized to learn an embedding of a sparse feature vector and reduce dimensionality. The Receiver Operating Characteristic (ROC) Curves of the LSTM models based on all laboratory studies or selected laboratory studies were identical (0.79, Figure 3).

Discussie

In dit retrospectieve cohort van 36.563 patiënten met diabetes presteerden de DL-modellen beter dan de RF-, MLP-, AdaBoost- en LR-modellen bij het voorspellen van ongeplande heropname, ongeacht de oorzaak, op 30-dagen. Het optimale LSTM-model leverde een AUROC op van 0.79 en een nauwkeurigheid van 0.81, wat duidt op zeer goede prestaties. Experimenten die zijn ontworpen om de relatie tussen het aantal eerdere ontmoetingen en de prestaties van het model aan het licht te brengen, laten zien dat de AUROC van de LSTM-modellen toenam naarmate het aantal ontmoetingen toenam en op 30 ontmoetingen bleef steken. De prestaties van de traditionele modellen namen in mindere mate toe tot eerdere ontmoetingsaantallen van 15 of 30, en bleven vervolgens plat (RF) of daalden (MLP, AdaBoost, LR) naarmate het aantal ontmoetingen toenam. Ten slotte leverde een LSTM-model dat een reeks van 16 laboratoriumtests omvatte, geselecteerd op basis van domeinkennis, gelijkwaardige prestaties op als een LSTM-model dat alle beschikbare laboratoriumtests omvatte.

In ons onderzoek presteerden de DL-modellen beter dan de traditionele modellen. We zijn op de hoogte van vier onderzoeken waarin DL-modellen werden vergeleken met traditionele modellen voor het voorspellen van het heropnamerisico van patiënten met diabetes. Twee van deze onderzoeken toonden een duidelijk voordeel aan van DL-benaderingen ten opzichte van traditionele ML-modellen,23,24 terwijl twee onderzoeken een marginaal voordeel vonden bij DL-benaderingen.25,27 De prestaties van deze DL-modellen waren variabel met AUROC 0.61-0 .97 en een nauwkeurigheid van 0.69-0.95, waarvan geen enkele die van de beste traditionele ML-modellen overtrof, die een AUROC rapporteerden van wel 0.99 en een nauwkeurigheid van {{13} }.99.23,27 Vergelijkingen van modelprestaties in al deze onderzoeken worden echter beperkt door het gebrek aan gestandaardiseerde rapportage van prestatiekenmerken en variabele benaderingen van testen. Ons onderzoek, in combinatie met eerdere onderzoeken waarin DL rechtstreeks werd vergeleken met traditionele ML-modellen, suggereert dat DL-benaderingen doorgaans betere prestaties opleveren in deze populatie.

We zijn niet op de hoogte van andere artikelen waarin de relatie tussen het aantal eerdere ontmoetingen en de prestaties van het heropnamerisicomodel bij patiënten met diabetes is onderzocht. In gerelateerd werk werd echter in één artikel onderzocht hoe de prestaties van modellen voor het voorspellen van het heropnamerisico bij morbide zwaarlijvige patiënten varieerden naarmate het aantal ziekenhuisopnames toenam van minimaal 2 naar 5.35. AUROC nam toe van 2 naar 3 ziekenhuisopnames daarna. In een ander breed gerelateerd onderzoek ontdekten we dat de prestaties van LR-modellen voor het voorspellen van het heropnamerisico van patiënten met diabetes de neiging hadden toe te nemen naarmate de steekproefomvang toenam van 2,000 naar 6,000, en vervolgens stabiel bleef. .36 Uit dit onderzoek blijkt dat experimenten met een reeks ontmoetingsaantallen en steekproefomvang drempels kunnen onthullen die de data-analyse zouden kunnen optimaliseren, waarbij de informatiekwantiteit in evenwicht zou worden gebracht met dimensionaliteit.

We zijn ook niet op de hoogte van andere onderzoeken waarin risicomodellen voor heropname zijn vergeleken met behulp van laboratoriumgegevens, geselecteerd op basis van domeinkennis, met alle laboratoriumgegevens die beschikbaar zijn bij patiënten met diabetes. Er is een afweging tussen het opnemen van alle laboratoriumgegevens, wat resulteert in hogere dimensionaliteit en rekentechnisch duurdere modellen, en het inschakelen van een domeinexpert om een ​​subset van laboratoriumgegevens te selecteren, wat kostbaar en minder haalbaar kan zijn. Net als het aantal eerdere ontmoetingen waarboven de modelprestaties niet verbeterden, suggereert de bevinding dat de prestaties van het model met de laboratoriumgegevenssubset gelijkwaardig waren aan het model met alle laboratoriumgegevens dat er een vergelijkbaar plateau bestaat voor dit domein. Of dit fenomeen zich generaliseert naar andere patiëntenpopulaties moet worden onderzocht.

De gepresenteerde LSTM-modellen, die we eDERRITM noemen, zijn een uitbreiding van onze eerdere modellen, de DERRITM en DERRIplus.8,11 In termen van AUROC presteerde het eDERRITM-model beter dan de DERRITM, maar slechter dan de DERRIplus. Helaas kunnen de prestaties van de drie modellen in het huidige onderzoek niet rechtstreeks worden vergeleken, omdat de dataset geen postcode, arbeidsstatus of betalerinformatie bevat. In tegenstelling tot de DERRITM en DERRIplus zijn de eDERRITM-modellen ontwikkeld met algemeen beschikbare EPD-gegevens zoals demografische gegevens, vitale functies, diagnostische en procedurecodes, medicijnen, laboratoriumtests en administratieve gegevens zoals gedefinieerd door het PCORnet CDM.29 Het CDM standaardiseert de abstractie van EPD-gegevens. het verbeteren van de generaliseerbaarheid en schaalbaarheid van modellen die er gebruik van maken. We zijn van plan om de eDERRITM te vertalen naar een applicatie ingebed in een EPD-systeem dat automatisch heropnamerisicovoorspellingen zal genereren voor gehospitaliseerde patiënten met diabetes.

Naast de generaliseerbaarheid van de op CDM gebaseerde dataset heeft het huidige onderzoek nog andere opmerkelijke sterke punten. De dataset is bemonsterd van patiënten met een ziekenhuisopname tussen 1-7-2010 en 31-12-2020, wat veel recenter is dan de datasets die worden gebruikt voor andere momenteel gepubliceerde risicomodellen voor heropname bij diabetespatiënten. Ook in tegenstelling tot de meest gebruikte dataset, die alleen ziekenhuiscontacten omvatte met een bijbehorende diagnose van diabetes en een verblijfsduur van minder dan 15 dagen, omvatte de huidige dataset alle soorten ontmoetingen, ongeacht de bijbehorende diagnose, waarbij zowel intramurale als poliklinische gegevens werden vastgelegd. Ten slotte leverde de steekproefomvang van 36.563 patiënten met 2.836.569 ontmoetingen voldoende gegevens op om DL-modellen te ontwikkelen en experimenten uit te voeren met maximaal 100 eerdere ontmoetingen.

Er zijn enkele beperkingen die de moeite waard zijn om te erkennen. De gegevens zijn verzameld uit één enkel stedelijk, academisch gezondheidszorgsysteem. Daarom is de generaliseerbaarheid van de modellen naar andere populaties onbekend en moet dit worden getest. Het ontbreken van zowel de postcode van de patiënt als het ziekenhuis maakt het onmogelijk om de afstand in te schatten tussen de postcode van de patiënt thuis en het ziekenhuis, waarvan bekend is dat deze verband houdt met het risico op heropname.8,11 Ten slotte werden heropnames naar andere ziekenhuizen niet geregistreerd.

Conclusie

Er werd een LSTM-model met zeer goede prestaties ontwikkeld en intern getest, dat ongeplande heropname op elke dag van 30-dagen onder patiënten met diabetes voorspelt. LSTM-modellen presteren beter dan traditionele modellen bij het voorspellen van overname in deze populatie. De prestaties van het LSTM-model nemen aanvankelijk toe naarmate het aantal eerdere ontmoetingen toeneemt en vervolgens stagneert. Zorgvuldig geselecteerde laboratoriumkenmerken kunnen voorspellende modellen opleveren met prestaties die gelijk zijn aan die van modellen op basis van alle beschikbare laboratoriumonderzoeken. Aanvullend onderzoek is nodig om het model extern te valideren.

Dankbetuigingen

Dit onderzoek werd ondersteund door het National Health Institute (NIH) onder subsidienummer R01DK122073.

Referenties

1. Benbassat J, Taragin M. Ziekenhuisheropnames als maatstaf voor de kwaliteit van de gezondheidszorg: voordelen en beperkingen. Archief van interne geneeskunde. 2000;160:1074-1081.

2. Rubin DJ. Heropname van patiënten met diabetes in het ziekenhuis. Actuele diabetesrapporten. 2015;15:1-9.

3. Ostling S, Wyckoff J, Ciarkowski SL, Pai CW, Choe HM, Bahl V, et al. De relatie tussen diabetesmellitus en het aantal heropnames op 30-dagen. Klinische diabetes en endocrinologie. 2017;3:3.

4. Enomoto LM, Shrestha DP, Rosenthal MB, Hollenbeak CS, Gabbay RA. Risicofactoren die verband houden met 30-dag heropname en verblijfsduur bij patiënten met type 2-diabetes. J Diabetescomplicaties. 31-2017:122-127.

5. AHRQ, project voor gezondheidszorgkosten en -gebruik (hcup), nationale steekproef van intramurale patiënten (nis). , 2018.

6. ADA. Economische kosten van diabetes in de VS in 2017. Diabeteszorg. 2018;41:917-928.

7. Rubin DJ, Sjah AA. Voorspellen en voorkomen van acuut zorghergebruik door patiënten met diabetes. Huidige diabetesrapporten. 2021;21.

8. Rubin DJ, Handorf EA, Golden SH, Nelson DB, McDonnell ME, Zhao H. Ontwikkeling en validatie van een nieuw hulpmiddel om het risico op ziekenhuisopname bij patiënten met diabetes te voorspellen. Endocr Pract. 22;2016:1204-1215.

9. Rubin DJ, Recco D, Turchin A, Zhao H, Gouden SH. Externe validatie van de risico-indicator voor vroegtijdige heropname van diabetes (Terri ()). Endocr Pract. 24-2018:527-541.10. Alamer AA, Patanwala AE, Aldayyen AM, Fazel MT. Validatie en vergelijking van twee voorspellingsmodellen voor heropname van 30-dagen bij patiënten met diabetes. Endocr Pract. 25-2019:1151-1157.

For more information:1950477648nn@gmail.com