Ένας αλγόριθμος που ελέγχει την παιδική παραμέληση εγείρει ανησυχίες
Μέσα σε ένα σπήλαιο πέτρινο φρούριο στο κέντρο του Πίτσμπουργκ, ο δικηγόρος Ρόμπιν Φρανκ υπερασπίζεται τους γονείς σε ένα από τα χαμηλότερα σημεία τους - όταν κινδυνεύουν να χάσουν τα παιδιά τους.
Η δουλειά δεν είναι ποτέ εύκολη, αλλά στο παρελθόν ήξερε τι αντιμετώπιζε όταν αντιμετώπιζε τις υπηρεσίες προστασίας παιδιών στο οικογενειακό δικαστήριο. Τώρα, ανησυχεί ότι παλεύει με κάτι που δεν μπορεί να δει: έναν αδιαφανή αλγόριθμο του οποίου οι στατιστικοί υπολογισμοί βοηθούν τους κοινωνικούς λειτουργούς να αποφασίσουν ποιες οικογένειες πρέπει να διερευνηθούν αρχικά.
«Πολλοί άνθρωποι δεν γνωρίζουν ότι χρησιμοποιείται καν», είπε ο Frank. «Οι οικογένειες θα πρέπει να έχουν το δικαίωμα να έχουν όλες τις πληροφορίες στο αρχείο τους».
Από το Λος Άντζελες στο Κολοράντο και σε όλο το Όρεγκον, καθώς οι υπηρεσίες παιδικής μέριμνας χρησιμοποιούν ή εξετάζουν εργαλεία παρόμοια με αυτά στην κομητεία Allegheny της Πενσυλβάνια, μια ανασκόπηση του Associated Press έχει εντοπίσει μια σειρά από ανησυχίες σχετικά με την τεχνολογία, συμπεριλαμβανομένων ερωτημάτων σχετικά με την αξιοπιστία της και τις δυνατότητές της να σκληραίνουν τις φυλετικές ανισότητες στο σύστημα πρόνοιας των παιδιών. Σχετικά ζητήματα έχουν ήδη τορπιλίσει τα σχέδια ορισμένων δικαιοδοσιών για χρήση προγνωστικών μοντέλων, όπως το εργαλείο που κυκλοφόρησε σημαντικά από την πολιτεία του Ιλινόις.
Σύμφωνα με νέα έρευνα από μια ομάδα του Πανεπιστημίου Carnegie Mellon που έλαβε αποκλειστικά το AP , ο αλγόριθμος του Allegheny στα πρώτα χρόνια λειτουργίας του έδειξε ένα μοτίβο επισήμανσης ενός δυσανάλογου αριθμού μαύρων παιδιών για μια «υποχρεωτική» έρευνα παραμέλησης, σε σύγκριση με λευκά παιδιά. Οι ανεξάρτητοι ερευνητές, που έλαβαν δεδομένα από την κομητεία, διαπίστωσαν επίσης ότι οι κοινωνικοί λειτουργοί διαφωνούσαν με τις βαθμολογίες κινδύνου που παρήγαγε ο αλγόριθμος περίπου στο ένα τρίτο των φορών.
Οι αξιωματούχοι της κομητείας δήλωσαν ότι οι κοινωνικοί λειτουργοί μπορούν πάντα να παρακάμψουν το εργαλείο και χαρακτήρισαν την έρευνα «υποθετική».
Οι υπάλληλοι της παιδικής μέριμνας στην κομητεία Allegheny, το λίκνο της τηλεοπτικής γειτονιάς του Mister Rogers και οι παιδοκεντρικές καινοτομίες του εικονιδίου, λένε ότι το εργαλείο αιχμής - το οποίο τραβάει την προσοχή σε όλη τη χώρα - χρησιμοποιεί δεδομένα για να υποστηρίξει τους εργαζόμενους σε πρακτορεία καθώς προσπαθούν να προστατεύσουν τα παιδιά από παραμέληση. Αυτός ο διαφοροποιημένος όρος μπορεί να περιλαμβάνει τα πάντα, από ανεπαρκή στέγαση έως κακή υγιεινή, αλλά είναι μια διαφορετική κατηγορία από τη σωματική ή σεξουαλική κακοποίηση, η οποία διερευνάται χωριστά στην Πενσυλβάνια και δεν υπόκειται στον αλγόριθμο.
«Οι εργαζόμενοι, όποιοι κι αν είναι, δεν θα πρέπει να κληθούν να λάβουν, σε ένα δεδομένο έτος, 14, 15, 16.000 τέτοιου είδους αποφάσεις με απίστευτα ατελείς πληροφορίες», δήλωσε η Erin Dalton, διευθύντρια του Τμήματος Ανθρωπίνων Υπηρεσιών της κομητείας και πρωτοπόρος στην εφαρμογή του αλγόριθμου πρόβλεψης παιδικής ευημερίας.
____
Αυτή η ιστορία, που υποστηρίζεται από το Κέντρο Πούλιτζερ για Αναφορά Κρίσεων, είναι μέρος μιας συνεχιζόμενης σειράς του Associated Press, "Tracked", που διερευνά τη δύναμη και τις συνέπειες των αποφάσεων που οδηγούνται από αλγόριθμους στην καθημερινή ζωή των ανθρώπων.
____
Οι επικριτές λένε ότι δίνει σε ένα πρόγραμμα που τροφοδοτείται από δεδομένα που συλλέγονται ως επί το πλείστον για φτωχούς ανθρώπους έναν μεγάλο ρόλο στην απόφαση για τις τύχες των οικογενειών και προειδοποιούν ενάντια στην αυξανόμενη εξάρτηση των τοπικών αξιωματούχων στα εργαλεία τεχνητής νοημοσύνης.
Εάν το εργαλείο είχε ενεργήσει από μόνο του για την εξέταση σε συγκρίσιμο ποσοστό κλήσεων, θα συνιστούσε να διερευνηθούν τα δύο τρίτα των μαύρων παιδιών, σε σύγκριση με περίπου τα μισά από όλα τα άλλα παιδιά που αναφέρθηκαν, σύμφωνα με μια άλλη μελέτη που δημοσιεύθηκε τον περασμένο μήνα και συντάχθηκε από έναν ερευνητή που έλεγξε τον αλγόριθμο της κομητείας.
Οι συνήγοροι ανησυχούν ότι εάν παρόμοια εργαλεία χρησιμοποιούνται σε άλλα συστήματα παιδικής μέριμνας με ελάχιστη ή καθόλου ανθρώπινη παρέμβαση –όπως με τον τρόπο που χρησιμοποιήθηκαν αλγόριθμοι για τη λήψη αποφάσεων στο σύστημα ποινικής δικαιοσύνης– θα μπορούσαν να ενισχύσουν τις υπάρχουσες φυλετικές ανισότητες στο σύστημα παιδικής πρόνοιας.
«Δεν μειώνει τον αντίκτυπο μεταξύ των μαύρων οικογενειών», είπε ο Logan Stapleton, ερευνητής στο Πανεπιστήμιο Carnegie Mellon. «Όσον αφορά την ακρίβεια και την ανισότητα, (η κομητεία) κάνει ισχυρές δηλώσεις που νομίζω ότι είναι παραπλανητικές».
Επειδή οι ακροάσεις οικογενειακού δικαστηρίου είναι κλειστές στο κοινό και τα αρχεία είναι σφραγισμένα, η AP δεν μπόρεσε να εντοπίσει από πρώτο χέρι καμία οικογένεια που ο αλγόριθμος συνιστούσε να διερευνηθεί υποχρεωτικά για παραμέληση παιδιού, ούτε περιπτώσεις που είχαν ως αποτέλεσμα την αποστολή ενός παιδιού σε ανάδοχο Φροντίδα. Οι οικογένειες και οι δικηγόροι τους δεν μπορούν ποτέ να είναι σίγουροι για το ρόλο του αλγόριθμου στη ζωή τους, ούτε επειδή δεν τους επιτρέπεται να γνωρίζουν τις βαθμολογίες.
ΠΙΟ ΑΣΦΑΛΕΣ, ΠΙΟ ΓΡΗΓΟΡΟ
Περιστατικά πιθανής παραμέλησης αναφέρονται στην τηλεφωνική γραμμή προστασίας παιδιών της κομητείας Allegheny. Οι αναφορές περνούν από μια διαδικασία ελέγχου όπου ο αλγόριθμος υπολογίζει τον πιθανό κίνδυνο του παιδιού και αποδίδει μια βαθμολογία. Στη συνέχεια, οι κοινωνικοί λειτουργοί χρησιμοποιούν τη διακριτική τους ευχέρεια για να αποφασίσουν εάν θα διερευνήσουν.
Το Εργαλείο Διαλογής Οικογένειας Allegheny έχει σχεδιαστεί ειδικά για να προβλέπει τον κίνδυνο που ένα παιδί θα τεθεί σε ανάδοχη φροντίδα τα δύο χρόνια μετά τη διερεύνηση. Χρησιμοποιώντας μια συλλογή λεπτομερών προσωπικών δεδομένων που συλλέγονται από τη γέννηση, Medicaid, κατάχρηση ουσιών, ψυχική υγεία, φυλακές και αρχεία επιτήρησης, μεταξύ άλλων συνόλων κρατικών δεδομένων, ο αλγόριθμος υπολογίζει μια βαθμολογία κινδύνου από 1 έως 20: Όσο υψηλότερος είναι ο αριθμός, τόσο μεγαλύτερος ο κίνδυνος .
Δεδομένων των υψηλών διακυβεύσεων – η παράλειψη μιας αναφοράς παραμέλησης θα μπορούσε να καταλήξει με θάνατο ενός παιδιού, αλλά ο έλεγχος της ζωής μιας οικογένειας θα μπορούσε να τους οδηγήσει σε χωρισμό – η κομητεία και οι προγραμματιστές πρότειναν ότι το εργαλείο τους μπορεί να βοηθήσει στη «διόρθωση της πορείας» και να κάνει το έργο της υπηρεσίας πιο ενδελεχές και αποτελεσματικό με την εξάλειψη των αναξιόπιστων αναφορών, έτσι ώστε οι κοινωνικοί λειτουργοί να μπορούν να επικεντρωθούν σε παιδιά που χρειάζονται πραγματικά προστασία.
Οι προγραμματιστές περιέγραψαν τη χρήση τέτοιων εργαλείων ως ηθική επιταγή, λέγοντας ότι οι υπάλληλοι της παιδικής μέριμνας θα πρέπει να χρησιμοποιούν ό,τι έχουν στη διάθεσή τους για να βεβαιωθούν ότι τα παιδιά δεν θα παραμεληθούν.
«Υπάρχουν παιδιά στις κοινότητές μας που χρειάζονται προστασία», είπε η Emily Putnam-Hornstein, καθηγήτρια στο Πανεπιστήμιο της Βόρειας Καρολίνας στο Chapel Hill's School of Social Work, που βοήθησε στην ανάπτυξη του εργαλείου Allegheny, μιλώντας σε ένα εικονικό πάνελ που πραγματοποιήθηκε από το Πανεπιστήμιο της Νέας Υόρκης. τον Νοεμβριο.
Ο Dalton είπε ότι οι αλγόριθμοι και άλλες τεχνολογίες πρόβλεψης παρέχουν επίσης επιστημονικό έλεγχο για τις προσωπικές προκαταλήψεις των εργαζομένων στο τηλεφωνικό κέντρο, επειδή βλέπουν τη βαθμολογία κινδύνου όταν αποφασίζουν εάν η υπόθεση αξίζει έρευνα. Εάν η υπόθεση κλιμακωθεί, ο Ντάλτον είπε ότι η πλήρης έρευνα διεξάγεται από διαφορετικό κοινωνικό λειτουργό, ο οποίος ερευνά αυτοπροσώπως, αποφασίζει εάν οι ισχυρισμοί είναι αληθινοί και βοηθά να καθοριστεί εάν τα παιδιά πρέπει να τεθούν σε ανάδοχη φροντίδα.
Οι ερευνητές της CMU διαπίστωσαν ότι από τον Αύγουστο του 2016 έως τον Μάιο του 2018, το εργαλείο υπολόγιζε τις βαθμολογίες που υποδηλώνουν ότι το 32,5% των μαύρων παιδιών που αναφέρθηκαν ως παραμελημένα θα έπρεπε να υπόκεινται σε μια «υποχρεωτική» έρευνα, σε σύγκριση με το 20,8% των λευκών παιδιών.
Επιπλέον, η κομητεία επιβεβαίωσε στο AP ότι για περισσότερα από δύο χρόνια, μια τεχνική βλάβη στο εργαλείο εμφάνιζε μερικές φορές τους κοινωνικούς λειτουργούς με λάθος βαθμολογίες, είτε υποτιμώντας είτε υπερεκτιμώντας τον κίνδυνο ενός παιδιού. Οι αξιωματούχοι της κομητείας δήλωσαν ότι το πρόβλημα έκτοτε επιλύθηκε.
Η κομητεία δεν αμφισβήτησε τα στοιχεία των ερευνητών της CMU, αλλά ο Dalton είπε ότι η ερευνητική εργασία αντιπροσώπευε ένα «υποθετικό σενάριο που απομακρύνεται τόσο πολύ από τον τρόπο με τον οποίο έχει εφαρμοστεί αυτό το εργαλείο για την υποστήριξη του εργατικού δυναμικού μας».
Η έρευνα CMU δεν βρήκε διαφορά στο ποσοστό των μαύρων οικογενειών που ερευνήθηκαν μετά την υιοθέτηση του αλγόριθμου. Η μελέτη διαπίστωσε ότι οι εργαζόμενοι ήταν σε θέση να μειώσουν αυτήν την ανισότητα που παράγεται από τον αλγόριθμο.
Η κομητεία λέει ότι οι κοινωνικοί λειτουργοί είναι πάντα ενήμεροι και είναι τελικά υπεύθυνοι για να αποφασίσουν ποιες οικογένειες θα διερευνηθούν, επειδή μπορούν να παρακάμψουν τον αλγόριθμο, ακόμη κι αν επισημαίνει μια υπόθεση για υποχρεωτική έρευνα. Ο Dalton είπε ότι το εργαλείο δεν θα χρησιμοποιηθεί ποτέ μόνο του στο Allegheny και αμφέβαλλε ότι οποιαδήποτε κομητεία θα επέτρεπε την εντελώς αυτοματοποιημένη λήψη αποφάσεων σχετικά με τη ζωή των οικογενειών.
«Φυσικά, θα μπορούσαν να το κάνουν αυτό», είπε. «Νομίζω ότι είναι λιγότερο πιθανό να το κάνουν, γιατί δεν έχει κανένα νόημα να το κάνουν».
Παρά τα όσα περιγράφει η κομητεία ως διασφαλίσεις, ένας ειδικός στην παιδική μέριμνα που εργαζόταν για έναν εργολάβο της κομητείας Allegheny λέει ότι εξακολουθεί να υπάρχει λόγος ανησυχίας.
«Όταν έχετε τεχνολογία σχεδιασμένη από ανθρώπους, η μεροληψία θα εμφανιστεί στους αλγόριθμους», είπε ο Nico'Lee Biddle, ο οποίος έχει εργαστεί για σχεδόν μια δεκαετία στον τομέα της παιδικής ευημερίας, συμπεριλαμβανομένης της οικογενειακής θεραπεύτριας και ειδικής ανάδοχης φροντίδας στο Allegheny. Κομητεία. «Αν σχεδίασαν ένα τέλειο εργαλείο, δεν έχει σημασία, γιατί έχει σχεδιαστεί από πολύ ατελή συστήματα δεδομένων».
Ο Biddle είναι ένα πρώην ανάδοχο παιδί που έγινε θεραπευτής, κοινωνικός λειτουργός και συνήγορος πολιτικής. Το 2020, παραιτήθηκε, κυρίως λόγω της αυξανόμενης απογοήτευσής της με το σύστημα πρόνοιας των παιδιών. Είπε επίσης ότι οι αξιωματούχοι απέρριψαν τις ανησυχίες της όταν ρώτησε γιατί οι οικογένειες παραπέμφθηκαν αρχικά για έρευνα.
«Μπορούσαμε να δούμε την έκθεση και αυτή την απόφαση, αλλά ποτέ δεν μπορέσαμε να δούμε το πραγματικό εργαλείο», είπε. «Θα με συναντούσαν… «Τι σχέση έχει αυτό τώρα;»»
Τα τελευταία χρόνια, οι κινήσεις για την αναμόρφωση – ή την κατάργηση – των υπηρεσιών παιδικής προστασίας έχουν αυξηθεί, καθώς γενιές τρομερών αποτελεσμάτων αναδοχής έχουν αποδειχθεί ότι έχουν τις ρίζες τους στον ρατσισμό.
Σε ένα σημείωμα πέρυσι, το Υπουργείο Υγείας και Ανθρωπίνων Υπηρεσιών των ΗΠΑ ανέφερε τις φυλετικές ανισότητες «σχεδόν σε κάθε σημαντικό σημείο λήψης αποφάσεων» του συστήματος παιδικής πρόνοιας, ένα ζήτημα που είπε η Aysha Schomburg, η αναπληρώτρια επίτροπος του Γραφείου για τα παιδιά των ΗΠΑ, οδηγεί περισσότερα από τα μισά από όλα τα μαύρα παιδιά σε εθνικό επίπεδο θα ερευνηθούν από κοινωνικούς λειτουργούς. «Η υπερβολική παρακολούθηση οδηγεί σε μαζικό χωρισμό της οικογένειας», έγραψε ο Schomburg σε πρόσφατη ανάρτηση στο blog.
Με τις συζητήσεις σχετικά με τη φυλή και την ισότητα να γίνονται μεγάλες στους κύκλους της παιδικής μέριμνας, ο Putnam-Hornstein το περασμένο φθινόπωρο συμμετείχε σε μια στρογγυλή τράπεζα εμπειρογνωμόνων που συγκλήθηκε από το συντηρητικό American Enterprise Institute και συνέγραψε ένα έγγραφο που επέκρινε τους υποστηρικτές που πιστεύουν ότι τα συστήματα παιδικής πρόνοιας είναι εγγενώς ρατσιστικά.
Είπε ότι συνεργάστηκε με την ομάδα που πρότεινε ότι υπάρχουν «φυλετικές ανισότητες στη συχνότητα της κακοποίησης», επειδή βλέπει την ανάγκη για μεταρρυθμίσεις και πιστεύει ότι «η υιοθέτηση αλγοριθμικών βοηθημάτων λήψης αποφάσεων μπορεί να βοηθήσει στην προστασία από την υποκειμενικότητα και την προκατάληψη».
Ορισμένοι ερευνητές ανησυχούν ότι καθώς άλλες κυβερνητικές υπηρεσίες εφαρμόζουν παρόμοια εργαλεία, οι αλγόριθμοι θα μπορούσαν να έχουν τη δυνατότητα να λαμβάνουν κάποιες αποφάσεις μόνοι τους.
«Γνωρίζουμε ότι υπάρχουν πολλές άλλες υπηρεσίες παιδικής μέριμνας που εξετάζουν τη χρήση εργαλείων αξιολόγησης κινδύνου και οι αποφάσεις τους σχετικά με το πόσο θα γίνει η πλήρης αυτοματοποίηση ποικίλλουν πραγματικά», δήλωσε ο Stapleton. «Αν το χρησιμοποιούσε η κομητεία Allegheny ως πλήρως αυτοματοποιημένο εργαλείο, θα είχαμε δει πολύ μεγαλύτερη φυλετική ανισότητα στο ποσοστό των παιδιών που ερευνώνται».
'ΠΕΙΡΑΜΑΤΟΖΩΑ'
Πριν από μια δεκαετία, οι προγραμματιστές του εργαλείου του Allegheny – ο Putnam-Hornstein και η Rhema Vaithianathan, καθηγήτρια οικονομικών υγείας στο Τεχνολογικό Πανεπιστήμιο του Auckland της Νέας Ζηλανδίας – άρχισαν να συνεργάζονται σε ένα έργο για το σχεδιασμό ενός προγνωστικού μοντέλου κινδύνου για το σύστημα πρόνοιας των παιδιών της Νέας Ζηλανδίας.
Ο Vaithianathan και οι συνεργάτες του δημιούργησαν ένα νέο μοντέλο ελέγχου παιδικής κακοποίησης που πρότεινε τη χρήση εθνικών δεδομένων για την πρόβλεψη του κινδύνου ότι το σύστημα παιδικής προστασίας θα επιβεβαίωνε τους ισχυρισμούς ότι ένα παιδί είχε κακομεταχειριστεί μέχρι την ηλικία των 5 ετών. Το σχέδιο ακυρώθηκε αφού έγγραφα αποκάλυψαν τον επικεφαλής του Υπουργείου Κοινωνικής Ανάπτυξης αντιτάχθηκε σθεναρά στο έργο, δηλώνοντας: «Αυτοί είναι παιδιά, όχι αρουραίοι εργαστηρίου».
Ο υπουργός δεν ήταν ο μόνος που ενδιαφερόταν. Η Emily Keddell, καθηγήτρια κοινωνικής εργασίας στο Πανεπιστήμιο Otago στη Νέα Ζηλανδία, η οποία ανέλυσε το εργαλείο στο επιστημονικό περιοδικό Critical Social Policy, διαπίστωσε ότι πιθανότατα θα είχε ως αποτέλεσμα περισσότερες οικογένειες Μαορί να επισημανθούν για έρευνα, ενισχύοντας «υπάρχουσες δομικές ανισότητες από συμβάλλοντας στον συνεχή στιγματισμό αυτού του πληθυσμού».
Σε απάντηση, η Vaithianathan είπε ότι αυτή και οι συνεργάτες της είναι ανοιχτοί στην κριτική της κοινότητας και δεσμεύονται να δείξουν τη δουλειά τους, ακόμα κι αν οι δικαιοδοσίες αποφασίσουν εναντίον της. Πρόσθεσε ότι έχει εργαστεί εκτενώς με Ιθαγενείς ερευνητές Μαορί.
«Ενθαρρύνουμε τις υπηρεσίες να ακούσουν αυτές τις επικριτικές φωνές και να λάβουν οι ίδιοι ηγετικές αποφάσεις», είπε.
Οι Vaithianathan και Putnam-Hornstein είπαν ότι έκτοτε έχουν επεκτείνει το έργο τους σε τουλάχιστον μισή ντουζίνα πόλεις και κομητείες σε όλες τις Ηνωμένες Πολιτείες και έχουν εξερευνήσει εργαλεία κατασκευής στη Χιλή και την Αυστραλία.
Ο Brian Chor, κλινικός ψυχολόγος και ερευνητής παιδικής ευημερίας στο Chapin Hall του Πανεπιστημίου του Σικάγο, είπε ότι το ζευγάρι είναι σεβαστό για την αντιμετώπιση ηθικών και φυλετικών ανησυχιών στη δημιουργία του εργαλείου. Είπε επίσης ότι το Πίτσμπουργκ ήταν το τέλειο μέρος για τη δημιουργία ενός μοντέλου αλγόριθμου για άλλους φορείς δημόσιας πρόνοιας.
«Η κομητεία Allegheny είναι πιθανότατα μια πρώιμη υιοθέτηση όπου τα αστέρια φαίνεται να είναι ευθυγραμμισμένα, όπου έχουν τα δεδομένα», είπε ο Chor. "Έχουν μια σταθερή συνταγή που νομίζω ότι μπορεί να αναπαραχθεί."
Σε πολλές δημόσιες παρουσιάσεις και συνεντεύξεις στα μέσα ενημέρωσης, οι Vaithianathan και Putnam-Hornstein είπαν ότι θέλουν να χρησιμοποιήσουν δημόσια δεδομένα για να βοηθήσουν οικογένειες που έχουν ανάγκη.
«Είμαστε ερευνητές και προσπαθούμε να μοντελοποιήσουμε πώς φαίνονται καλές, καλές προσεγγίσεις σε αυτόν τον τομέα», είπε ο Vaithianathan σε μια συνέντευξη. Οι προγραμματιστές σημείωσαν επίσης σε ένα έγγραφο που εστάλη στο Τμήμα Ανθρωπίνων Υπηρεσιών της Πενσυλβάνια πέρυσι ότι η ζήτηση για τα εργαλεία τους είχε αυξηθεί λόγω της πανδημίας, καθώς η πολιτεία στάθμισε μια πρόταση για ένα εργαλείο σε όλη την πολιτεία που θα κόστιζε 520.000 $ για την ανάπτυξη και την εφαρμογή.
Ο Vaithianathan είπε ότι το εργαλείο μπορεί τελικά να βοηθήσει στην αντιμετώπιση της φυλετικής προκατάληψης και επεσήμανε μια αξιολόγηση του Πανεπιστημίου Στάνφορντ του 2019 που ανατέθηκε από την κομητεία Allegheny και υποδηλώνει ότι μπορεί να είχε μέτριο αντίκτυπο σε ορισμένες ανισότητες.
«Πάντα ένιωθα ότι αυτά είναι εργαλεία που έχουν την ευκαιρία να βελτιώσουν την ποιότητα της λήψης αποφάσεων», είπε ο Vaithianathan σε πάνελ του Νοεμβρίου. «Στο βαθμό που χρησιμοποιούνται με προσεκτικά προστατευτικά κιγκλιδώματα γύρω τους, νομίζω ότι προσφέρουν επίσης μια ευκαιρία σε εμάς να προσπαθήσουμε να αντιμετωπίσουμε κάποιες από αυτές τις συστημικές προκαταλήψεις».
Αλλά όταν το AP ζήτησε από τους αξιωματούχους της κομητείας να εξετάσουν τα ευρήματα του Carnegie Mellon σχετικά με το μοτίβο του εργαλείου να επισημαίνει έναν δυσανάλογο αριθμό μαύρων παιδιών για μια «υποχρεωτική» έρευνα παραμέλησης παιδιών, η κομητεία Allegheny αμφισβήτησε τη μεθοδολογία των ερευνητών λέγοντας ότι βασίζονταν σε παλιά δεδομένα.
Οι ερευνητές επανεξέτασαν την ανάλυση χρησιμοποιώντας νεότερα δεδομένα για να αντιμετωπίσουν τις ανησυχίες της κομητείας και κατέληξαν σε πολλά από τα ίδια συμπεράσματα.
Σε απάντηση στο AP, η κομητεία Allegheny παρείχε έρευνα που αναγνωρίζει ότι το εργαλείο δεν βοήθησε στην καταπολέμηση των ανισοτήτων στα ποσοστά με τα οποία διερευνώνται οι περιπτώσεις παραμέλησης παιδιών μαύρου και λευκού. Μια πρόσφατη αδημοσίευτη ανάλυση που γράφτηκε από τους ίδιους τους προγραμματιστές προσδιόρισε «καμία στατιστικά σημαντική επίδραση του αλγορίθμου σε αυτήν την ανισότητα».
«Δεν πλαισιώνουμε ολόκληρη τη διαδικασία λήψης αποφάσεων γύρω από τον αγώνα, αν και είναι ξεκάθαρο ότι είναι ένα σημαντικό πράγμα που σκεφτόμαστε», είπε ο Dalton.
Η Dalton είπε ότι η ομάδα της θέλει να συνεχίσει να βελτιώνει το εργαλείο και εξετάζει νέες ενημερώσεις, συμπεριλαμβανομένης της προσθήκης διαθέσιμων δεδομένων ιδιωτικής ασφάλισης για τη λήψη περισσότερων πληροφοριών για τις οικογένειες της μεσαίας τάξης και του ανώτερου εισοδήματος, καθώς και την εξερεύνηση άλλων τρόπων για την αποφυγή περιττών παρεμβάσεων.
Ο Dalton υποβάθμισε επίσης τον ρόλο του αλγορίθμου στις έρευνες παραμέλησης.
«Αν πάει στο δικαστήριο, τότε υπάρχουν δικηγόροι και από τις δύο πλευρές και ένας δικαστής», είπε ο Ντάλτον. «Έχουν αποδείξεις, σωστά;»
Ο Chor είπε ότι το εργαλείο του Allegheny εφαρμόζεται στο πιο σημαντικό σημείο του συστήματος παιδικής πρόνοιας.
«Το ίδιο το μπροστινό μέρος της λήψης αποφάσεων για την προστασία των παιδιών είναι κατανοητά η πιο επιδραστική απόφαση που μπορείτε να πάρετε στη ζωή ενός παιδιού, γιατί μόλις έρθετε σε επαφή με την τηλεφωνική γραμμή επικοινωνίας, με έναν ερευνητή, τότε η πιθανότητα να απομακρυνθείτε, φυσικά, είναι αυξημένη», είπε ο Chor.
Η πιο πρόσφατη έκδοση του εργαλείου αποκλείει πληροφορίες σχετικά με το εάν μια οικογένεια έχει λάβει δολάρια πρόνοιας ή κουπόνια τροφίμων, δεδομένα που αρχικά περιλαμβάνονταν στον υπολογισμό των βαθμολογιών κινδύνου. Σταμάτησε επίσης να προβλέπει εάν ένα παιδί θα αναφερόταν ξανά στον νομό τα δύο χρόνια που ακολούθησαν. Ωστόσο, μεγάλο μέρος του σχεδιασμού του τρέχοντος αλγορίθμου παραμένει το ίδιο, σύμφωνα με ερευνητές της Αμερικανικής Ένωσης Πολιτικών Ελευθεριών που έχουν μελετήσει και τις δύο εκδόσεις.
Η κομητεία αρχικά σκέφτηκε να συμπεριλάβει τη φυλή ως μεταβλητή στις προβλέψεις της σχετικά με τον σχετικό κίνδυνο μιας οικογένειας, αλλά τελικά αποφάσισε να μην το κάνει, σύμφωνα με ένα έγγραφο του 2017. Οι επικριτές λένε ότι ακόμη και αν η φυλή δεν μετριέται πλήρως, τα δεδομένα από κυβερνητικά προγράμματα που χρησιμοποιούνται από πολλές έγχρωμες κοινότητες μπορεί να είναι ένας αντιπρόσωπος για τη φυλή. Στο έγγραφο, οι ίδιοι οι προγραμματιστές προέτρεψαν τη συνέχιση της παρακολούθησης «σε σχέση με τις φυλετικές ανισότητες».
«Αν έχουν δαπανηθεί πάνω από ένα εκατομμύριο δολάρια για τη δημιουργία και τη συντήρηση αυτού του εργαλείου, μόνο για να διαφωνούν με αυτό οι υπεύθυνοι ελέγχου κλήσης, για να παραμείνουν ουσιαστικά οι φυλετικές ανισότητες και για να συνεχιστούν οι οθόνες σε αδικαιολόγητα υψηλά ποσοστά, είναι ότι η καλύτερη χρήση του Οι πόροι της κομητείας Allegheny;» ρώτησε η Kath Xu, δικηγόρος στο ACLU.
Οργανισμοί παιδικής μέριμνας σε τουλάχιστον 26 πολιτείες και την Ουάσιγκτον, DC, έχουν σκεφτεί να χρησιμοποιήσουν αλγοριθμικά εργαλεία και τουλάχιστον 11 τα έχουν αναπτύξει, σύμφωνα με μια πρόσφατη λευκή βίβλο ACLU από τον Xu και τους συνεργάτες του.
ΛΙΓΗ ΔΙΑΦΑΝΕΙΑ, ΑΥΞΑΝΟΜΕΝΗ ΕΠΙΡΡΟΗ
Η δικηγόρος του οικογενειακού δικαίου Frank λέει ότι ανησυχεί πάντα για την έλλειψη ορθής διαδικασίας και μυστικότητας γύρω από τον αλγόριθμο της παιδικής ευημερίας της κομητείας Allegheny. Μερικοί από τους πελάτες της ρώτησαν αν το σύστημα τους παρακολουθούσε επειδή χρησιμοποιούσαν δημόσια βοήθεια ή κοινοτικά προγράμματα, αλλά εκείνη δεν μπορεί να απαντήσει.
«Απλώς δεν καταλαβαίνω γιατί είναι κάτι που κρατιέται κρυφό», είπε ο Φρανκ.
Κάποτε, θυμάται ο Φρανκ, ένας δικαστής ζήτησε να μάθει τη βαθμολογία μιας οικογένειας, αλλά η κομητεία αντιστάθηκε, ισχυριζόμενος ότι δεν ήθελε να επηρεάσει τη νομική διαδικασία με τους αριθμούς που έφτυσε ο αλγόριθμος.
Ο Bruce Noel, ο οποίος επιβλέπει τους ελέγχους κλήσεων χρησιμοποιώντας το εργαλείο του Allegheny, είπε ότι ενώ η βαθμολογία κινδύνου συμβουλεύει την απόφασή τους για το αν θα ξεκινήσουν έρευνα, διχάζεται να μοιράζονται αυτές τις πληροφορίες με τις οικογένειες λόγω της πολυπλοκότητας του εργαλείου. Πρόσθεσε ότι έχει επίγνωση των φυλετικών ανισοτήτων στα υποκείμενα δεδομένα και είπε ότι η ομάδα του δεν είχε μεγάλη συμβολή στην ανάπτυξη.
«Δεδομένου ότι τα δεδομένα μας προέρχονται από δημόσια αρχεία και εμπλοκή με δημόσια συστήματα, γνωρίζουμε ότι ο πληθυσμός μας θα συγκεντρώσει βαθμολογίες υψηλότερες από άλλα δημογραφικά στοιχεία, όπως οι λευκοί άνθρωποι της μεσαίας τάξης που δεν έχουν τόση συμμετοχή με τα δημόσια συστήματα », είπε ο Νόελ.
Η Dalton είπε ότι προσωπικά δεν υποστηρίζει να δίνεται στους γονείς η βαθμολογία τους επειδή ανησυχεί ότι θα μπορούσε να αποθαρρύνει τους ανθρώπους να αναζητούν υπηρεσίες όταν τις χρειάζονται.
«Πιστεύω ότι υπάρχουν κίνδυνοι και θέλω η κοινότητα να είναι επίσης σύμφωνη με τους κινδύνους και τα οφέλη της διαφάνειας», είπε ο Dalton.
Άλλες κομητείες που χρησιμοποιούν αλγόριθμους ακολουθούν διαφορετική προσέγγιση. Η κομητεία Larimer του Κολοράντο, όπου βρίσκεται το Fort Collins, δοκιμάζει τώρα ένα εργαλείο που έχει σχεδιαστεί σύμφωνα με το μοντέλο του Allegheny's και σχεδιάζει να μοιραστεί τις βαθμολογίες με τις οικογένειες εάν προχωρήσει με το πρόγραμμα.
«Είναι η ζωή και η ιστορία τους», είπε ο Thad Paul, διευθυντής στις Υπηρεσίες Παιδιών, Νέων και Οικογένειας της κομητείας. «Θέλουμε να ελαχιστοποιήσουμε τη διαφορά ισχύος που προκύπτει από τη συμμετοχή στην παιδική ευημερία… πιστεύουμε πραγματικά ότι είναι ανήθικο να μην μοιραζόμαστε τη βαθμολογία με τις οικογένειες».
Στα προάστια νότια του Ντένβερ, αξιωματούχοι στην κομητεία Ντάγκλας του Κολοράντο, χρησιμοποιούν ένα παρόμοιο εργαλείο και λένε ότι θα μοιραστούν τις βαθμολογίες με τις οικογένειες που θα το ζητήσουν.
Το Όρεγκον δεν μοιράζεται τους αριθμούς βαθμολογίας κινδύνου από το εργαλείο ελέγχου σε όλη την πολιτεία, το οποίο εφαρμόστηκε για πρώτη φορά το 2018 και εμπνεύστηκε από τον αλγόριθμο του Allegheny. Το Τμήμα Ανθρωπίνων Υπηρεσιών του Όρεγκον – αυτή τη στιγμή ετοιμάζεται να προσλάβει τον όγδοο νέο διευθυντή παιδικής μέριμνας μέσα σε έξι χρόνια – διερεύνησε τουλάχιστον τέσσερις άλλους αλγόριθμους ενώ η υπηρεσία ήταν υπό έλεγχο από ένα συμβούλιο εποπτείας κρίσεων με εντολή του κυβερνήτη.
Πρόσφατα διέκοψε έναν πιλοτικό αλγόριθμο που κατασκευάστηκε για να αποφασίσει πότε τα παιδιά ανάδοχης φροντίδας μπορούν να επανενωθούν με τις οικογένειές τους. Το Όρεγκον διερεύνησε επίσης τρία άλλα εργαλεία – προγνωστικά μοντέλα για να αξιολογήσει τον κίνδυνο θανάτου και σοβαρού τραυματισμού ενός παιδιού, εάν τα παιδιά πρέπει να τεθούν σε ανάδοχη φροντίδα και εάν ναι, πού.
Για χρόνια, η Καλιφόρνια διερεύνησε προσεγγίσεις βάσει δεδομένων για το κρατικό σύστημα παιδικής πρόνοιας πριν εγκαταλείψει μια πρόταση για τη χρήση ενός εργαλείου προγνωστικής μοντελοποίησης κινδύνου που ανέπτυξε η ομάδα του Putnam-Hornstein το 2019. Το Υπουργείο Κοινωνικών Υπηρεσιών της πολιτείας δαπάνησε 195.273 $ σε διετής επιχορήγηση για την ανάπτυξη η ιδέα.
«Κατά τη διάρκεια του έργου, το κράτος διερεύνησε επίσης ανησυχίες σχετικά με το πώς το εργαλείο μπορεί να επηρεάσει τη φυλετική ισότητα. Αυτά τα ευρήματα είχαν ως αποτέλεσμα η πολιτεία να σταματήσει την εξερεύνηση», δήλωσε ο εκπρόσωπος του τμήματος Scott Murray σε ένα email.
Η ομάδα του Putnam-Hornstein εργάζεται αυτήν τη στιγμή με ένα από τα μεγαλύτερα τοπικά συστήματα παιδικής μέριμνας της χώρας στην κομητεία του Λος Άντζελες, καθώς πιλοτάρει ένα σχετικό εργαλείο.
Η αντιμαχόμενη υπηρεσία ελέγχεται μετά από θανάτους παιδιών υψηλού προφίλ και αυτή τη στιγμή αναζητά νέο διευθυντή μετά την παραίτηση του προηγούμενου στα τέλη του περασμένου έτους. Ο «αλγόριθμος σύνθετου κινδύνου» βοηθά στην απομόνωση των περιπτώσεων υψηλότερου κινδύνου που διερευνώνται, σύμφωνα με το Τμήμα Υπηρεσιών Παιδιών και Οικογένειας της κομητείας.
Μέχρι στιγμής, το πείραμα έχει περιοριστεί στα γραφεία του Belvedere, του Lancaster και του Santa Fe Springs, ανέφερε η υπηρεσία. Το εργαλείο επέτρεψε επίσης στην υπηρεσία να δημιουργήσει και να επανεξετάσει αναφορές σχετικά με υποθέσεις που αφορούσαν μαύρα παιδιά και οικογένειες που θεωρήθηκαν χαμηλού κινδύνου, αλλά εξακολουθούσαν να ερευνώνται και δεν κατέληξαν σε οριστικούς ή τεκμηριωμένους ισχυρισμούς, ανέφερε η κομητεία.
Στην πόλη του Λάνκαστερ στην έρημο Μοχάβε, η απογραφή των ΗΠΑ δείχνει ότι το 22% του παιδικού πληθυσμού της πόλης είναι μαύροι. Τους πρώτους μήνες που οι κοινωνικοί λειτουργοί άρχισαν να χρησιμοποιούν το εργαλείο, τα δεδομένα της κομητείας δείχνουν ότι τα μαύρα παιδιά ήταν αντικείμενο σχεδόν των μισών από όλες τις έρευνες που επισημάνθηκαν για πρόσθετο έλεγχο.
Η κομητεία δεν είπε αμέσως γιατί, αλλά είπε ότι θα αποφασίσει εάν θα επεκτείνει το εργαλείο αργότερα φέτος.
Πίσω στο Πίτσμπουργκ, ο δικηγόρος του οικογενειακού δικαίου Frank εξακολουθεί να προσπαθεί να ξεμπερδέψει πώς, ακριβώς, ο αλγόριθμος της κομητείας επηρεάζει κάθε πελάτη που ποιμαίνει μέσω του συστήματος.
Για να βρει δύναμη στις βάναυσες μέρες, κρατά ένα ημερολόγιο γενεθλίων για τα παιδιά που έχει βοηθήσει και τους στέλνει χειρόγραφες κάρτες για να θυμούνται στιγμές που τα πράγματα πήγαιναν καλά.
Εξακολουθεί να τη στοιχειώνει μια υπόθεση στην οποία λέει ότι άκουσε έναν κοινωνικό λειτουργό να συζητά τον δείκτη κινδύνου μιας μητέρας στο δικαστήριο γύρω στο 2018. Η υπόθεση τελικά κλιμακώθηκε σε ανάδοχη φροντίδα, αλλά ο Frank δεν μπόρεσε ποτέ να καταλάβει πώς αυτός ο αριθμός επηρέασε την έκβαση της οικογένειας.
Οι αξιωματούχοι της κομητείας είπαν ότι δεν μπορούσαν να φανταστούν πώς μια βαθμολογία κινδύνου θα μπορούσε να καταλήξει στο δικαστήριο.
«Δεν υπάρχει τρόπος να το αποδείξουμε – αυτό είναι το πρόβλημα», είπε ο Φρανκ.
___
Η δημοσιογράφος του Associated Press Camille Fassett συνέβαλε σε αυτήν την αναφορά.
___
Ακολουθήστε τη Sally Ho και τον Garance Burke στο Twitter στο @_sallyho και στο @garanceburke.
___
Επικοινωνήστε με την παγκόσμια ερευνητική ομάδα του AP στη διεύθυνση Investigative@ap.org ή https://www.ap.org/tips/
Δεν υπάρχουν σχόλια:
Δημοσίευση σχολίου