Regresja liniowa i logistyczna: czym się różnią i jak interpretować ich wyniki?

W arkuszu z danymi sprzedaż ma postać kwoty w złotych, a informacja o rezygnacji klienta jest oznaczona jako „tak” albo „nie”. Oba problemy mogą wyglądać podobnie: są cechy klienta, jest wynik i trzeba zbudować model. Różnica jest jednak fundamentalna. W pierwszym przypadku interesuje nas konkretna wartość liczbowa, w drugim prawdopodobieństwo zdarzenia lub przypisanie obserwacji do klasy. Błędny wybór między regresją liniową a logistyczną prowadzi nie tylko do słabszych predykcji, lecz także do fałszywych interpretacji współczynników, ryzykownych decyzji biznesowych i niepoprawnej oceny jakości modelu. ^[2]

Regresja liniowa i regresja logistyczna należą do podstawowych metod uczenia maszynowego, ale ich podobne nazwy bywają mylące. Obie analizują związek między zmiennymi objaśniającymi a zmienną docelową, obie posługują się współczynnikami i mogą wykorzystywać te same cechy wejściowe. Różni je jednak rodzaj przewidywanego wyniku, funkcja matematyczna, sposób uczenia oraz zasady interpretacji rezultatów. ^[3]

Błąd 1: Mylenie natury zmiennej objaśnianej i stosowanie niewłaściwego algorytmu

Wynik ciągły a wynik binarny

Podstawowe pytanie nie brzmi: „który model jest nowocześniejszy?”, ale: co dokładnie ma przewidywać model? Regresja liniowa jest przeznaczona przede wszystkim do prognozowania wartości ciągłej. Może to być cena nieruchomości, zużycie energii, czas dostawy, temperatura, miesięczny przychód albo wysokość szkody. Wynik ma charakter liczbowy i zwykle może przyjmować wiele wartości z określonego zakresu.

Regresja logistyczna służy co do zasady do problemów klasyfikacyjnych. W najczęstszym wariancie binarnym przewiduje prawdopodobieństwo wystąpienia jednego z dwóch zdarzeń, na przykład: klient kupi albo nie kupi, transakcja jest oszukańcza albo poprawna, pacjent należy do grupy ryzyka albo nie, wiadomość jest spamem albo nie. Model może zwrócić prawdopodobieństwo od 0 do 1, a następnie na podstawie ustalonego progu przypisać obserwację do klasy. ^[1]

Dlaczego regresja liniowa nie nadaje się do prawdopodobieństw

Regresja liniowa tworzy predykcję jako sumę ważoną cech. Upraszczając, ma postać: ŷ = β₀ + β₁x₁ + β₂x₂ + … + βₙxₙ. Taka konstrukcja nie ogranicza wyniku do przedziału od 0 do 1. Jeżeli spróbujemy prognozować prawdopodobieństwo odejścia klienta modelem liniowym, wynik może wynieść -0,18 albo 1,27. Nie są to poprawne prawdopodobieństwa.

Można technicznie „obciąć” wynik do przedziału 0–1, ale zwykle nie rozwiązuje to zasadniczego problemu. Model nadal został dopasowany przy użyciu założeń niedostosowanych do binarnej natury danych. Szczególnie kłopotliwe bywają obserwacje blisko granic: różnica między prawdopodobieństwem 0,95 a 0,99 ma inne znaczenie niż różnica między 0,45 a 0,49, a model liniowy nie odzwierciedla tego właściwie.

Funkcja sigmoidalna jako mechanizm ograniczający wynik

Regresja logistyczna najpierw oblicza liniową kombinację cech, podobnie jak regresja liniowa. Następnie przekształca ją przez funkcję sigmoidalną, zwaną też funkcją logistyczną. Jej wynik zawsze mieści się między 0 a 1. W uproszczeniu:

p = 1 / (1 + e^-z), gdzie z = β₀ + β₁x₁ + … + βₙxₙ.

Gdy wartość z jest bardzo duża, prawdopodobieństwo zbliża się do 1. Gdy jest bardzo mała, prawdopodobieństwo zbliża się do 0. W środkowej części krzywej nawet niewielka zmiana cechy może zauważalnie wpłynąć na wynik. Przy wartościach skrajnych podobna zmiana przynosi na ogół mniejszy przyrost prawdopodobieństwa. To jedna z przyczyn, dla których współczynników regresji logistycznej nie należy czytać tak samo jak współczynników liniowych.

Błąd 2: Dosłowne odczytywanie współczynników bez uwzględnienia skali modelu

Jak interpretować współczynniki regresji liniowej

W regresji liniowej interpretacja jest często intuicyjna, ale tylko wtedy, gdy zachowane są odpowiednie warunki. Jeśli współczynnik przy zmiennej „metraż” wynosi 8 000, oznacza to zwykle, że wzrost metrażu o 1 m² wiąże się ze wzrostem przewidywanej ceny o 8 000 zł, przy pozostałych cechach utrzymanych na stałym poziomie. Ten ostatni warunek ma duże znaczenie. Współczynnik nie opisuje samodzielnego, oderwanego od reszty danych wpływu w sensie potocznym ani tym bardziej automatycznie związku przyczynowego. ^[4]

Jeśli zmienna jest zakodowana zero-jedynkowo, interpretacja zmienia się nieznacznie. Załóżmy, że cecha „garaż” przyjmuje 1 dla nieruchomości z garażem i 0 dla pozostałych, a jej współczynnik wynosi 45 000. W takim przypadku model przewiduje średnio o 45 000 zł wyższą cenę dla obserwacji z garażem niż bez niego, po uwzględnieniu pozostałych zmiennych w modelu.

Trzeba przy tym pilnować jednostek. Współczynnik przy dochodzie zapisanym w złotych może wyglądać bardzo mało, na przykład 0,003. Ten sam dochód zapisany w tysiącach złotych może uzyskać współczynnik 3. Liczbowy rozmiar parametru zmienił się tysiąckrotnie, choć sens predykcyjny modelu pozostał taki sam.

Dlaczego współczynnik logistyczny nie oznacza zmiany prawdopodobieństwa o określony procent

W regresji logistycznej współczynniki działają na skali logarytmu ilorazu szans, a nie bezpośrednio na skali prawdopodobieństwa. Jeśli współczynnik przy liczbie kontaktów z pomocą techniczną wynosi 0,4, nie znaczy to automatycznie, że każdy kolejny kontakt zwiększa prawdopodobieństwo odejścia klienta o 40 punktów procentowych ani o 40%.

Wpływ na prawdopodobieństwo zależy od punktu wyjścia. Ta sama zmiana zmiennej może silniej zmienić prawdopodobieństwo w okolicach 0,5 niż przy prawdopodobieństwie bliskim 0 lub 1. Właśnie dlatego prosty odczyt „współczynnik dodatni = wzrost prawdopodobieństwa o wartość współczynnika” jest błędny.

Bezpieczna interpretacja podstawowa brzmi następująco: dodatni współczynnik w regresji logistycznej oznacza, że wraz ze wzrostem danej cechy rosną logarytmiczne szanse wystąpienia klasy pozytywnej, o ile pozostałe zmienne są stałe. Ujemny współczynnik oznacza kierunek przeciwny. Aby uzyskać interpretację praktyczną, najczęściej przechodzi się do ilorazu szans.

Iloraz szans i znaczenie funkcji wykładniczej

Iloraz szans otrzymuje się przez podniesienie liczby Eulera do potęgi współczynnika: OR = e^β. Gdy współczynnik wynosi 0,693, iloraz szans jest w przybliżeniu równy 2. Oznacza to, że wzrost danej cechy o jedną jednostkę wiąże się z podwojeniem szans wystąpienia klasy pozytywnej, przy pozostałych zmiennych niezmienionych.

Szanse nie są tym samym co prawdopodobieństwo. Dla prawdopodobieństwa 0,5 szanse wynoszą 1:1. Dla prawdopodobieństwa 0,8 szanse wynoszą 4:1, ponieważ stosunek 0,8 do 0,2 daje 4. Podwojenie szans od poziomu 1:1 daje 2:1, co odpowiada prawdopodobieństwu około 0,67, a nie 1,0. Ta różnica jest kluczowa przy prezentowaniu wyników osobom nietechnicznym.

• OR = 1 oznacza brak zmiany szans przy zmianie cechy o jednostkę.
• OR > 1 oznacza wzrost szans klasy pozytywnej.
• OR < 1 oznacza spadek szans klasy pozytywnej.
• OR = 1,30 można zwykle opisać jako wzrost szans o około 30%, a nie wzrost prawdopodobieństwa o 30 punktów procentowych.
• OR = 0,70 oznacza, że szanse stanowią 70% wartości bazowej, czyli spadają o około 30%.

Przykład interpretacji bez nadmiernych uproszczeń

Załóżmy, że model logistyczny przewiduje ryzyko rezygnacji z usługi, a współczynnik przy liczbie zgłoszeń reklamacyjnych wynosi 0,55. Iloraz szans wynosi wtedy około 1,73. Poprawny opis: każda dodatkowa reklamacja wiąże się ze wzrostem szans rezygnacji o około 73%, przy niezmienionych pozostałych zmiennych uwzględnionych przez model.

Niepoprawny opis brzmiałby: „jedna reklamacja zwiększa prawdopodobieństwo odejścia o 73%”. Aby oszacować realną zmianę prawdopodobieństwa, trzeba wskazać konkretny profil klienta i wyliczyć predykcję przed oraz po zmianie liczby reklamacji. Dla klienta z niskim ryzykiem wzrost może być niewielki, a dla klienta znajdującego się w środkowej części skali — znacznie większy.

Błąd 3: Pomijanie założeń regresji i diagnozowanie modelu wyłącznie na podstawie wyniku

Założenia regresji liniowej

Regresja liniowa nie wymaga idealnych danych, ale jej wyniki stają się mniej wiarygodne, gdy kluczowe założenia są poważnie naruszone. Najważniejsze dotyczą liniowości zależności, niezależności obserwacji, stałości wariancji reszt oraz zachowania reszt. Często mówi się również o normalności reszt, choć w praktyce jej znaczenie zależy od celu analizy. Jest szczególnie istotna dla klasycznego wnioskowania statystycznego, np. testów istotności i przedziałów ufności, a mniej krytyczna dla samej predykcji przy odpowiednio dużych danych.

Liniowość oznacza, że średni wpływ zmiennej na wynik może być wystarczająco dobrze opisany przez linię lub kombinację liniową cech. Nie oznacza to, że każda relacja w świecie musi być idealnie prostoliniowa. Nieliniowości można modelować przez transformacje, takie jak logarytm, pierwiastek, potęgi, splajny lub zmienne interakcyjne. Błędem jest uznanie, że model o nazwie „liniowy” nie może uwzględniać bardziej złożonych kształtów zależności.

Jak rozpoznać problemy z resztami

Reszta to różnica między wartością rzeczywistą a przewidywaniem modelu. Jeżeli model przewiduje miesięczny koszt obsługi klienta na poziomie 1 200 zł, a rzeczywisty koszt wynosi 1 500 zł, reszta wynosi 300 zł. Analiza takich różnic często ujawnia problemy, których nie pokaże pojedyncza metryka jakości.

Najbardziej użytecznym narzędziem jest wykres reszt względem wartości przewidywanych lub jednej z ważnych zmiennych. W dobrze dopasowanym modelu reszty powinny tworzyć w przybliżeniu przypadkową chmurę wokół zera. Nie muszą wyglądać idealnie, ale nie powinny układać się w wyraźny wzór.

• Łuk lub kształt litery U może wskazywać na pominiętą nieliniowość.
• Coraz szerszy wachlarz reszt sugeruje niestałość wariancji, czyli heteroskedastyczność.
• Długie serie dodatnich albo ujemnych reszt mogą świadczyć o zależności obserwacji w czasie.
• Pojedyncze bardzo duże reszty mogą oznaczać błąd danych, nietypowy przypadek lub ważny segment nieuwzględniony przez model.

Przykład: model prognozujący czas realizacji zamówienia działa dobrze dla standardowych przesyłek, ale systematycznie zaniża czas dla bardzo dużych zamówień. Na wykresie reszt dla wysokich wartości koszyka będą dominować dodatnie błędy. Zamiast ignorować ten wzór, można dodać cechę opisującą gabaryt zamówienia, zastosować transformację lub rozważyć interakcję między liczbą produktów a sposobem dostawy.

Heteroskedastyczność: gdy błąd rośnie wraz ze skalą

Stałość wariancji reszt oznacza, że typowy rozrzut błędów modelu jest podobny w różnych częściach danych. W praktyce to założenie często bywa naruszane. Model może znacznie trafniej prognozować niskie wydatki niż wysokie wydatki albo ceny małych mieszkań niż ceny nieruchomości luksusowych.

Samo naruszenie nie przekreśla automatycznie użyteczności prognoz. Może jednak sprawić, że klasyczne błędy standardowe, testy istotności i przedziały ufności będą mylące. Problem jest szczególnie ważny wtedy, gdy model ma służyć do wnioskowania o wpływie zmiennych, a nie tylko do uzyskania predykcji.

Lepsze rozwiązania zależą od celu analizy:

• dla wnioskowania można zastosować odporne błędy standardowe;
• dla silnie skośnych wartości dodatnich pomocna bywa transformacja logarytmiczna zmiennej zależnej;
• gdy zależy nam na różnych częściach rozkładu, można rozważyć regresję kwantylową;
• warto raportować błąd osobno dla istotnych segmentów, a nie wyłącznie średnią dla całego zbioru.

Nie należy „naprawiać” problemu wyłącznie przez usunięcie trudnych obserwacji. Jeśli wysokie wartości są naturalną i istotną częścią biznesu, ich odrzucenie może jedynie poprawić raport, a nie model.

Przy planowaniu kolejnych kroków pomocny może być tekst: Prywatność i bezpieczeństwo w ML: jak nie wyciekać danych podczas trenowania i testów.

Niezależność obserwacji i ryzyko pozornej pewności

Założenie niezależności oznacza, że błędy dla poszczególnych obserwacji nie powinny być ze sobą silnie powiązane. Jest ono łatwe do przeoczenia w danych czasowych, panelowych i grupowych.

Przykładowo, pomiary sprzedaży tego samego sklepu w kolejnych tygodniach są zwykle podobne z powodu wspólnej lokalizacji, zespołu, sezonowości i lokalnych promocji. Traktowanie każdego tygodnia jako całkowicie niezależnej obserwacji może zaniżyć niepewność oszacowań. Model będzie wtedy sprawiał wrażenie bardziej precyzyjnego, niż jest w rzeczywistości.

W zależności od sytuacji można zastosować efekty grupowe, modele mieszane, błędy standardowe klastrowane według klienta, sklepu lub regionu, a dla szeregu czasowego uwzględnić trend, sezonowość i opóźnione wartości zmiennej. Najpierw trzeba jednak rozpoznać strukturę danych. Nie jest to detal techniczny, lecz część definicji problemu.

Obserwacje odstające i punkty wpływowe

Obserwacja odstająca nie zawsze jest błędem. Może przedstawiać rzadki, ale prawdziwy przypadek: wyjątkowo duże zamówienie, awarię systemu albo klienta o nietypowym profilu. Problem pojawia się wtedy, gdy pojedynczy rekord silnie przesuwa współczynniki modelu.

W regresji liniowej warto sprawdzać między innymi odległość Cooka, wartości dźwigni oraz reszty standaryzowane. Nie chodzi o automatyczne kasowanie obserwacji przekraczających ustalony próg. Najpierw należy odpowiedzieć na trzy pytania:

1. Czy rekord jest poprawny technicznie?
2. Czy należy do populacji, dla której model ma działać?
3. Czy wynik modelu znacząco zmienia się po jego wyłączeniu?

Jeżeli rekord jest błędem importu, korekta jest uzasadniona. Jeżeli jest prawdziwy, ale reprezentuje ważny przypadek biznesowy, lepiej rozważyć osobny segment, model odporny na wartości odstające albo dodatkowe cechy wyjaśniające.

Współliniowość: gdy cechy mówią prawie to samo

Współliniowość występuje, gdy zmienne objaśniające są silnie skorelowane. Przykładem mogą być jednoczesne użycie powierzchni mieszkania, liczby pokoi i liczby metrów na pokój albo budżetu kampanii oraz liczby wyświetleń, które z tego budżetu wynikają.

Model może nadal dobrze prognozować, ale pojedyncze współczynniki stają się niestabilne. Niewielka zmiana próby potrafi wtedy istotnie zmienić ich wartości, a nawet znaki. To niebezpieczne zwłaszcza wtedy, gdy ktoś chce na podstawie współczynników wskazać „najważniejszy czynnik”.

Pomocne są macierz korelacji, współczynnik VIF oraz analiza sensowności biznesowej zmiennych. Rozwiązaniem może być usunięcie jednej z podobnych cech, połączenie ich w wskaźnik, regularizacja typu ridge lub lasso albo świadome pozostawienie obu zmiennych, jeśli priorytetem jest predykcja, a nie stabilna interpretacja parametrów.

Założenia i diagnostyka regresji logistycznej

Regresja logistyczna nie wymaga normalnego rozkładu zmiennej zależnej ani stałej wariancji reszt w takim sensie jak regresja liniowa. Nie oznacza to jednak, że można pominąć diagnostykę. Model logistyczny ma własne warunki, które wpływają na wiarygodność predykcji i współczynników.

Jednym z najważniejszych jest liniowość zależności między zmiennymi liczbowymi a logitem, czyli skalą używaną wewnątrz modelu. Nie chodzi o liniową relację cechy z prawdopodobieństwem. Chodzi o to, czy wpływ cechy można adekwatnie opisać liniowo na skali logarytmu szans.

Jeżeli na przykład ryzyko opóźnienia płatności rośnie bardzo szybko dopiero po przekroczeniu określonej liczby dni od wystawienia faktury, prosty współczynnik liniowy może być zbyt dużym uproszczeniem. W takiej sytuacji można zastosować splajny, transformacje, przedziały wartości albo sensownie uzasadniony próg.

Diagnostyka powinna też obejmować:

• braki danych i sposób ich obsługi;
• współliniowość między predyktorami;
• obserwacje wpływowe;
• liczbę przypadków klasy pozytywnej względem liczby zmiennych;
• stabilność wyników w różnych okresach, segmentach i próbach walidacyjnych.

Problem separacji klas

Separacja występuje wtedy, gdy jedna cecha lub kombinacja cech niemal idealnie rozdziela klasy. Przykładowo, jeśli w danych treningowych wszystkie transakcje o określonym identyfikatorze kanału okazują się oszustwami, model może próbować przypisać tej zmiennej ekstremalnie wysoki współczynnik.

Na pierwszy rzut oka wygląda to jak bardzo mocny sygnał. Często jest jednak skutkiem małej próby, wycieku informacji lub specyfiki okresu historycznego. Objawami są ogromne współczynniki, bardzo szerokie przedziały ufności, ostrzeżenia podczas dopasowania modelu albo niestabilne wyniki po drobnej zmianie danych.

Lepszym rozwiązaniem może być zebranie większej liczby obserwacji, połączenie rzadkich kategorii, zastosowanie regularizacji albo dokładne sprawdzenie, czy zmienna nie wykorzystuje informacji dostępnej dopiero po wystąpieniu zdarzenia.

Błąd 4: Ocenianie modelu jedną metryką

Dobry wynik jednej miary nie oznacza jeszcze, że model jest użyteczny. Metryka musi odpowiadać temu, co ma zostać zoptymalizowane. Inaczej mierzy się jakość prognozy kwoty, a inaczej skuteczność wykrywania rzadkiego zdarzenia.

Metryki regresji liniowej: wielkość błędu ma znaczenie

W regresji liniowej najczęściej stosuje się MAE, RMSE i R². Każda z tych miar odpowiada na nieco inne pytanie.

• MAE pokazuje średni bezwzględny błąd. Jest łatwy do wyjaśnienia: MAE równe 250 zł oznacza, że model myli się przeciętnie o około 250 zł.
• RMSE silniej karze duże błędy, ponieważ błędy są wcześniej podnoszone do kwadratu. Jest użyteczny, gdy szczególnie kosztowne są duże pomyłki.
• R² opisuje, jaką część zmienności wyniku wyjaśnia model względem prostego punktu odniesienia. Nie mówi jednak, czy błąd ma akceptowalną wartość biznesową.

Model z wysokim R² może być niepraktyczny, jeśli przeciętna pomyłka przekracza margines, na którym firma podejmuje decyzje. Z drugiej strony model z umiarkowanym R² może być użyteczny, jeśli pozwala dobrze rozróżniać segmenty o wysokiej i niskiej wartości.

Należy też porównywać model z prostym benchmarkiem, na przykład prognozą średniej, mediany, wartości z poprzedniego okresu albo regułą biznesową. Jeśli bardziej złożony model nie poprawia wyniku względem takiego punktu odniesienia, jego wdrożenie wymaga mocnego uzasadnienia.

Dlaczego accuracy bywa mylące w regresji logistycznej

W klasyfikacji binarnej popularna jest accuracy, czyli odsetek poprawnych klasyfikacji. Jest jednak niewystarczająca przy nierównowadze klas. Jeśli tylko 2% transakcji jest oszukańczych, model przewidujący zawsze „brak oszustwa” osiągnie accuracy na poziomie 98%. Jednocześnie nie wykryje ani jednego rzeczywistego przypadku oszustwa.

Dlatego trzeba analizować macierz pomyłek oraz metryki odnoszące się do klasy istotnej biznesowo:

• precision pokazuje, jaka część przypadków oznaczonych przez model jako pozytywne rzeczywiście należy do tej klasy;
• recall mówi, jaką część wszystkich rzeczywistych przypadków pozytywnych model wykrył;
• F1 równoważy precision i recall, gdy oba są ważne;
• ROC AUC ocenia zdolność modelu do porządkowania przypadków od niższego do wyższego ryzyka;
• PR AUC bywa bardziej informatywne niż ROC AUC, gdy klasa pozytywna jest rzadka;
• log loss ocenia jakość przewidywanych prawdopodobieństw i mocno penalizuje pewne, ale błędne prognozy.

Kalibracja: czy 0,80 rzeczywiście znaczy około 80%

Model może dobrze rozróżniać obserwacje bardziej i mniej ryzykowne, ale jednocześnie zwracać źle skalibrowane prawdopodobieństwa. Jeśli w grupie klientów, którym model przypisał ryzyko 0,80, faktycznie rezygnuje tylko 55%, prognozy są zbyt pewne.

Kalibrację można ocenić na wykresie kalibracji, porównując przewidywane prawdopodobieństwa z rzeczywistą częstością zdarzeń w przedziałach ryzyka. Jest to szczególnie istotne, gdy prawdopodobieństwo ma wpływać na wycenę, rezerwę finansową, limit kredytowy lub kolejność kontaktu z klientami.

Najczęściej zadawane pytania (FAQ)

Kiedy wybrać regresję liniową?

Regresję liniową warto wybrać wtedy, gdy zmienna docelowa jest liczbowa i ciągła, na przykład cena, czas, temperatura lub przychód.

Kiedy stosuje się regresję logistyczną?

Regresję logistyczną stosuje się przede wszystkim do klasyfikacji, zwłaszcza gdy model ma przewidywać prawdopodobieństwo wystąpienia jednego z dwóch zdarzeń.

Czy współczynnik regresji logistycznej oznacza zmianę prawdopodobieństwa?

Nie. Współczynnik działa na skali logarytmu szans. Do praktycznej interpretacji często wykorzystuje się iloraz szans, czyli wartość e do potęgi współczynnika.

Czym różnią się szanse od prawdopodobieństwa?

Prawdopodobieństwo opisuje udział zdarzeń w całkowitej liczbie przypadków, a szanse są stosunkiem prawdopodobieństwa zdarzenia do prawdopodobieństwa jego braku. Nie można utożsamiać tych wartości.

Czy dodatni współczynnik oznacza związek przyczynowy?

Nie. Dodatni współczynnik wskazuje kierunek zależności w modelu przy pozostałych zmiennych utrzymanych na stałym poziomie, ale sam w sobie nie dowodzi związku przyczynowego.

Co warto zapamiętać

• Regresja liniowa służy głównie do przewidywania wartości ciągłych, a logistyczna do klasyfikacji i szacowania prawdopodobieństwa zdarzenia.
• Regresja logistyczna ogranicza wynik do przedziału od 0 do 1 dzięki funkcji sigmoidalnej.
• Współczynniki regresji liniowej interpretuje się na skali zmiennej docelowej, natomiast współczynniki logistyczne dotyczą logarytmu szans.
• Iloraz szans ułatwia interpretację modelu logistycznego, ale nie jest tym samym co zmiana prawdopodobieństwa.
• Ocena modelu powinna uwzględniać właściwe metryki oraz założenia metody, a nie tylko uzyskane współczynniki lub pojedynczy wynik jakości.

Źródła

• [1] Penn State University – Linear Regression Foundations – STAT 500
• [2] Penn State University – Binary Logistic Regression – STAT 504
• [3] Penn State University – Weighted Least Squares & Logistic Regressions – STAT 501
• [4] scikit-learn – Common pitfalls in the interpretation of coefficients of linear models