Nigdy nie istnieli, mogli być Twoimi znajomymi na Facebooku

Zdjęcia profilowe osób, "które nigdy nie istniały" - Facebook interweniujeShutterstock

Facebook poinformował o usunięciu setek kont, których administratorzy złamali reguły serwisu. Chodzi między innymi o tworzenie fikcyjnych kont, rozsyłanie spamu czy treści mogących wprowadzać w błąd, głównie na temat wydarzeń w USA. Na niektórych kontach wykorzystano zdjęcia profilowe wygenerowane przez sztuczną inteligencję.

Pokazujemy, co jest prawdą, a co fałszem
Weryfikujemy fake newsy, sprawdzamy dane, analizujemy informacje z sieci

Facebook poinformował 20 grudnia o usunięciu 610 kont, 89 stron, 156 grup i 72 kont na Instagramie, administrowanych z Wietnamu i Stanów Zjednoczonych. Na profilach pojawiały się m.in. treści związane z aktualnymi wydarzeniami politycznymi w USA. Osoby odpowiedzialne za ich zamieszczanie miały wielokrotnie łamać standardy społeczności Facebooka. Chodziło o tworzenie fałszywych kont, rozsyłanie spamu czy treści mogących wprowadzić odbiorców w błąd.

Fałszywe zdjęcia zidentyfikowane przez ekspertów Graphika i DFR Lab
Fałszywe zdjęcia zidentyfikowane przez ekspertów Graphika i DFR Lab#OperationFFS: Fake Face Swarm. A Joint Report by Graphika & the Atlantic Council’s Digital Forensics Research Lab

Specjaliści od bezpieczeństwa w sieci zwrócili uwagę, że przy tworzeniu niektórych fałszywych kont jako zdjęcia profilowe wykorzystano nieprawdziwe, sztucznie wytworzone obrazy. Do ich stworzenia użyto oprogramowania opartego na sztucznej inteligencji.

Dezinformacja ze źródłem w Wietnamie?

Jak informuje Facebook, usunięte strony śledzono na platformie łącznie z około 55 mln kont. Z ponad 380 tys. dołączono do co najmniej jednej z usuniętych grup. 92 tys. osób obserwowało jedno lub kilka usuniętych kont na Instagramie. Na reklamy w ramach zidentyfikowanej sieci wydano równowartość ok. 9,5 mln dolarów.

Działania były skoncentrowane na rozpowszechnianiu treści ze stron internetowych amerykańskiej grupy medialnej The BL (skrót od "The Beauty of Life" - ang. Piękno Życia). Ich odbiorcami były przede wszystkim osoby przebywające w Stanach Zjednoczonych. Niektóre treści były także ukierunkowane na użytkowników serwisu na całym świecie, posługujących się językami wietnamskim, hiszpańskim i chińskim.

Dziennikarze amerykańskiego portalu fact-checkingowego Snopes, którzy przyglądali się tej grupie zanim Facebook podjął oficjalne kroki, odkryli że większość jej działań prowadzona była z Wietnamu. Prof. Joshua Tucker z Uniwersytetu Nowojorskiego w rozmowie ze Snopsem zasugerował, że prawdopodobnie nie chodziło tu o bezpośrednie wpływanie na amerykańską politykę, jak to często ma miejsce w przypadku dezinformacji prowadzonej z obcego kraju, a raczej o generowanie zysków bądź działalność "na rzecz kogoś, kto im za to płaci". Wietnamskie źródła dezinformacji potwierdził też sam Facebook, informując, że działania prowadzone w ramach zlikwidowanych profili były powiązane z Epoch Media Group i z osobami pracującymi dla tej firmy w Wietnamie. W oświadczeniu Epoch Media Group odpiera zarzuty o związki z osobami podejmującymi działania niezgodne z regulaminem.

Fałszywe konta i zdjęcia profilowe

We wpisie na blogu korporacyjnym, Nathaniel Gleicher odpowiedzialny za politykę bezpieczeństwa Facebooka podkreśla, że wiele podejrzanych aktywności zostało zidentyfikowanych przez algorytmy platformy. "Osoby odpowiedzialne za te działania szeroko wykorzystywały fałszywe konta" - informuje Gleicher.

Konta były wykorzystywane do automatycznego zamieszczania treści odsyłających użytkowników Facebooka do innych serwisów. Aby zmylić narzędzia do weryfikowania treści, obok fałszywych kont, udających Amerykanów, wykorzystywano również autentyczne konta istniejących osób przebywających w Stanach Zjednoczonych.

Profile i strony publikowały głównie memy i inne treści skupiające się na wiadomościach dotyczących Stanów Zjednoczonych, w tym impeachmentu, kandydatów na prezydenta, wyborów prezydenckich w 2020 r. i handlu. Odnosiły się przede wszystkim do wartości konserwatywnych, rodzinnych i religijnych.

Uwagę ekspertów do spraw bezpieczeństwa wzbudziły zdjęcia profilowe wykorzystane przy tworzeniu fałszywych kont. Niektóre z nich zostały wygenerowane przy użyciu specjalistycznego oprogramowania.

"Część profili wykorzystywało zdjęcia wygenerowane przez sztuczną inteligencję i udawało amerykańskie pochodzenie w celu dołączania do grup i zamieszczania treści BL" - napisał Nathaniel Gleicher.

fałsz

Przykładowe konta ze zdjęciami wygenerowanymi przez sztuczną inteligencjęGraphika/DFRLab

Snopes zwraca uwagę, że zanim Facebook usunął fałszywe profile i strony, platforma była informowana przez redakcję o działalności sieci BL. Dziennikarze oceniają, że treści, którymi się ona dzieliła na Facebooku, docierały do ok. 28 mln - w większości realnie istniejących - osób. Podnoszą także, że Facebook podjął swoje działania za późno - na miejsce automatycznie usuwanych fałszywych profili szybko powstawały nowe, także wykorzystujące zdjęcia wygenerowane przez sztuczną inteligencję.

"Zdjęcia osób, które nigdy nie istniały"

Sprawę opisano również we wspólnym raporcie firmy Graphika, zajmującej się m.in. analizą mediów społecznościowych, oraz Digital Forensics Research Lab. DFRLab to zespół analityków działający przy think tanku Atlantic Council w Waszyngtonie. Grupa śledzi wydarzenia na świecie i ich relacjonowanie w mediach społecznościowych.

Zgodnie z informacjami zawartymi w raporcie, niektóre zdjęcia profilowe kont przynależących do usuniętej sieci zostały wygenerowane za pomocą algorytmów tzw. generative adversarial networks (GAN), wykorzystywanych również przy generowaniu nagrań deep fake. Algorytmy bazują na dwóch sieciach, które w procesie analizy danych zawartych w materiale źródłowym dążą do wygenerowania zestawu nowych danych - np. fałszywego obrazu. "To były zdjęcia osób, które nigdy nie istniały" - napisano w raporcie Graphika i DFR Lab.

Jak radzić sobie z deepfake'ami? "Do dziennikarzy należałoby ustalenie, co jest prawdą, a co jest fejkiem"
Jak radzić sobie z deepfake'ami? "Do dziennikarzy należałoby ustalenie, co jest prawdą, a co jest fejkiem"Fakty o Świecie TVN24 BiS

Autorzy opracowania wskazują, że technologia wytwarzania fałszywych obrazów jest dostępna od ok. 2014. W lutym 2019 r. stała się dostępna dla każdego. W sieci pojawił się wówczas serwis pozwalający na generowanie fałszywych portretów. Jak tłumaczył autor narzędzia Phillip Wang, stworzył je, by "podnieść publiczną świadomość na temat tej technologii". Zdjęcia z serwisu trudno wykryć m.in. poprzez podstawową technikę do weryfikacji zdjęć, czyli odwrócone wyszukiwanie obrazem, gdyż bardzo często są unikatowe. Są wykorzystywane w różnych celach, w tym do tworzenia fałszywych profili w serwisach społecznościowych. Eksperci Graphiki i DFR Lab nie potwierdzili jednak, czy członkowie grupy zidentyfikowanej przez Facebooka korzystali z narzędzia.

Jak rozpoznać fałszywkę?

Autorzy raportu podkreślają, że przypadek sieci The BL jest pierwszym przez nich napotkanym, w którym wykorzystano sztucznie wygenerowane obrazy w kampanii prowadzonej w mediach społecznościowych.

Mimo znacznego zaawansowania algorytmów GAN, niektóre z obrazów użytych jako zdjęcia profilowe zdradzają, że mamy do czynienia z fałszywką. Autorzy raportu przytaczają przykład fotografii jednego z administratorów grupy zidentyfikowanej jako część sieci ujawnionej przez Facebooka. Asymetryczne elementy okularów zdradzają, że niemal z pewnością obraz został sztucznie wytworzony.

fałsz

Fałszywe zdjęcie zidentyfikowane przez ekspertów Graphika i DFR Lab
Fałszywe zdjęcie zidentyfikowane przez ekspertów Graphika i DFR LabFałszywe zdjęcie zidentyfikowane przez ekspertów Graphika i DFR LabGraphika/The Atlantic Council’s Digital Forensic Research Lab | #OperationFFS: Fake Face Swarm. A Joint Report by Graphika & the Atlantic Council’s Digital Forensics Research Lab

Analizując, czy zdjęcie profilowe jest prawdziwe czy fałszywe zwrócono również uwagę na nietypowe cechy postaci oraz tło. Na fotografii przedstawiającej jedną z administratorek grupy zidentyfikowanej przez Facebooka widać nietypowy kształt szyi i zniekształcone elementy tła.

fałsz

Fałszywe zdjęcia zidentyfikowane przez ekspertów Graphika i DFR Lab
Fałszywe zdjęcia zidentyfikowane przez ekspertów Graphika i DFR LabFałszywe zdjęcia zidentyfikowane przez ekspertów Graphika i DFR LabGraphika/The Atlantic Council’s Digital Forensic Research Lab | #OperationFFS: Fake Face Swarm. A Joint Report by Graphika & the Atlantic Council’s Digital Forensics Research Lab

Zniekształcenia tła widoczne są również na obrazie przedstawiającym mężczyznę, również admina jednej z grup.

Jak pisaliśmy już w Konkret24, choć technologia generowania zdjęć z użyciem AI jest udoskonalana, nadal zdarza się, że włosy takich sztucznie stworzonych osób bywają na fotografiach nieregularne i nienaturalne, czasem jakby namalowane (zwłaszcza długie proste włosy), czasem są niezbyt ostre, a wręcz wtapiają się w twarz (np. na czołach czy pod kością policzkową przy uchu).

Technologia, która budzi niepokój

Autorzy raportu dotyczącego zidentyfikowanej dezinformującej sieci na Facebooku zwracają uwagę, że przy tworzeniu fałszywych profili popełniano błędy, np. dwukrotnie używano tego samego zdjęcia przy tworzeniu fałszywych konta, czy błędnie je podpisywano (np. zdjęcie kobiety podpisano męskim imieniem).

Bardziej zaawansowane techniki analizy, np. wykorzystywana w kryminalistyce do analizy zdjęć analiza poziomu błędów (ELA) pozwalają na dostrzeżenie różnic w kompresji różnych elementów obrazu.

"Łatwość z jaką wygenerowano tak wiele sztucznych obrazów w celu wykorzystania fałszywych profili z (najczęściej) przekonującymi twarzami budzi niepokój" - podsumowują autorzy raportu. Eksperci podkreślają konieczność prac nad skuteczniejszym identyfikowaniem fałszywych obrazów i automatyzacji tego procesu.

Autor: kjab / Źródło: Konkret24; zdjęcie tytułowe: Shutterstock

Źródło zdjęcia głównego: Shutterstock

Pozostałe wiadomości

Sławomir Mentzen opowiada na spotkaniach z wyborcami, że stopień przestępczości w Niemczech gwałtownie wzrósł po napływie imigrantów - i jako "dowód" zestawia dane dotyczące Algierczyków i Japończyków. Choć istnieją takie liczby, to jednak takie ich przedstawienie jest manipulacją i wprowadzaniem opinii publicznej w błąd.

Mentzen woli Japończyków od Algierczyków. I manipuluje

Mentzen woli Japończyków od Algierczyków. I manipuluje

Źródło:
Konkret24

"Unijna złodziejka!", "zamordyzm", "źle się to kojarzy" - tak internauci komentują nową inicjatywę unijną. Twierdzą, że Komisja Europejska będzie mogła przejmować prywatne oszczędności obywateli i przeznaczać je jako inwestycje w swoje projekty. Przekaz powtarzają politycy prawicy. Jest fałszywy.

UE szykuje "zamach na oszczędności"? Chodzi o pewną strategię

UE szykuje "zamach na oszczędności"? Chodzi o pewną strategię

Źródło:
Konkret24

"Wzruszające", "serce ściska", "szacunek dla pieska" - komentują internauci zdjęcia mające pokazywać uroczystość pożegnania policyjnego psa w jednej z jednostek. To obrazy wprawdzie poruszające, ale nieprawdziwe.

"Niewdzięczna służba, dzięki piesku". Pogrzeb, którego nie było

"Niewdzięczna służba, dzięki piesku". Pogrzeb, którego nie było

Źródło:
Konkret24

- Singapur wydaje znacznie mniej niż Polska, a mimo to ma znacznie lepszy system ochrony zdrowia - przekonuje Sławomir Mentzen, kandydat Konfederacji na prezydenta RP. Wyjaśniamy, czego nie mówi o singapurskim systemie, a co powinniśmy o nim wiedzieć, by się z nim porównywać.

Mentzen porównuje Singapur do Polski. O czym nie mówi?

Mentzen porównuje Singapur do Polski. O czym nie mówi?

Źródło:
Konkret24

Europoseł PiS Piotr Mueller alarmuje, że Unia Europejska planuje zabronić wymiany różnych części auta, jeśli dojdzie do ich usterki. Twierdzi, że nowe samochody będą musiały iść na złom. Uspokajamy: to nieprawda.

Piotr Mueller: nowe auto trzeba będzie oddać na złom. Nieprawda

Piotr Mueller: nowe auto trzeba będzie oddać na złom. Nieprawda

Źródło:
Konkret24

Antyimigrancki hejt wzbudza rozpowszechniane w mediach społecznościowych - między innymi przez polityków PiS - nagranie z Wrocławia. Widać na nim gromadzących się na ulicy cudzoziemców, a ironiczny opis głosi, że to "przyjazd inżynierów". Politycy opozycji informują wręcz, że to "inżynierowie z Afryki sprowadzani przez PO i Tuska". To fałsz.

"Inżynierowie z Afryki" przyjechali do Wrocławia? Skąd to nagranie

"Inżynierowie z Afryki" przyjechali do Wrocławia? Skąd to nagranie

Źródło:
Konkret24

Ponad 50 zgłoszonych komitetów wyborczych, ponad 40 zarejestrowanych. O co chodzi? Raczej nie o wygraną w wyborach. To skutek paradoksu polskiego prawa. Tłumaczymy, jakie są korzyści z rejestracji komitetu wyborczego, który jednak zarejestrowanego kandydata nie ma.

44 komitety wyborcze zarejestrowane. Wśród nich "semiwirtualne"

44 komitety wyborcze zarejestrowane. Wśród nich "semiwirtualne"

Źródło:
Konkret24

Karol Nawrocki twierdzi, że z powodu "oszustwa rządu Donalda Tuska" emeryci stracili 800 złotych. Chodzi o rzekome "obcięcie 14. emerytury". Jednak kandydat PiS wprowadza opinię publiczną w błąd. Przypominamy, z czego wynikała jednorazowa podwyżka tego świadczenia.

Nawrocki mówi o "obcięciu 14. emerytury". Manipuluje

Nawrocki mówi o "obcięciu 14. emerytury". Manipuluje

Źródło:
Konkret24

Zwolennicy kawy z mlekiem i cukrem oburzają się na rzekomy zakaz, który ma wprowadzić Unia Europejska. "Co będzie następne? Zakaz soli?", "idiotyzmy" - komentują. Podstawą tych fałszywych doniesień jest artykuł jednego z polskich serwisów, który opatrznie zrozumiano. Wyjaśniamy, co naprawdę ograniczy UE.

UE "zakazuje mleka i cukru w kawie"? Czegoś innego

UE "zakazuje mleka i cukru w kawie"? Czegoś innego

Źródło:
Konkret24

Prezydent USA "nie wie", na jakiej podstawie Dania rości sobie prawa do Grenlandii. Nie sądzi, "żeby to było prawdą". Jednak tak właśnie jest, w dodatku wiele lat temu zwierzchnictwo Danii nad wyspą uznały także Stany Zjednoczone.

Dlaczego Grenlandia jest duńska? Trump "nie wie, czy to prawda"

Dlaczego Grenlandia jest duńska? Trump "nie wie, czy to prawda"

Źródło:
Konkret24

Ilu policjantów brakuje w całym kraju? Kilka tysięcy? Kilkanaście? Opozycja włączyła temat braków kadrowych w policji do kampanii prezydenckiej, ale problem ten istnieje od lat. Zwiększanie liczby etatów w czasach Zjednoczonej Prawicy nie pomogło.

Ilu policjantów brakuje w kraju? Cztery garnizony dominują

Ilu policjantów brakuje w kraju? Cztery garnizony dominują

Źródło:
Konkret24

W Warszawie zacznie rzekomo obowiązywać "ustawa o aresztowaniu dzwonów kościelnych" czy "likwidacja kościelnych dzwonnic" - alarmują politycy opozycji i internauci. Wszystko z powodu pewnego projektu grupy radnych, który wykorzystano do tej manipulacji.

Trzaskowski "chce uciszyć kościelne dzwony"? Skąd ten przekaz

Trzaskowski "chce uciszyć kościelne dzwony"? Skąd ten przekaz

Źródło:
Konkret24

Co oznacza mała czarna gwiazdka przy niektórych cenach? Tak duński właściciel sieci Netto postanowił pomóc klientom bojkotować amerykańskie produkty. Według polskich internautów to rozwiązanie ma się też pojawić w sklepach sieci w naszym kraju. Wyjaśniamy.

Bojkot amerykańskich produktów także w Polsce? Jeszcze nie

Bojkot amerykańskich produktów także w Polsce? Jeszcze nie

Źródło:
Konkret24

Kandydat PiS na prezydenta Karol Nawrocki zapewniał na spotkaniu w Kluczborku, że zna "realny problem kobiet". Chodzi o urlop wychowawczy, którego według niego "nie wpisuje się" kobietom do emerytury. Prawda wygląda inaczej.

Nawrocki o "realnym problemie" kobiet. Sprawdzamy, czy jest

Nawrocki o "realnym problemie" kobiet. Sprawdzamy, czy jest

Źródło:
Konkret24

Polscy internauci alarmują, że Unia Europejska chce zabronić korzystania z plastikowych dowodów osobistych. Podstawą jest artykuł jednego z serwisów, który nie do końca podał prawdę.

"Pożegnaj się z dowodem osobistym"? Co planuje UE

"Pożegnaj się z dowodem osobistym"? Co planuje UE

Źródło:
Konkret24

"Tak było. Ale teraz nikt nie pamięta"; "przy obecnej demografii to nie wróci" - komentują internauci rozsyłane w sieci zdjęcia, które mają przedstawiać kolejki do urzędów pracy za pierwszych rządów Donalda Tuska. Sprawdziliśmy, kiedy powstały te zdjęcia.

Kolejki do urzędów pracy "za Tuska"? Również w czasach PiS

Kolejki do urzędów pracy "za Tuska"? Również w czasach PiS

Źródło:
Konkret24

Prorosyjskie konta w Polsce i na świecie rozsyłają rzekomy materiał francuskiego dziennika o sondażu dotyczącym popularności polityków. Według niego 71 procent Francuzów uważa, że byłoby im lepiej pod rządami Władimira Putina. Nic tu jednak nie jest prawdziwe.

71 procent Francuzów woli Putina od Macrona? Mamy wyjaśnienie "Le Figaro"

71 procent Francuzów woli Putina od Macrona? Mamy wyjaśnienie "Le Figaro"

Źródło:
Konkret24

Kandydat PiS na prezydenta Karol Nawrocki - a za nim politycy tej partii - od kilku dni rozgłaszają, że "rząd po cichu przepchnął przepisy", które pozwolą stawiać wiatraki 500 metrów od domostw. Po pierwsze, przyjmowanie i konsultowanie projektu odbywało się otwarcie i zgodnie z procedurami. Po drugie, ustawa nie została jeszcze przegłosowana.

PiS: "rząd po cichu przepchnął przepisy". A naprawdę?

PiS: "rząd po cichu przepchnął przepisy". A naprawdę?

Źródło:
Konkret24

Na spotkaniach z wyborcami Szymon Hołownia mówi między innymi o problemach demograficznych Polski. W Częstochowie przedstawił nawet, jak wygląda tam trend spadkowy urodzeń. Czy ma rację?

Ile dzieci rodzi się w Częstochowie? Hołownia wylicza, my sprawdzamy

Ile dzieci rodzi się w Częstochowie? Hołownia wylicza, my sprawdzamy

Źródło:
Konkret24

Setki tysięcy wyświetleń w mediach społecznościowych generuje nagranie mające udowadniać, że Ukraińcy wykorzystują wojnę do propagandy. Tymczasem ten film jest przykładem prorosyjskiej dezinformacji. Przekaz o "wojennych aktorach" nie jest nowy, sposób stworzenia fałszywki również.

"Aktorka z frontu"? Nie, ale "ciemny lud kupuje"

"Aktorka z frontu"? Nie, ale "ciemny lud kupuje"

Źródło:
Konkret24

Twórcom tych stron chodzi nie tylko o przemycanie rosyjskich punktów widzenia do polskiego internetu. Dzięki takim witrynom można też cytować rosyjskie media państwowe, w Polsce zakazane. A w kanałach rosyjskich pokazywać, że "polskie media" podzielają rosyjską wizję świata. Oto 10 portali, przed którymi przestrzegamy. Szerzą prokremlowską dezinformację.

Sieć prorosyjskich portali oplata Polskę. Oto 10 przykładów

Sieć prorosyjskich portali oplata Polskę. Oto 10 przykładów

Źródło:
Konkret24

Karol Nawrocki od dłuższego czasu opowiada wyborcom, że jako kandydat na prezydenta "składał projekty ustaw" w Sejmie. A teraz dziwi się, że Sejm "jego propozycji" nie przyjął. Jaka jest prawda?

Nawrocki "nie rozumie, czemu Sejm nie przyjął jego propozycji". Manipuluje

Nawrocki "nie rozumie, czemu Sejm nie przyjął jego propozycji". Manipuluje

Źródło:
Konkret24

Posłowie Konfederacji - między innymi Sławomir Mentzen i Bartłomiej Pejo - przekonują, że średni wiek polskich rezerwistów wynosi 50 lat. Sprawdziliśmy, skąd biorą taką informację i co na to resort obrony.

Konfederacja o "średnim wieku rezerwistów": 50 lat. Źródło jest niewiarygodne

Konfederacja o "średnim wieku rezerwistów": 50 lat. Źródło jest niewiarygodne

Źródło:
Konkret24

Dyskusja o szczepieniach na błonicę - po wykryciu pierwszego od lat przypadku tej choroby - stała się dla środowisk antyszczepionkowych pretekstem do szerzenia kolejnej teorii. Ich zdaniem nagłaśnianie tematu błonicy to sposób na wypromowanie pakietu krztuścowego. Eksperci ostrzegają przed tą dezinformacją.

Błonica a pakiet krztuścowy. Jest różnica? Jest

Błonica a pakiet krztuścowy. Jest różnica? Jest

Źródło:
Konkret24

Prezydent USA Donald Trump ma być winny temu, że w Chinach nie będzie można więcej zjeść amerykańskiej wołowiny. Władze w Pekinie w odpowiedzi na nałożone cła rzekomo anulowały import tego mięsa ze Stanów Zjednoczonych. Rzeczywiście w tej kwestii zaszły zmiany, ale zawieszenie dostaw do Chin dotyczy wołowiny z innych krajów.

Chiny "anulowały" import wołowiny z USA? Nie stamtąd

Chiny "anulowały" import wołowiny z USA? Nie stamtąd

Źródło:
Konkret24, Snopes

Opozycja grzmi, że Niemcy "zalewają nas migrantami". Pozyskane przez Konkret24 statystyki tego nie potwierdzają. Owszem, wzrosła liczba cudzoziemców zawracanych z granicy niemiecko-polskiej, ale są to przede wszystkim Ukraińcy. Natomiast wśród deportowanych z Niemiec do Polski dominują... Polacy.

Ilu migrantów odsyłano z Niemiec do Polski? Mamy dane

Ilu migrantów odsyłano z Niemiec do Polski? Mamy dane

Źródło:
Konkret24

Kandydat Konfederacji na prezydenta twierdzi, że sytuacja polskiej opieki zdrowotnej jest dramatyczna. Jako dowód przywołuje zestawienie, według którego polski system ochrony zdrowia jest gorszy niż w Azerbejdżanie i Libanie. Sprawdzamy, na jaki ranking powołuje się polityk.

Mentzen: "ochronę zdrowia mamy za Azerbejdżanem, za Libanem". Co to za źródło

Mentzen: "ochronę zdrowia mamy za Azerbejdżanem, za Libanem". Co to za źródło

Źródło:
Konkret24