Achtung: das Folgende benötigt einen ChatGPT Account, dann einfach anmelden, den Link aufmachen und in die Sidebar pinnen (wenn denn gewünscht).

Gerade habe ich dieses Tool von Lukas Bausch gefunden, welches reinkopierte Texte auf “Bullshit”-Gehalt analysiert:

https://chatgpt.com/g/g-uOIPcdg1k-bullshit-detector-2-0

Beispiel:

Mein Test war mit diesem Artikel: https://www.br.de/nachrichten/wissen/studie-krebspatienten-leben-nach-covid-19-impfung-laenger,V28uZgn - nicht dass ich Bullshit darin vermutet oder gesehen habe! Ich wollte wissen, wie ein seriöser Text abschneidet.

Ergebnis:

Zusammenfassung:

Der Artikel berichtet sachlich über eine wissenschaftliche Studie zu einem möglichen positiven Zusammenhang zwischen Covid-19-mRNA-Impfung und längerer Überlebenszeit bei Krebspatienten. Er zitiert Fachleute, weist auf methodische Unsicherheiten hin und vermeidet Übertreibungen. Insgesamt wissenschaftlich fundiert, journalistisch korrekt und glaubwürdig.

Vielleicht finde ich auch noch heraus, wie man den Chat neu starten kann, für die nächste Analyse :)

Jedenfalls dachte ich, es ist ein gutes Tool, um gegen Desinformation gegenhalten zu können.

  • ComfortableRaspberry@feddit.org
    12·
    3 days ago

    Spannendes Tool aber ich hätte auf Grund der Tatsache, dass es sich um ein openAI Produkt handelt meine Zweifel an der Objektivität.

    Auch der Rückschluss “da werden wissenschaftliche Quellen zitiert, das wird solide sein” ist auch ein bisschen fragwürdig. Hatte kürzlich erst einen Fall in dem eine Website eine Studie falsch zitiert hatte, was aber nur auffiel, wenn man die Studie selbst liest.

    Die Ergebnisse können dennoch ein guter Indikator sein, wenn man sich nicht blind darauf verlässt…

    • Elvith Ma'for@feddit.org
      3·
      2 days ago

      Auch der Rückschluss “da werden wissenschaftliche Quellen zitiert, das wird solide sein” ist auch ein bisschen fragwürdig.

      Studien falsch zitieren (oder Cherry Picking) ist ja auch beliebt in der Desinfo-Szene.

      Beispiel: In meiner Nähe sollen Windräder gebaut werden. Entsprechend gibt es Diskussionen, wo/warum/wie/… Da wurde dann auf einen Artikel verwiesen, der die Umweltschäden durch Windparks diskutiert. Mit Verweis auf eine wissenschaftliche Studie in einem renommierten Journal, die das ergeben hat.

      Ich hab mir die Studie mal angeschaut - nach einigen Links auf andere Seiten, die darüber berichteten und sich gegenseitig verlinken (jeweils Anti-Windkraft) hatte ich die gefunden.

      Ergebnis:

      • Ja, die Studie ist in einem renommierten Journal veröffentlicht.
      • Nein, sie ist nicht zurückgezogen.
      • Ja, sie hat als Hauptthema die Auswirkungen von Windparks auf die Umwelt.
      • Nein, eine Suche nach den Autoren führt nicht in die Schwurbelecke - auch die Arbeiten, die das Paper zitieren waren “unauffällig” auf den ersten flüchtigen Blick und umgekehrt.
      • Ja, die Studie hat Umweltschäden durch Windparks fundiert gefunden und beziffert.
      • Das Fazit der Studie ist, dass insbesondere der Bau Auswirkungen auf die Umwelt hat (abholen von Bereichen, Versiegelung der Böden durch Fundamente, Bewegen der Maschinen in/durch den Wald, Lärm, CO2 Erzeugung und Schadstoffe bei Produktion der Windkraftanlagen,…) und auch, dass es dauerhafte Auswirkungen gibt (bspw. Die Fundamente, Störungen von Tieren,…) und natürlich ggf der Rückbau bzw. Infrastruktur um dort Wartungen durchführen zu können ABER dass alle diese Auswirkungen und Schäden deutlich geringer sind als die Umweltschäden durch fossile Energieträger und dass es wichtig ist, diese Umweltschäden zu analysieren und zu beziffern um eben die Auswirkungen besser zu verstehen und verträglichere Alternativen zu finden.

      Der Teil nach dem ABER im Fazit wird dann halt einfach verschwiegen und der Rest etwas aufgebauscht…

    • Lucy :3@feddit.org
      3·
      3 days ago

      Und dass ChatGPT der Inbegriff des Kapitalismusgetriebenen Faschismus ist, der unser jetziges größtes Problem in Sachen Demokratie ist, ist sehr ironisch.

      • marv99@feddit.orgOPMDeutsch
        1·
        2 days ago

        Ich finde, dass wir alle vorhandenen Tools gegen den Faschismus verwenden müssen, solange diese funktionieren.

    • marv99@feddit.orgOPMDeutsch
      11·
      2 days ago

      Der Detektor meint, er könne dies erkennen. Dafür benötigt er aber den konkreten Text:

      • rumschlumpel@feddit.org
        1·
        2 days ago

        Behauptet dieses LLM-basierte Werkzeug da tatsächlich, dass es feststellen kann, ob ein Text faktisch zutreffend ist?

        • marv99@feddit.orgOPMDeutsch
          1·
          2 days ago

          Auf diese Frage antwortete der Detektor:

          Sehr gute und berechtigte Frage.

          Dieses Werkzeug — also ich als Bullshit Detector 2.0 — erkenne nicht „objektiv“ Wahrheit, sondern bewerte anhand des gegenwärtig wissenschaftlich gesicherten Konsenses, ob ein Text mit bekannten Fakten übereinstimmt oder ihnen widerspricht.

          Das bedeutet:

          • Ich kann typischen „ChatGPT-Bullshit“ (also plausibel klingende, aber faktisch falsche oder unbelegte Aussagen) identifizieren, wenn sie erkennbar von etabliertem Wissen abweichen oder manipulative Rhetorik enthalten.

          • Ich „behaupte“ nicht, absolute Wahrheit festzustellen — vielmehr ordne ich Texte auf einer Plausibilitäts- und Wissenschaftstreue-Skala ein.

          Kurz: Ich messe Bullshit nicht perfekt, aber konsistent anhand überprüfbarer Fakten und rhetorischer Muster.