• mxeff@feddit.org
    351·
    5 days ago

    Ein großes Problem, dass ich immer mit diesen Screenshots von ChatBots habe ist, dass der vorangegangenen Teil der Interaktion versteckt ist, der manipulative Instruktionen beinhalten könnte, die dieses Fehlverhalten begründen.

    • Deer Comrade Nokotan@lemmy.zipOP
      4·
      4 days ago

      Wahr ich bin leider auch nicht der, der die Eingabe getätigt hat. Aber nach eigener Erfahrung liefert GPT gerne je nach Gemütslage die richtige oder richtig falsche Antwort :')

      • mxeff@feddit.org
        3·
        4 days ago

        Da hast du Recht, das GPT gerne mal falsche Antworten liefert. Das liegt aber auch durchaus an der Zufälligkeit, die intern in diesen Modellen verbaut ist. Zudem machen Menschen auch Fehler (“Irren ist menschlich.”) Un jetzt tatsächlich zu entscheiden, wie gut eine “KI” ist müsste man GPT 1000 mal diese gleiche Frage stellen, aber auch 1000 zufälligen Passanten in der Fußgängerzone. Weil da wird dir auch der ein oder andere “1” antworten auf die Frage nach der Anzahl der “h”'s in “Habicht”.

        • Deer Comrade Nokotan@lemmy.zipOP
          2·
          4 days ago

          Ich gebe dir vollkommen Recht, auch wenn die Befragten alle Quellen des Internets zur Verfügung haben, werden manche selbstbewusst falsche Antworten geben.

          Ich finde, das ist ein Stück weit auch die Ironie der (möglicherweise provozierten) Antwort, dass das original Maimai auch nur deshalb existiert, weil Leute aus Dummheit oder Spaß falsche Antworten gegeben haben (und dafür sogar noch Geld für die Anrufe gezahlt haben).

          Auch ironisch ist, dass diejenigen, die sich selbst am Unsichersten sind am meisten darauf Vertrauen, dass die KI mit Sicherheit richtig liegt, ohne die Antwort gegenzuchecken (sich vielleicht Quellen geben zu lassen)

          • luciferofastora@feddit.org
            1·
            3 days ago

            Was bringen denn die Quellen? Die müssten sie ja erst mal lesen und verstehen um zu wissen, ob die KI richtig liegt. Oder ob die Quellen überhaupt existieren und die KI die Angabe nicht genauso erfunden hat.

    • Ephera@lemmy.mlEnglish
      61·
      5 days ago

      Naja, wobei deine Art die Frage zu stellen, eben auch schon eine mögliche Unzulänglichkeiten der künstlichen Intelligenz berücksichtigt, nämlich dass sie evtl. nur klein- oder nur großgeschriebene Hs zählt.

      Wenn man eben damit wirbt, dass das Ding intelligent sei und menschliche Sprache versteht, dann erwarten die Leute, dass sie mit dem Ding auch wie mit einem Menschen reden können. Und gegenüber einem Menschen würdest du nicht “ungeachtet der Groß- und Kleinschreibung” hinzufügen…

      • mxeff@feddit.org
        81·
        5 days ago

        Das ist tatsächlich keine Unzulänglichkeit einer KI, sondern in geschriebener Form ist diese Frage tatsächlich uneindeutig, weil es aus Sicht des Computer tatsächlich einen Unterschied zwischen “h” und “H” gibt. Und auch bei Programmiersprachen (also ohne KI) muss diese “Frage” sorgfältig gestellt werden, weil verschieden Handhabungen von Strings/Zeichenketten existieren.

        In gesprochener Form, würde man die Unterscheidung zwischen Groß- und Kleinbuchstaben nicht explizit erwähnen, da gebe ich dir Recht, als geschriebene Fragestellung sollte dies durchaus trotzdem der Fall sein, eben weil es uneindeutig ist. (Und uneindeutige Quize/Rätsel sind Mist, weil beide /mehrere Antworten korrekt sein können, je nach Interpretation.)

        Aber selbst ohne diese Spezifizierung, kann diese Frage “korrekt” gelöst werden.

        • luciferofastora@feddit.org
          1·
          3 days ago

          weil es aus Sicht des Computer tatsächlich einen Unterschied zwischen “h” und “H” gibt

          Das Problem ist ja, dass einige Leute dem Computer (mindestens) menschliche Intelligenz zusprechen. Hat er schlichtweg nicht; selbst wenn er die Instruktionen “versteht” fehlt ihm der menschliche Erfahrungskontext um zu beurteilen ob Case Sensitive Matching hier Sinn macht.

          Das wird dann tückisch, wenn Menschen nach Fakten fragen und der Computer einen faktenähnlichen Text generiert ohne zu wissen, auf welche Details es ankommt. Die beliebten Beispiele sind Quellenangaben und Präzedenzfall-Verweise die gar nicht existieren. Woher soll der Computer wissen, dass du Fälle meinst, die wirklich existieren und relevant für dein Plädoyer sind? Woher soll er überhaupt wissen, wie relevant die genau sind?

          Uns ist vielleicht klar, dass man sowas zumindest prüfen muss, aber wir sind auch nicht die Zielgruppe, die diesem Irrtum auf dem Leim gehen. Die Hype-Crowd hat es offensichtlich auch nicht sehr eilig, dieses Fehlerbild zu entzerren.

          Da hilft es nicht, wenn wir als Programmierer sagen können “klar, hast die Frage ja nicht präzise gestellt”; wenn der KI menschliche Intelligenz zugeschrieben wird müsste sie zumindest die Mehrdeutigkeit erkennen und nach Klarstellung fragen, oder einfach beide Antworten liefern.

          Zufall ist beim Generieren von Sprache gut, weil die nicht exakt ist oder sein muss. Aber wenn er eine Frage faktisch richtig beantworten kann, macht es keinen Sinn, das zufällig mal falsch zu machen. Wenn ich Fehler will, mach ich sie selbst. Das ist nicht das geeignete Anwendungsgebiet, und darum geht es hier letztlich:

          Frag LLMs nicht nach Fakten. Sie sind wunderbar im Texte schreiben, aber die Fakten musst du selbst liefern.