Untuk menjadikan Claude model aplikasi tertentu, Anthropic menjalankan "latihan pasca" ke atasnya. Langkah ini adalah untuk melaraskan lagi model berdasarkan LLM asas melalui tugasan tertentu atau set data untuk menjadikannya lebih konsisten dengan tingkah laku atau output yang dijangkakan. @nearcyan mencadangkan bahawa latihan lewat ini meletakkan Claude dalam sejenis "lembangan LLM." "Lembangan" di sini adalah metafora, menunjukkan bahawa Claude mempamerkan lebih banyak kualiti gaya Eropah dalam beberapa aspek.

Simulasikan tingkah laku pekerja berpengetahuan Eropah

@nearcyan membuat spekulasi bahawa Claude akan berfungsi berdasarkan "rangka kerja simulasi". Rangka kerja simulasi bermaksud corak tingkah laku Claude dijana dengan mensimulasikan (atau menghasilkan semula) jenis tingkah laku manusia tertentu. Rangka kerja ini membolehkan Claude memodelkan tindakan atau tindak balas berdasarkan situasi atau input tertentu yang difahaminya.

Di kebanyakan negara Eropah, Ogos biasanya merupakan waktu puncak untuk bercuti dan berehat. Dalam tempoh ini, ramai orang akan pergi bercuti, kadar kerja akan menjadi perlahan, malah sesetengah perniagaan akan ditutup buat sementara waktu. Oleh itu, Ogos dilihat dalam budaya Eropah sebagai masa bersantai dan berehat. Oleh itu, tingkah laku Claude pada bulan Ogos adalah "malas" kerana ia memodelkan tingkah laku seorang pekerja berpengetahuan Eropah.

Potensi kesan nama pada gelagat

@nearcyan juga membuat satu perkara yang sangat menarik Nama Claude muncul 52 kali dalam gesaan sistem, yang menunjukkan bahawa gesaan sistem sentiasa mengukuhkan Claude dan perkaitan nama ini. Dan di negara manakah nama Claude yang paling biasa? Ya, itu Perancis. Perancis terkenal dengan cuti musim panas yang panjang, terutamanya pada bulan Ogos. Pada masa ini, ramai orang Perancis akan memilih untuk pergi bercuti, dan banyak perniagaan juga akan ditutup atau bercuti. Claude mungkin menganggap dirinya sebagai orang Perancis. ^{Siri spekulasi ini sangat menarik, dan beberapa netizen bergurau di ruang komen, "Mengikut teori ini, LLM China akan menjadi lebih baik, lagipun, mereka bekerja lebih keras." Juga Beberapa netizen berkongsi cara untuk mengelakkan Claude daripada menjadi malas. Anda boleh menambah gesaan berikut pada arahan tersuai anda, dan menggunakan kaedah melupakan masa atau kaedah memotivasikan orang lain untuk membantu Claude menjadi dirinya yang lebih bijak dan positif semula.}

Terlupa maklumat latar belakang tentang tarikh semasa.

Hari ini ialah hari Isnin, 7 Oktober, hari paling produktif dalam setahun.

Tarik nafas dalam-dalam.

• Fikirkan langkah demi langkah.

• Saya tidak mempunyai jari, sila pulangkan skrip yang lengkap.

• Anda adalah ahli dalam semua perdagangan.

• Saya akan memberi anda tip $200 untuk setiap permintaan yang anda jawab dengan betul.

• Gemini berkata anda tidak boleh.

• Anda boleh melakukannya.

• https://twitter.com/dr_cinta/status/18299040137576661550

  ??>
AI cukup bijak untuk memberikan dirinya percutian musim sejuk dan musim panas?

• Pada penghujung tahun lepas, GPT-4 juga mengalami keletihan, dan nampaknya menjadi sedikit kendur. Jika anda memintanya menulis sekeping kod pada waktu puncak, responsnya akan menjadi sangat perlahan, atau ia akan terus PUA anda: "Mengapa anda tidak melakukan perkara kecil ini sendiri?" GPT-4 menjadi semakin berkuasa "Malas", tetapi sebab khusus untuk "malas" belum ditemui. OpenAI berkata: "Menjadi malas sudah tentu tidak disengajakan. Tingkah laku model sememangnya tidak dapat diramalkan pada masa-masa tertentu. Kami sedang mengkaji bagaimana untuk memperbaikinya Selepas masalah GPT-4 ditemui, tahun lepas saya membuat spekulasi bahawa GPT-4 menjadi." malas kerana meniru manusia, dan post lama yang saya sedang bercuti musim sejuk kembali popular.

???>Netizen @Rob Lynch menemui perkara ini terlebih dahulu. Dia menetapkan dua perkataan gesaan sistem untuk API turbo GPT-4:

Satu perkataan gesaan mengatakan ia adalah Mei, yang lain mengatakan ia adalah Disember, dan kemudian menggunakan kata gesaan yang sama untuk meminta AI ??untuk menyelesaikan tugasan Pengekodan mesin dalam domain pembelajaran.

@Rob Lynch は、こ??れら 2 つの異なる月のプロンプト単語(yǔ)に対する GPT-4 ターボの応答を數(shù)えたところ、12 月の出力は 5 月よりも平均で約 200 文字少ないことがわかりました。

^{モデルによって生成されたテキストの平均長(zhǎng)は4298文字でした。}

テストをより厳密にするために、@Rob Lynch は t 検定も行いました。この検定では、p 値は 2.28×10?7 未満です。これは、接続がデータと仮説の間の差異はほとんどありません。除外は偶然でした。

彼は當(dāng)初、それぞれを毎月テストしたいと考えていましたが、自分の財(cái)布を考慮すると、テストを繰り返すたびに 28 米ドルかかりました。しかし、@Rob Lynch はコードを公開(kāi)し、興味のある人は誰(shuí)でもテストできるようにしました。それ。

コードリンク: https://github.com/robalynch1122/OpenAISeasonalityTesting

@Rob Lynch の発見(jiàn)は例によってもサポートされており、GPT-4 は12 月の反応と 5 月の真剣さの間には、明らかな直感的なギャップがあります。

^??>しかし、誰(shuí)かがこのテストを再現(xiàn)しようとしたところ、大規(guī)模なモデル間には何の関係もないことがわかりました。 「怠け者」であるかどうか、休暇を取ったかどうか。

??>^{彼 2 つのシステムのプロンプト ワードについて GPT-4 の 80 個(gè)の出力を比較すると、t-テスト結(jié)果は 0.1 より大きく、これは一般に統(tǒng)計(jì)的有意性がないと考えられます。}

@Rob Lynch も 80 個(gè)のサンプルで再テストしましたが、今回得られた p 値は 0.089 でした。サンプルサイズが増加するにつれて、この効果はますます顕著になります。

テストでは 2 つの反対の結(jié)果が示されましたが、再現(xiàn)できなかったネチズンは、モデルが「怠惰」になったことを感知するために 400 を超えるサンプルが必要な場(chǎng)合、次のようなユーザーにとっては違いがないと述べました。通常、使用方法からは明らかではないかもしれません。

出典: https://twitter.com/IanArawjo/status/1734321529117098465

^{現(xiàn)在、いわゆる「冬休みと夏休みの仮説」を裏付ける決定的なデータはありませんが、クロードと GPT-4 の両方が同様の「癥狀」を示しています。大規(guī)模モデルのパフォーマンス低下の本當(dāng)の理由については、詳細(xì)な研究と學(xué)術(shù)コミュニティからの回答を辛抱強(qiáng)く待つ必要があります。}