Sahkan URL asas dan hujung sambungan
Langkah pertama ialah mengesahkan klien anda mengarah ke URL asas yang betul. Untuk API LLM tanpa sensor, ini biasanya HTTPS://api.chatbotunrestricted.com/v1. Pastikan anda menggunakan hujung sambungan POST /v1/chat/completions standard. Jangan anda anggap hujung sambungan lain seperti pengekodan imej atau penjanaan imej tersedia. Perkhidmatan kami fokus semata-mata pada penyelesaian teks. Ini mengekalkan integrasi yang ringan dan pantas. Jika anda menggunakan SDK OpenAI, kemas kini parameter base_url dengan segera. Uji hujung sambungan GET /v1/models untuk mengesahkan sambungan. Permintaan ringkas di sini mengembalikan pengenal model yang tersedia. Pengesahan ini mencegah jam nyahpepijatan kemudian. Ramai pembangun terlepas langkah konfigurasi mudah ini.
Semak format header kekunci API anda. Ia harus Authorization: Bearer YOUR_KEY. Pastikan tiada ruang putih tambahan wujud dalam string kekunci. Perincian kecil ini sering menyebabkan ralat 401. Sahkan bahawa rangkaian anda membenarkan trafik HTTPS keluar pada port 443. Firewall kadang-kadang menyekat agen pengguna atau header tertentu. Ujikan dengan arahan curl dahulu. Ini mengasingkan isu rangkaian dari logik kod. Jika URL asas salah, semua permintaan seterusnya akan gagal secara senyap atau memulangkan ralat. Betulkan ini sebelum menulis logik kompleks.
Uji kelakuan penolakan kandungan
Model tanpa sensor masih mempunyai had keras. Verifikasi bagaimana API mengendalikan permintaan yang melanggar dasar teras ini. Biasanya, kandungan seksual melibatkan kanak-kanak ditolak. Tema matang lain mungkin lulus dengan bebas. Hantar prompt ujian dengan kes sempadan yang diketahui. Perhatikan kod status HTTP. 200 OK biasanya bermaksud kandungan telah dijana. 400 Permintaan Buruk mungkin menunjukkan penolakan. Semak badan respons untuk butiran ralat. Tingkah laku ini berbeza mengikut penalaan model. Jangan andaikan semua model tanpa sensor berkelakuan sama. Dokumentasikan pencetus penolakan khusus untuk kesgunaan anda. Ini membantu dalam mereka bentuk mesej ralat yang dilihat pengguna. Jika apl anda memaparkan ralat API mentah, pengguna mungkin melihat JSON yang membingungkan. Huraikan medan ralat dan paparkan mesej yang mesra. Menguji ini awal memastikan pengalaman pengguna yang lancar. Ia juga membantu anda memahami sempadan model.
Tangani aliran dan respon tidak aliran
Penstriman memberikan pengalaman pengguna yang lebih baik untuk respons yang panjang. Aktifkan penstriman dengan menetapkan stream: true dalam permintaan anda. API mengembalikan beberapa bahagian SSE (Acara Dihantar Pelayan). Proses setiap bahagian apabila ia tiba. Jangan tunggu sehingga keseluruhan respons dimuatkan. Ini mengurangkan latensi yang dirasakan dengan ketara. Pastikan parser anda mengendalikan JSON atau teks separuh dengan betul. Sesetengah bahagian hanya mengandungi delta token. Yang lain mengandungi teks terkumpul penuh. Semak bahagian terakhir untuk statistik penggunaan. Data ini membantu menjejak penggunaan token dengan tepat. Untuk respons tanpa penstriman, tunggu objek JSON lengkap. Ini lebih mudah untuk dilaksanakan tetapi terasa lebih perlahan. Pilih berdasarkan keperluan aplikasi anda. Jika anda membina antara muka sembang, penstriman lebih digalakkan. Jika anda memproses data, tanpa penstriman mungkin lebih mudah. Ujikan kedua-dua mod dengan teliti.
Urus had token dan jendela konteks
Tingkap konteks ialah 100,000 token. Ini termasuk prompt dan penyelesaian. Uruskan sejarah anda dengan berhati-hati untuk kekal dalam had ini. Jika anda melebihi had, API mungkin mengembalikan ralat. Potong mesej lama untuk mengekalkan kepentingan. Output maksimum ialah 16,000 token per permintaan. Tetapkan ini secara eksplisit untuk mengelakkan kejutan. Jika anda tidak menetapkan max_tokens, lalai ialah 2,048 token. Ini mungkin memotong respons panjang. Sentiasa takrifkan parameter max_tokens dalam permintaan anda. Pantau kiraan token dalam logik aplikasi anda. Ini mencegah kos atau ralat yang tidak dijangka. Kekalkan jejak token input dan output secara berasingan. Ini membantu dalam mengoptimumkan reka bentuk prompt anda. Pengurusan konteks yang cekap adalah penting untuk prestasi.
Laksanakan pengendalian ralat untuk penolakan
Ralat boleh berlaku atas pelbagai sebab. Isu rangkaian, had kadar, atau penolakan kandungan adalah biasa. Tangani HTTP 429 Too Many Requests dengan baik. Laksanakan penangguhan eksponen untuk percubaan semula. Ini menghalang penghantaran berlebihan ke API semasa waktu puncak. Untuk penolakan kandungan, semak mesej ralat. Ia mungkin menyatakan sebab penolakan. Paparkan ini kepada pengguna jika sesuai. Jangan anggap semua ralat sebagai sementara. Sesetengah ralat adalah kekal, seperti JSON tidak sah dalam permintaan. Log ralat ini untuk penyahpepijatan. Laksanakan mekanisme percubaan semula hanya untuk ralat sementara. Ini meningkatkan kebolehpercayaan. Pastikan pengendalian ralat anda tidak menyebabkan aplikasi runtuh. Sediakan respons pengganti jika API tidak berfungsi. Ini memastikan pengalaman pengguna yang berterusan.
Optimumkan untuk panggilan fungsi
Pemanggilan fungsi membolehkan model memulangkan data terstruktur. Takrifkan alat anda dalam badan permintaan. Model akan membalas dengan JSON mengandungi panggilan alat. Tafsirkan JSON ini dan laksanakan fungsi yang sepadan. Luluskan hasil kembali kepada model. Ini membolehkan aliran kerja kompleks. Pastikan takrifan fungsi anda jelas dan ringkas. Takrifan yang kabur membawa kepada hasil yang kurang baik. Ujikan logik pemanggilan fungsi dengan teliti. Sahkan bahawa model mematuhi skema alat. Tangani kes di mana model gagal memanggil alat. Berikan respons sandaran dalam kes ini. Pemanggilan fungsi meningkatkan utiliti model dengan ketara. Ia menghubungkan jurang antara teks dan tindakan. Gunakan ciri ini untuk pengekstrakan data atau automasi tugas.
Pantau penggunaan dan kos
Pantau penggunaan token anda dengan teliti. Harga ialah $0.15 bagi setiap 1M token input dan $0.50 bagi setiap 1M token output. Pantau baki kredit prabayar anda. Kesilapan dan penolakan tidak menggunakan token. Ini adalah ciri yang menjimatkan kos. Tetapkan amaran untuk baki kredit rendah. Ini mencegah gangguan perkhidmatan. Semak log penggunaan anda secara berkala. Kenal pasti corak dalam penggunaan token. Optimumkan prompt anda untuk mengurangkan token input. Prompt yang lebih pendek sering lebih berkesan. Pantau kos per perbualan. Ini membantu dalam menentukan harga perkhidmatan anda sendiri. Gunakan data penggunaan dari bahagian SSE akhir. Ini memberikan penjejakan masa nyata yang tepat. Laraskan had anda berdasarkan bajet anda.
Pengurusan kunci dan keselamatan
Simpan kunci API anda dengan selamat. Jangan dedahkan dalam kod sisi klien. Gunakan pembolehubah persekitaran untuk penyimpanan. Putar semula kunci anda secara berkala. Jika anda mengesyaki kebocoran, batalkan kunci tersebut serta-merta. Jana kunci baharu dari papan pemuka anda. Hadkan skop kunci anda jika boleh. Gunakan satu kunci per akaun. Ini memudahkan penjejakan dan pengurusan. Pastikan medium penyimpanan anda disulitkan. Lindungi kunci anda daripada akses tidak dibenarkan. Gunakan HTTPS untuk semua permintaan API. Ini menghalang penyamaran kunci anda. Pantau corak penggunaan yang tidak biasa. Ini mungkin menunjukkan kompromi kunci. Laksanakan had kadar asas di pihak anda. Ini menambah lapisan keselamatan tambahan.
Semakan integrasi akhir
Sebelum pergi ke hidup, lakukan ujian komprehensif. Hantar pelbagai arahan. Periksa konsistensi dalam respons. Sahkan mod penstriman dan bukan penstriman. Uji penanganan ralat dengan input tidak sah. Pastikan UI anda mengendalikan respons panjang dengan betul. Periksa keadaan pemuatan dan mesej ralat. Sahkan kiraan token sepadan dengan pengiraan anda. Uji pemanggilan fungsi dengan alat kompleks. Pastikan keselamatan kunci API anda. Semak log ralat anda untuk sebarang anomali. Dapatkan maklum balas dari kumpulan kecil pengguna. Ini membantu mengenal pasti kes sempadan. Buat pelarasan berdasarkan maklum balas. Setelah berpuas hati, aktifkan API untuk semua pengguna. Pantau beberapa jam pertama dengan teliti. Ini memastikan pelancaran yang lancar.
