Apa Itu Moderasi Konten?

Moderasi konten adalah cara sebuah platform menentukan, dalam skala besar, pesan, gambar, dan file yang dikirim pengguna mana yang dapat dilihat pengguna lain — dan mana yang diblokir, ditandai, atau ditahan untuk ditinjau manusia. Tantangannya selalu sama: terlalu longgar, spam, pelecehan, dan konten ilegal akan membuat pengguna sungguhan pergi; terlalu ketat, unggahan yang sah justru tertimbun oleh false positive. Setiap platform dengan konten buatan pengguna berada di suatu titik dalam spektrum ini, baik moderasi dilakukan secara sengaja maupun tanpa disadari.

Discuse menangani separuh keputusan yang berkaitan dengan deteksi. Satu panggilan API mengembalikan rincian per kategori — spam, toksisitas, NSFW, malware, dan bahasa — masing-masing dengan skor keyakinan, sehingga kode Anda sendiri yang menentukan ambang batas dan tindakannya. Anda tetap memegang kendali atas kebijakan; API melakukan klasifikasinya.

Apa yang sebenarnya Anda putuskan

Sistem moderasi menjawab tiga pertanyaan untuk setiap konten:

1. Apakah ini berbahaya, dan dalam bentuk apa? Bukan sekadar ya/tidak — melainkan skor per kategori, karena satu pesan bisa saja berupa spam ringan dan jelas-jelas toksik pada saat yang sama.
2. Seberapa yakin modelnya? Skor toksisitas 0.98 dan 0.55 menghasilkan keputusan yang sangat berbeda. Discuse mengembalikan tingkat keyakinan agar Anda dapat mengambil tindakan otomatis untuk kasus yang jelas dan mengarahkan kasus yang ambigu di tengah ke manusia.
3. Apa yang Anda lakukan terhadapnya? Memblokir, menandai secara diam-diam, memasukkan ke antrean tinjauan, atau mengizinkan. Itu adalah kebijakan, dan tetap berada di tangan Anda.

Kategori yang diklasifikasikan Discuse:

Category	What it catches	Example
Spam	Promosi yang tidak diminta, penipuan, kumpulan tautan spam	"🎁 Anda menang! Klaim di bit.ly/…"
Toxicity	Pelecehan, ujaran kebencian, ancaman	Hinaan yang ditargetkan, doxxing, ancaman kekerasan
NSFW	Gambar dewasa atau grafis	Ketelanjangan, pornografi, gore
Malware	File dan tautan berbahaya	Lampiran terinfeksi, URL phishing
Language	Bahasa yang digunakan dalam sebuah pesan	Routing, aturan lokal, pemeriksaan bahasa yang diharapkan

Pra-moderasi vs. pasca-moderasi

Pilihan nyata pertama adalah kapan Anda melakukan pemeriksaan.

Pra-moderasi — memeriksa sebelum konten terlihat. Tidak ada konten berbahaya yang sempat terekspos, tetapi setiap unggahan harus menunggu perjalanan bolak-balik API, sehingga cocok untuk area yang masih dapat menerima jeda singkat (pemeriksaan teks berlangsung cepat; pemindaian gambar atau file memakan waktu lebih lama karena URL harus diambil dan dianalisis). Gunakan untuk kasus berisiko tinggi: unggahan pertama dari akun yang benar-benar baru, DM ke orang asing, apa pun yang sensitif secara hukum.

Pasca-moderasi — langsung menerbitkan, memeriksa di latar belakang, lalu menghapus setelahnya. Instan bagi pengguna, tetapi konten berbahaya sempat aktif untuk waktu singkat. Gunakan ketika kecepatan penting dan paparan selama beberapa detik berisiko rendah (pengguna lama, kanal berisiko rendah).

Sebagian besar platform menjalankan keduanya dan memilih berdasarkan area serta pengguna: pesan dari anggota tepercaya langsung terbit, sementara tautan pertama dari akun baru ditahan sampai lolos pemeriksaan.

Otomatis, manusia, atau keduanya

Tinjauan manusia sepenuhnya tidak dapat diskalakan dan membuat orang kelelahan menghadapi konten terburuk. Otomatisasi sepenuhnya cepat dan konsisten, tetapi bisa keliru pada kasus yang benar-benar ambigu — kata-kata yang sama bisa menjadi lelucon dalam satu konteks dan ancaman dalam konteks lain.

Pendekatan yang terbukti tahan lama adalah berdasarkan rentang keyakinan: biarkan model memutuskan secara otomatis untuk kasus yang jelas, dan kirim hanya bagian tengah yang tidak pasti kepada manusia.

• Keyakinan tinggi (misalnya di atas 0.95): izinkan otomatis atau hapus otomatis.
• Keyakinan sedang (kira-kira 0.5–0.95): terbitkan atau tahan, tetapi masukkan ke antrean untuk manusia.
• Keyakinan rendah: izinkan, dan ambil sampel untuk pemantauan.

Dengan begitu, perhatian manusia tetap terfokus pada sebagian kecil konten yang memang membutuhkan penilaian, bukan pada mayoritas yang sudah ditangani model dengan benar. Mengonfigurasi Ambang Batas membahas cara memilih rentang tersebut untuk platform Anda.

Memulai dengan Discuse

Discuse menyediakan semua ini melalui satu endpoint. Kirim teks, URL gambar, atau file; dapatkan kembali kategori, skor, dan satu flag has_violations:

curl -X POST https://api.discuse.com/api/v2/check \
  -H "Content-Type: application/json" \
  -H "X-API-Key: YOUR_API_KEY" \
  -d '{
    "content": {
      "text": "Hello, this is a test message!"
    }
  }'

Dari sana, Anda menerapkan ambang batas dan tindakan Anda sendiri. Panduan Memulai Cepat membantu Anda menjalankan integrasi yang berfungsi dalam beberapa menit, dan Panduan Moderasi Konten AI membahas arsitektur berbasis rentang keyakinan secara mendalam.