RLHF
Uczenie maszynowe korzystające ze sprzężenia zwrotnego od człowieka[1] (ang. reinforcement learning from human feedback, RLHF) – technika pozwalającą na dostosowanie inteligentnego agenta do ludzkich preferencji. Polega ona na wytrenowaniu modelu nagrody przez człowieka, który będzie reprezentował preferencje, a następnie używanie tego modelu wraz z uczeniem przez wzmacnianie[2].
W klasycznym uczeniu się przez wzmacnianie celem agenta jest nauczenie się funkcji sterującej jego zachowaniem, zwanej polityką. Funkcja ta jest aktualizowana w kolejnych przebiegach uczenia w celu maksymalizacji nagród w oparciu o wydajność zadania agenta[3], jednak jednoznaczne zdefiniowanie funkcji nagrody, która dokładnie odzwierciedlałaby ludzkie preferencje, jest trudne. Dlatego RLHF dąży do wytrenowania modelu nagrody bezpośrednio na podstawie informacji zwrotnych od człowieka[2]. Model nagrody jest najpierw trenowany w sposób nadzorowany i następnie używany do sprawdzenia, czy odpowiedź na dany komunikat jest dobra (wysoka nagroda) czy zła (niska nagroda) na podstawie danych rankingowych zebranych od ludzi. Model ten służy następnie jako funkcja nagrody, która ma na celu ulepszenie polityki agenta poprzez algorytm optymalizacji[4].
Przypisy
- ↑ Cezary Zieliński, Robotyka: techniki, funkcje, rola społeczna. Cz. 3, Roboty a problemy społeczne, „Pomiary Automatyka Robotyka”, R. 27, nr 2, 2023, DOI: 10.14313/PAR_248/5, ISSN 1427-9126 [dostęp 2025-04-15] (pol.).
- ↑ a b Paul Christiano i inni, Deep reinforcement learning from human preferences, „arXiv”, 2023, DOI: 10.48550/arXiv.1706.03741, arXiv:1706.03741 [dostęp 2025-04-15].
- ↑ Wprowadzenie do RL i Deep Q Networks | TensorFlow Agents [online], TensorFlow [dostęp 2025-04-15].
- ↑ Illustrating Reinforcement Learning from Human Feedback (RLHF) [online], huggingface.co, 25 marca 2025 [dostęp 2025-04-15].
Content Disclaimer
Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.
- The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
- There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
- It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
- Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
- Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.