Microsoft đề xuất công cụ tăng tốc LLM LLMA

Theo ghi nhận của Tiendientu, một nhóm các nhà nghiên cứu từ Microsoft đã đề xuất máy gia tốc LLM LLMA. Kỹ thuật giải mã suy luận với các tham chiếu này có thể tăng tốc độ suy luận LLM trong nhiều cài đặt trong thế giới thực bằng cách khai thác sự trùng lặp giữa đầu ra của LLM và các tham chiếu. LLMA hoạt động bằng cách chọn một đoạn văn bản từ tham chiếu, sao chép token vào bộ giải mã LLM, sau đó thực hiện kiểm tra song song hiệu quả dựa trên xác suất token đầu ra.

Tin nhanh ⇢

Tiendientu.net

Tác giả

Cộng đồng:
https://t.me/TCD_Community
https://t.me/coindesk_channel
https://t.me/nftdeskgr