– 测量和减少幻觉(hallucination)——减少LLM生成虚假信息。
– 优化上下文长度和构建——更好地利用上下文信息提高模型表现。
– 结合其他数据模态——多模态是提升模型表现的有力手段。
– 提速降价——模型压缩、量化等技术可以大幅减少计算和存储成本。
– 设计新的模型架构——超越Transformer架构是一个巨大的挑战。
– 开发GPU替代硬件——光子芯片等新硬件或成为下一个潮流。
– Agent实用化——研发可以执行任务的LLM仍面临可靠性等挑战。
– 改进人工反馈驱动的学习——RLHF存在许多理论和实际问题。
– 改进聊天界面效率——聊天界面可以在多轮交互等方面优化。
– 构建非英语LLM——非英语LLM的数据和技术问题依然存在。
