CaptiVision

上周是国际聋人周，为纪念这一时刻，我激动地宣布推出 CaptiVision。这便是整个故事的来龙去脉。

2025年，我入选了曼德拉华盛顿奖学金项目（Mandela Washington Fellowship），这是美国政府青年非洲领袖倡议（YALI）的旗舰项目。我与一批杰出的领导者一同被安排在德克萨斯大学奥斯汀分校（University of Texas at Austin）学习。就在那里，我结识了来自冈比亚的聋人企业家兼残障权益倡导者 Mamy Sira。坐在 Mamy Sira 正后方上课，让我了解到聋人及听力障碍人士在参加常规讲座和会议时所面临的种种挑战。

德克萨斯大学奥斯汀分校为该项目提供了大量无障碍支持，包括美国手语（ASL）译员、桌面麦克风以及实时字幕软件。然而，在密集的讲座过程中，我注意到一个持续存在的问题。为了跟上讨论内容，Mamy Sira 不得不在讲座幻灯片、现场 ASL 译员、显示字幕的笔记本电脑屏幕以及房间另一端正在发言的参与者之间不断切换视线。追踪动态的课堂对话需要持续进行视觉扫描，这导致她在已经十分紧张的为期六周的课程中产生不必要的疲劳和颈部酸痛。

我构想了一个能够整合所有视觉信息的系统。我与 Mamy Sira 以及 ASL 译员 Aisha S. Terp 和 Dr. Saint Hardy 讨论了这一构想，随后获得了 Rodney Northern 教授的许可进行现场测试。利用从麦库姆斯商学院（McCombs School of Business）音视频支持台借来的设备，我用一台笔记本电脑、一部 iPhone、一个 USB 网络摄像头和 Zoom 搭建了一个简陋的原型。最初的版本非常粗糙：画质较差，字幕软件和 Zoom 是相互独立的应用程序，在多个 Zoom 窗口中切换以定位发言者仍然十分困难，但其核心功能已经显现。Aisha 评论说，这正是课堂从一开始就应当采用的呈现方式。

回到埃塞俄比亚后，我开始开发一个名为 CaptiVision 的独立平台。将原型转化为一个可靠的应用程序需要克服复杂的工程难题：整合计算机视觉、机器学习、主动发言人检测、点对点网络、人脸识别、设备端字幕、说话人日志化以及多路音视频流处理。

经过数月的开发以及数度濒临崩溃之后，我完成了首个版本的构建。CaptiVision 提供统一的视觉信息流，旨在消除聋人及听力障碍人士在课堂和会议场景中的注意力分散问题。目前我们正在持续努力，致力于让全球 K-12 学生能够完全免费使用这款应用。