谷歌|谷歌开源 LIT：用于NLP模型的可视化，交互式模型理解工具
语言可解释性工具（Language Interpretability Tool，LIT）是 Google PAIR 研发的用于自然语言处理模型的可视化、交互式模型理解工具。通过基于浏览器的用户界面，LIT 支持各种调试工作流。本文是语言可解释性工具（Language Interpretability Tool，LIT）的用户指南。
文章图片
运行 LIT
有关如何启动自己的 LIT 实例的详细信息，请参阅开发指南。
总体布局
LIT 位于一个单页的 Web 应用程序中，由多个工具栏和一个由单独模块组成的主要部分构成。如果模块适用于当前的模型和数据集，则将自动显示；例如，仅当模型返回MulticlassPreds时，显示分类结果的模块才会显示。有关更多详细信息，请参阅开发指南。
文章图片
一般来说，模块布局由两个部分组成，即顶部和底部，由可拖动的分隔器来控制每个部分的高度。顶部包含一组模块，始终在工具中显示。这一部分通常用于对工具导航至关重要的主要模块，例如数据表（Data Table）和数据点编辑器（Datapoint Editor）。底部由包含任意数量的单个模块的选项卡组成。这一部分的选项卡通常按特定于任务的模块集进行分组。
数据点选择
LIT 显示加载的数据集及其跨选定模型集的模型结果。用户可以通过从数据集中选择数据点来深入了解详细的结果。
LIT 用户需要注意两个选择概念。第一个概念是当前选择，它由一个或多个数据点组成，这些数据点是通过一个交互模块（如 Data Table、Embedding、Prediction Score 或 Confusion Matrix 模块）选择的。当在模块中选择一组数据点时，这种选择与选择工具栏一起反映在所有其他模块中。例如，Metrics 模块不仅显示了整个数据集的模型度量，还显示了当前选择的数据点的模型度量。
第二个概念是主选择。主选择是当前选择中的单个数据点，在侧重于单一数据点的模块（如 Datapoint Editor 和 Salience Maps 模块）中对其进行更详细的研究。如果当前选择仅包含单个数据点，那么该数据点也是主选择。如果当前选择包含多个数据点，主选择默认为该选择中的第一个数据点，但可以通过选择工具栏中的箭头控件或单击选择中的另一个数据点来更改。在 Data Table 模块中，主选择以深蓝色突出显示，其 ID 显示在选择工具栏中。
可以通过选择工具栏将数据点的选择保存为 “切片”（slice）。将选择另存为一个切片，可以在将来轻松地导航回该选择。它还允许跨数据点的子集比较度量，如 Metric 模块部分所述。
工具栏
LIT 中有三个工具栏。顶部工具栏包括工具名称和设置按钮，下面的选择工具栏，以及页面底部的状态栏。
全局设置
可以通过顶部工具栏中的设置图标打开全局设置对话框。
LIT 可以与一组模型和数据集一起启动。设置界面允许用户选择要分析的模型。可以对任意数量的模型进行分析，假设它们在使用的数据格式中兼容（即可以一起分析两个不同的毒性分类器以进行比较）。一旦选择一个或多个模型，就可以从与这些模型兼容的数据集中进行选择。
【 谷歌|谷歌开源 LIT：用于NLP模型的可视化，交互式模型理解工具】设置对话框还包含用于隐藏任何模块的控件。当分析不需要 LIT 包含的所有兼容模块时，这可以帮助整理用户界面。
最后，设置对话框包含用于保存和加载附加数据点的控件。如本指南后面所述（ 1 和 2 ），可以使用 LIT 通过手工编辑或者通过一些数据点生成器来创建新的数据点。如果要保存这些新数据点以便在 LIT 之外使用，或者在其他使用期间加载到 LIT，可以提供一个目录来保存数据点，然后单击 “Save new datapoints” 按钮。对话框将显示新数据点的位置，以及其中有多少个数据点。
要将这些保存的数据点加载到 LIT 会话中，只需提供相同的路径并单击 “Load new datapoints” 即可。
文章图片
选择工具栏
选择工具栏位于顶部工具栏的正下方，它包含许多不同的控件和信息。在工具栏的左侧，它显示加载的数据集中有多少个数据点，以及当前有多少个数据点被选中。显示主选择数据点的 ID，以及一个用于将此数据点标记为收藏的收藏按钮。被收藏的数据点存储在自动创建的 “Favorites”（收藏夹）切片中，可以在切片控件中访问。如果只选择一个数据点，那么工具栏中的左右箭头按钮允许在加载的数据集中循环选中所选的数据点。如果当前选择的是一组数据点，那么左右箭头按钮将空值哪些数据点是主选择的数据点，并在当前选择的数据点之间循环选中所选的。箭头之间的 “Random”（随机）按钮允许选择随机数据点，而不是通过左右箭头进行有序循环选择。
选择工具栏的右侧包含许多控件。
切片
切片控件允许创建、编辑、选择和删除切片。通过给当前选择命名并单击 “Create slice” 按钮，可以将当前选择保存为切片。右侧的下拉菜单允许你选择任何以前保存的切片。这包括上面在选择工具栏部分描述的 “Favorites” 切片。
推荐阅读
- Google|谷歌开的这场轻量级发布会，重新定义了什么是旗舰机
- 程序中|十年之久！谷歌和甲骨文版权纠纷案提交美国最高法院
- 谷歌|谷歌、脸书等被指控“垄断权力” 其业务面临被拆分风险
- 科技|美国国会公布反垄断调查报告，认定苹果、谷歌等四大科技公司滥用市场主导地位
- 苹果应用商店|每经16点 | 票房惨淡，评分过低，这部动画电影宣布退出国庆档；苹果应用商店三季度营收达190亿美元，几乎是谷歌两倍
- 开源|如何寻找可行之路？开源律师如是说
- 全球|华为HMS和谷歌GMS在全球开发者眼里二选一，谁会获得胜利？
- 让步|苹果刚让步，谷歌又来了！强征30%的“安卓税”，开发者又要伤脑筋了
- 应用|30%的＂安卓税＂来了，谷歌挥动收割镰刀
- Epic|坐拥195亿“韭菜田”，亲身下场收割的谷歌背后暗藏业务危机