在线数据收集

推荐实验方案:

  • 请确保您的IRB协议涵盖您的实验过程
  • Use Qualtrics 编写调查/实验代码，然后将链接发布到亚马逊土耳其机器人(MTurk), 有关MTurk的一般操作方法:请参阅 here and here)
  • 关于素质和心理实验编程的教程: see here
  • 有关在HTML中编码的技巧:请参阅此 document
  • 在人类神经科学实验室, 我们有使用文字和图片刺激来测试新旧识别记忆的直接经验, recall, 源内存(e).g.(如空间位置)，以及各种创造性任务(如.g.、交替使用任务和远程关联任务). 有关模板，请联系 Preston. 我们在质量方面也有平衡和循环的经验.g., see this 一个关于循环的简短视频)，这是适当和有效的实验设计所必需的!
  • 如果使用Qualtrics，则有 FOUR 重要的事情:
    • 1a)确保监控非任务表现(用于相关出版物); Permut et al., 2019)
      • a)参见这里的代码添加到您的 Header (请参阅调查问卷的“观感”和“一般”部分)
      • b)参见这里的代码添加到您的 Footer (请参阅调查问卷的“观感”和“一般”部分)
      • c)确保按照Permut等人的详细说明添加嵌入式数据字段. (2019)
    • 1b)由于Qualtrics中的兼容性问题，1a中列出的代码在某些情况下可能无法工作
    • 2)在线实验结束时, 每个MTurk员工都有一个唯一的代码，他们被要求输入MTurk的调查. 他们必须在提交人类智能任务(HIT)之前这样做才能收到报酬. 如果参与者不输入此代码，则不会付款.
      • 例如，构建一个最后的问题，看起来像 this
    • 3)确保你在MTurk创建一个资格，以确保MTurk不能重做你的实验
      • 你为什么需要这个? See here and here
      • 要获得您唯一的MTurk代码: http://uniqueturker.myleott.com/
      • 在发布您的电子游戏正规平台时，您可以在您的MTurk请求者帐户中设置其他资格/限制, 请看这里的人类神经科学实验室 settings (正如你在图片中看到的那样, 我设置了一个限制，这样的电子游戏正规平台之前没有参与过, here called, 记住列表)
        • E.g., We like recruiting participants with a HIT approval rate of >95% (meaning that those who participate are those that are likely to finish it as that is their prior history), 并且参与者至少有50个hit被批准，这意味着他们已经完成了相当数量的MTurk电子游戏正规平台(注意，这些设置遵循其他已发表的电子游戏正规平台).
        • 还要注意一些限制, like age, 花费额外的钱(所谓的, “溢价限制”)
    • 如何保存/提取您的数据(e).g., as a .csv file)
      • 使用问题旁边的齿轮按钮打开变量命名. 复选框称为“变量命名”:这将保存实际选择的响应，而不是点击或选择的位置.
      • 在导出部分中，确保导出 .CSV与'选择文本'选定(参见其他选项，如删除空格)
      • 关键是，不要假设你所有的数据/回复都会被保存. 确保输出捕获它!

质量的替代方案

  • 您可以直接在MTurk中编写Java/HTML代码, 然而，它不是基于gui的，学习和执行起来可能很耗时
  • 如果对这种方法感兴趣，看这些很有帮助 视频和教程
  • 此外，您还可以使用 REDCap or PsyToolkit
    • REDCap 是基于调查的. 电子游戏正规平台服务@BC可以与电子游戏软件社区成员会面，讨论个别REDCap项目. 个人咨询或定制类咨询可通过电子邮件researchservices@bc.Edu或dalgin@litpliant.net.
    • PsyToolkit 有着惊人的 library 经典的认知心理学实验模板有些你认为不适合在线数据收集(例如.g., Stroop Task, 心理旋转, 波斯纳提示任务, 威斯康星车分拣任务, Go/NoGo task, 返回抑制, Multitasking, etc.)

(不全面)在线数据收集清单

这些是建议，不是规定有关更多信息，请参阅此处)

1)在客户端代码中隐藏敏感内容

  • 检查客户端代码中的敏感内容. 在浏览器窗口中打开实验程序. If you are using Chrome, click View > Developer > View Source. In Firefox, click Tools > Web Developer > Page Source. (谷歌“如何在[浏览器名称]中查看页面源代码”以查找其他浏览器的说明.)将打开一个新的浏览器窗口，其中包含您正在查看的实验特定页面的源代码. 滚动这段代码, 确保里面没有任何你不想让参与者看到的东西(e).g. 隐性收益值, 逻辑揭示了你的实验操作, 不同条件的名称, etc.).
  • 混淆您发送给客户端的任何JavaScript代码，这样参与者就不能通过查看源代码来查看隐藏的值或过程的逻辑. 开源工具 javascript-obfuscator 由Timofey Kachalov创建，可以用来混淆JavaScript代码. javascript-obfuscator@0的Web UI.18.可以在 obfuscator.io. (更好的选择是将所有敏感内容保存在服务器端，但这并不总是可行的.)

2)测试你的程序

  • 创建一个Mechanical Turk工作人员帐户，以便您可以在公开启动之前作为参与者测试您的程序
  • 设置自定义资格并将其仅分配给您自己的工人帐户
  • 使用分配给工人帐户的自定义资格启动您的实验, 阻止其他工作人员查看HIT
  • 登录你的员工账户, 完成你的HIT至少8次, 每次使用以下8种配置之一(浏览器+操作系统):
    • Chrome + Mac
    • Chrome + Windows
    • Firefox + Mac
    • Firefox + Windows
    • Edge + Mac
    • Edge + Windows
    • Safari + Mac
    • Safari + Windows
  • 阻塞移动设备, 或在移动设备上测试您的HIT，以确保您的程序正常运行. (You can simulate a mobile request in Chrome by selecting View > Developer Tools, 单击“切换设备工具栏”图标, 选择“中间层移动”，在弹出的设备工具栏中选择移动设备型号. 更多信息可在 这个页面的谷歌开发人员帮助中心.)
  • 检查程序中每个页面的url，以确保它们不包含任何可能泄露您的实验操作的信息
  • 检查您的记录数据，以确保所有活动都被适当地跟踪
  • 让几个朋友完成你的调查，并记录他们对每个问题的回答时间, 这样你就对平均参与者完成这个过程需要多长时间有了一些感觉

3)保护自己免受低质量数据的侵害

  • 总是包含一个中立的答案(如.g. “选择这里”)作为下拉列表等表单元素中的预选或默认响应
  • 测试多种回应方式(例如.g. 径向、滑块、下拉)来确定响应类型是否会影响结果
  • 不将资格要求作为电子游戏正规平台注册过程的一部分, 相反，使用资格限制(如国家/地区), 完成的电子游戏正规平台数目, etc.)或预先调查以限制资格(Siegel et al .)., 2015)
  • 通过Mechanical Turk API分配自定义资格来防止重修, 或者使用Qualtrics的内置系统
  • 收集IP地址和位置数据，因为这些数据可用于检测机器人活动
  • 在实验开始时使用抄写任务，要求参与者抄写一张手写文字的照片
  • 使用不明显的模式(如.e. 多项选择理解题的答案不应该都被分配到每个选择题列表的顶部。
  • 在你的调查结束时包括一个强制性的自由形式的回答(如果他们没有回应/评论，你可以指示参与者简单地键入“na”)
  • 使用自定义JavaScript计算主题离开页面的次数, 跟踪主题离开页面的时间, 或者甚至在参与者离开页面时显示弹出消息, 警告她，如果她在完成程序之前离开，HIT将不会被批准. (您可以在Qualtrics中找到一些实现这种跟踪的示例代码，见上文)

4)减少人员流失的负面影响

  • 询问个人人口统计问题, 并在你的手术开始时宣布有机会获得额外的经济奖励, 因为这两种措施都被证明可以减少辍学率(Reips), 2002a)
  • 在程序开始时，通过集中动机上的不利因素来引入一个高障碍任务
  • 在实验开始前，请参与者估计他们完成整个实验的可能性
  • 用呼吁良心的方式发出警告.g. “我们的电子游戏正规平台依赖于高质量的数据, 当参与者未能完成整个过程时，这种质量就会受到影响.”) (Zhou & Fishbach, 2016)
  • 使用练习试验, 试行新的实验方案, 或者要求参与者在开始焦点实验程序之前完成一项无聊的任务

5)分析数据

  • 等待，直到所有数据都已发布到服务器, 或停用您的质量调查, 在开始分析之前-一些平台(例如.g. 在参与者发起响应后的一周内，Qualtrics不会将未完成的响应发布到服务器, 在这些数据公布之前，你将无法衡量流失率
  • 检查你收集到的每一个自由形式的回复，寻找可疑的模式.g. 我在数据中检测到的一个脚本从周围的页面复制文本, 混淆了单词, 然后将结果粘贴到自由格式响应框中)
  • 检查重复的IP地址和经纬度坐标, 因为大量这样的重复信息可能是机器人活动的标志(Bai, 2018)
  • 将浏览器和操作系统作为分析的因素, 因为系统配置可能会影响参与者与您的过程的交互, 并被发现与可能影响结果的重要个体差异相关(布坎南) & Reips, 2001)
Back To Top