FTX 数据黑洞：如何挖掘历史真相，重塑加密信任？

FTX 历史数据导出指南

FTX 的倒塌无疑是加密货币行业历史上的一大污点。对于投资者、研究人员和审计人员来说，访问和分析 FTX 的历史数据变得至关重要，以便了解事件的来龙去脉，并从中吸取教训。以下提供一些关于如何导出 FTX 历史数据的方法和注意事项。

数据来源

在探讨数据导出方法之前，了解可用的数据来源至关重要。主要的数据来源包括：

• FTX API: 在 FTX 交易所运营期间，其 API 提供了对各种关键数据的访问，包括实时交易数据、深度订单簿数据、历史 K 线图（OHLCV 数据）、账户信息、以及市场指标等。虽然 FTX 交易所已经停止运营，但一些第三方服务可能会缓存或提供部分历史 API 数据。这些缓存数据可能不完整，需要验证其准确性和完整性。可以寻找专门提供历史加密货币数据服务的提供商，它们可能收集了 FTX API 的快照。
• 第三方数据提供商: 许多加密货币数据提供商，如 Kaiko、Messari、CoinGecko、CoinMarketCap 等，都收集并存储了 FTX 的历史数据。这些提供商通常提供 API 接口或数据导出功能，方便用户获取结构化的数据。不同数据提供商的数据覆盖范围、数据质量和数据粒度可能有所不同，因此需要根据具体需求进行选择。例如，某些提供商可能提供更细粒度的交易数据，而另一些则可能专注于提供每日或每周的汇总数据。 同时注意数据许可协议和使用条款。
• 区块链数据: 对于在 FTX 上交易的加密货币，可以通过直接查询相应的区块链来获取链上交易记录。这需要对区块链数据结构有一定的了解，并使用区块链浏览器或 API 进行查询。 这种方法可以验证 FTX 交易所报告的交易数据，并追踪资金流向。常用的区块链浏览器包括 Etherscan (对于以太坊代币) 和 Block Explorer (对于比特币)。一些专门的区块链数据分析平台也提供 API 接口，方便程序化地获取区块链数据。需要注意的是，链上数据只能反映在区块链上发生的交易，无法反映 FTX 交易所内部的交易和账户余额。
• FTX 官方文件: 尽管 FTX 已破产，但官方可能会公布一些历史数据或报告，以配合破产清算程序。关注官方渠道发布的任何数据披露信息，例如破产法庭的文件和官方网站。这些官方文件可能包含重要的财务数据、交易记录和其他相关信息。 同时也需要关注新闻报道和行业分析，这些信息可能揭示 FTX 运营期间的一些关键细节。
• 开源数据集: 社区成员可能会创建和共享 FTX 的历史数据集。例如，一些研究人员可能会整理并公开部分交易数据，供学术研究使用。这些数据集可能以 CSV、JSON 或其他格式提供。在利用这些开源数据集时，务必验证其数据的准确性和完整性，并了解数据的来源和处理方法。GitHub 和 Kaggle 等平台是寻找开源加密货币数据集的常用资源。

数据导出方法

根据数据来源的不同，导出 FTX 历史数据的方法也有所不同。数据来源可以分为交易所官方API、第三方数据提供商和公开数据集等。不同的来源意味着不同的数据结构和访问方式，因此需要采用不同的导出方法。例如，通过交易所API获取数据通常需要编写代码调用API接口，并按照API文档的要求进行身份验证和数据请求；而从第三方数据提供商处获取数据，则可能需要订阅服务或者购买数据包，并使用他们提供的工具或接口进行数据导出。

1. 使用 FTX API (如果可用):

由于 FTX 已破产，直接访问其官方 API 可能不再可行。然而，如果某些第三方平台或服务仍然提供对 FTX API 数据的访问接口（例如，通过历史数据订阅或镜像站点），则可以考虑使用。以下是假设API仍然可用时，导出数据的步骤，但请务必谨慎评估数据来源的可靠性。

• 获取 API 密钥: 您需要在提供 FTX 相关 API 访问权限的第三方平台注册一个账户。注册后，您通常可以在账户设置或开发者控制台中找到 API 密钥和 API 密钥的密钥。请务必妥善保管您的 API 密钥，避免泄露，因为它关系到您的数据安全和账户安全。
• 选择需要的数据类型: FTX API 提供多种数据类型，包括历史交易数据（包括买卖双方的价格、数量和时间戳）、订单簿数据（展示当前市场上买单和卖单的价格和数量）、K 线图数据（按时间间隔聚合的价格数据，如分钟线、小时线、日线等）、账户信息（包括余额、持仓等，需要授权）以及市场行情信息（如最新成交价、24 小时交易量等）。在编写脚本之前，明确您需要哪种类型的数据，这将有助于提高数据抓取的效率和准确性。
• 编写 API 请求脚本: 您可以使用多种编程语言来编写 API 请求脚本，其中 Python 和 Javascript 是比较常用的选择。Python 拥有丰富的库（如 `requests` 和 `pandas`）来处理 HTTP 请求和数据处理，而 Javascript 在浏览器端和服务器端（Node.js）都有广泛的应用。您需要查阅第三方平台提供的 API 文档，了解 API 的请求格式、参数、速率限制等信息。根据 API 文档，构造 HTTP 请求，并将 API 密钥包含在请求头或请求参数中。
• 数据解析和存储: API 通常以 JSON 格式返回数据。您需要使用编程语言提供的 JSON 解析库将 JSON 数据转换为程序可以处理的数据结构，例如 Python 中的字典或列表。然后，您可以将解析后的数据存储到 CSV 文件中（方便使用 Excel 或其他数据分析工具打开）或数据库中（如 MySQL、PostgreSQL 或 MongoDB），以便进行后续的分析和处理。对于大型数据集，建议使用数据库存储，因为它具有更好的查询和索引性能。

重要提示: 即使您能够通过第三方访问 FTX API 数据，也需要特别注意数据的完整性和准确性。由于 FTX 的破产和数据迁移等问题，第三方提供的数据可能存在缺失、延迟或错误。在使用这些数据进行分析之前，务必进行严格的验证，例如与其他数据源进行交叉验证，或者检查数据的合理性。同时，也要关注第三方平台的服务条款和隐私政策，了解他们的数据来源和数据质量保证措施。您可能需要进行数据清洗、数据校正和数据验证等步骤，以确保数据的可靠性。

Python 代码示例 (假设 API 仍然有效):

该示例展示了如何使用 Python 与加密货币交易所 FTX 的 API 交互（请注意，FTX 已破产，此示例仅用于演示 API 交互概念）。 我们将使用 `requests` 库发送 HTTP 请求，并使用 `` 库处理 API 返回的 JSON 数据。

import requests import

导入必要的 Python 库。 requests 库用于发送 HTTP 请求，例如 GET、POST 等。 库用于处理 JSON 格式的数据，允许我们将 Python 对象转换为 JSON 字符串，以及将 JSON 字符串转换为 Python 对象。

api_key = "YOUR_API_KEY" api_secret = "YOUR_API_SECRET"

设置 API 密钥和 API 密钥。 请务必替换为您的实际 API 密钥和密钥。 这些凭据用于验证您的身份并授权您访问 API。 请注意： 永远不要将您的 API 密钥和密钥硬编码到您的代码中，尤其是在共享或公开的代码中。 更好的做法是使用环境变量或配置文件来存储这些敏感信息。

url = "https://ftx.com/api/markets/BTC-PERP/trades" # 假设的 API 端点

定义要请求的 API 端点 URL。 在此示例中，我们假设端点是 `https://ftx.com/api/markets/BTC-PERP/trades`，它可能用于获取 BTC 永续合约的交易数据。 请查阅您正在使用的交易所的 API 文档，以获取正确的端点 URL。

headers = { "FTX-KEY": api_key, "FTX-SIGN": "YOUR_SIGNATURE", # 需要根据 API 文档生成签名 "FTX-TS": "YOUR_TIMESTAMP" }

创建 HTTP 请求头。 `FTX-KEY` 包含您的 API 密钥。 `FTX-SIGN` 包含请求的签名，该签名使用您的 API 密钥和一些其他数据（例如时间戳、请求参数）生成，以确保请求的完整性和真实性。签名算法通常在 API 文档中指定。 `FTX-TS` 包含时间戳，这对于防止重放攻击至关重要。 重要提示： 签名生成过程因交易所而异，请务必参考具体的 API 文档，以了解正确的签名生成方法。

response = requests.get(url, headers=headers)

使用 `requests.get()` 方法向 API 端点发送 GET 请求。 我们将 URL 和请求头作为参数传递给该方法。 该方法返回一个 `Response` 对象，其中包含 API 的响应数据。

if response.status_code == 200: data = response.() print(.dumps(data, indent=4)) # 打印 JSON 数据 # TODO: 将数据保存到 CSV 文件或数据库 else: print(f"Error: {response.status_code}, {response.text}")

检查响应状态代码。 如果状态代码为 200，则表示请求已成功。 我们使用 `response.()` 方法将响应内容解析为 JSON 对象。 然后，我们使用 `.dumps()` 方法将 JSON 对象格式化为字符串并打印到控制台，`indent=4` 参数用于美化输出，使其更易于阅读。 然后，可以对这些数据做进一步处理，例如保存到 CSV 文件或数据库中以便分析和存储。

如果状态代码不是 200，则表示请求失败。 我们打印错误消息，其中包含状态代码和响应文本，以帮助调试问题。 常见的错误包括无效的 API 密钥、无效的签名、错误的端点 URL 和请求速率限制。

2. 使用第三方数据提供商:

第三方数据提供商为加密货币历史交易数据的获取提供了更便捷、高效的解决方案，尤其适用于需要大规模、高质量数据的场景。与自行爬取数据相比，它们通常提供更加规范化、清洗过的数据，并具备更稳定的数据服务。

• 选择数据提供商: 加密货币数据提供商众多，选择时需综合考量其价格、数据覆盖范围（包括交易所、币种、时间跨度等）、数据质量（准确性、完整性、更新频率等）以及提供的额外功能（如市场深度数据、订单簿数据、链上数据等）。常见的选择包括但不限于 CoinGecko, CoinMarketCap, Kaiko, Messari, CryptoCompare 等。细致对比各家数据提供商，确保其数据源覆盖目标交易所和交易对，并满足数据质量要求。
• 注册并获取 API 密钥/订阅: 大多数第三方数据提供商提供不同等级的API访问权限，通常需要注册账户并购买相应的API密钥或订阅服务。不同等级的订阅服务往往对应着不同的数据访问量限制、数据更新频率以及可访问的数据类型。根据实际需求选择合适的订阅级别，并妥善保管API密钥，避免泄露。
• 使用 API 或数据导出工具: 第三方数据提供商通常提供完善的API文档，详细说明如何使用API获取数据。开发者可以根据API文档，使用编程语言（如Python、Java、JavaScript等）编写程序，调用API接口获取数据。部分数据提供商也提供图形化界面或数据导出工具，方便用户直接下载历史数据，无需编写代码。例如，可以使用Python的requests库调用REST API，或使用专门的SDK访问数据。
• 数据格式转换: 许多数据提供商支持多种数据格式，例如CSV（逗号分隔值）、JSON（JavaScript对象表示法）、Parquet等。CSV格式适用于简单的数据分析，易于使用电子表格软件打开和处理。JSON格式适用于复杂的数据结构，易于在编程语言中解析和使用。Parquet是一种列式存储格式，适用于大数据分析，能够高效地存储和查询大量数据。选择与自身分析工具兼容的数据格式，避免不必要的格式转换工作。例如，如果使用Pandas进行数据分析，JSON和CSV都是不错的选择；如果使用Spark进行大数据分析，Parquet格式可能更适合。

3. 查询区块链数据:

链上交易数据追溯是审计和调查的重要组成部分。可以使用区块链浏览器或应用程序编程接口 (API) 进行查询，以便获取公开透明的交易信息。

• 选择区块链浏览器/API: 选择一个可靠且支持相关加密货币的区块链浏览器或 API。例如，Etherscan 专门用于以太坊及其兼容链，而 Blockchair 则覆盖了比特币、莱特币等多种区块链。还有像 CoinGecko 和 CoinMarketCap 这样的平台也提供基本的区块链数据查询功能。选择时要考虑其数据覆盖范围、API 文档的详细程度以及API的使用限制。
• 查询交易哈希: 要查找与 FTX 相关的交易，需要使用交易哈希（Transaction Hash），也称为交易 ID。这个唯一的标识符代表了链上发生的特定交易。交易哈希可以从 FTX 提供的交易记录中获得，或者从第三方数据服务商，甚至一些数据聚合网站中获取。仔细核实交易哈希的准确性至关重要。
• 解析交易数据: 区块链浏览器和 API 会提供交易的各种详细信息。这些信息包括但不限于：发送者地址（Sender Address）、接收者地址（Receiver Address）、交易金额（Transaction Amount）、交易费用（Transaction Fee）、交易时间戳（Timestamp）、区块高度（Block Height）、以及交易状态（成功或失败）。部分浏览器或 API 还支持查看智能合约交互的输入数据（Input Data），这对于理解涉及智能合约的复杂交易至关重要。
• 数据关联: 单独的区块链数据可能不足以提供完整的图景。将从区块链浏览器或 API 获得的链上数据与 FTX 内部数据（例如账户信息、订单历史、内部转账记录等）进行关联，可以更全面地了解资金的流向和交易的性质。这种关联分析可能需要编写自定义脚本或使用数据分析工具来完成，特别是当涉及大量数据时。

4. 使用开源数据集：

获取历史交易数据时，如果存在可用的开源数据集，这通常是一个高效且经济的选择。开源数据集允许您直接下载并用于研究、分析和模型构建，省去了数据采集和清洗的初步工作。

• 搜索开源数据集： 在代码托管平台（如 GitHub）、数据科学社区（如 Kaggle）以及专门的数据存储库中搜索 FTX 历史数据集。使用关键词组合，例如“FTX 交易数据”、“FTX 历史价格”、“FTX 订单簿”等，可以更精确地找到所需的数据集。请注意，FTX已经破产，数据可能不完整。
• 验证数据质量： 在使用开源数据集之前，务必对其质量进行严格验证。这包括检查数据的准确性、完整性、一致性和可靠性。例如，您可以验证时间戳的连续性、交易量的合理性以及价格的准确性。缺失值和异常值的存在会对分析结果产生显著影响，因此需要特别关注。可以使用统计方法和可视化工具进行数据质量评估。了解数据集的来源和收集方法也有助于评估其可信度。
• 遵守许可协议： 开源数据集通常附带特定的许可协议，规定了数据的使用方式和限制。仔细阅读并遵守数据集的许可协议至关重要，这包括但不限于署名要求、商业用途限制以及修改和分发的规定。常见的开源许可协议包括 MIT 许可证、Apache 2.0 许可证和 Creative Commons 许可证等。了解许可协议的具体条款可以避免潜在的法律风险。

数据处理和分析

导出加密货币相关的数据后，为了获得有意义的洞察，必须对其进行精细的数据处理和深度分析。这个过程涉及多个关键步骤，旨在将原始数据转化为可操作的信息。

• 数据清洗: 这是数据分析的首要步骤，旨在消除数据集中的噪声。包括识别并移除重复记录，处理缺失值（例如，通过插补或删除），以及纠正错误或不一致的数据条目。数据清洗的目的是确保数据的准确性和可靠性，从而为后续分析奠定坚实的基础。在加密货币领域，交易数据可能包含大量的重复交易或无效记录，因此数据清洗至关重要。
• 数据转换: 原始数据往往难以直接用于分析，因此需要进行转换。数据转换包括将数据转换为适合特定分析工具或技术的格式。这可能涉及数据类型转换（例如，将字符串转换为数值），单位转换（例如，将以太坊的单位从Wei转换为Ether），或者数据聚合（例如，按小时、天或月汇总交易数据）。在加密货币分析中，时间序列数据通常需要进行平滑处理或季节性调整，以便更好地揭示潜在的趋势和模式。
• 数据分析: 利用各种统计分析和机器学习技术，从清洗和转换后的数据中提取有价值的信息。常用的方法包括描述性统计分析（例如，计算均值、中位数、标准差等），探索性数据分析（例如，可视化数据分布，发现异常值），以及预测性数据分析（例如，使用时间序列模型预测价格趋势）。机器学习算法，如聚类、分类和回归，可以用于识别交易模式、预测价格波动或评估投资风险。在加密货币领域，数据分析可以帮助识别欺诈交易、评估市场情绪或优化交易策略。
• 数据可视化: 将分析结果以图形或图表的形式呈现，以便更直观地理解数据。数据可视化工具可以帮助揭示隐藏在数据中的模式、趋势和关系。常用的可视化方法包括折线图、柱状图、散点图、热力图等。在加密货币分析中，数据可视化可以用于展示价格走势、交易量分布、相关性分析结果或投资组合表现。清晰的可视化结果有助于沟通分析结果，并为决策提供支持。

注意事项

• 数据完整性与验证: FTX 交易所已破产清算，其历史数据的完整性和准确性无法完全保证。在进行任何依赖于FTX数据的分析或研究之前，必须采取严格的验证措施，包括交叉验证多个数据源，对比已知事件发生时间点的数据，以及关注社区反馈的异常数据报告。请务必意识到数据可能存在缺失、篡改或错误，并在研究报告中明确指出数据来源的局限性。
• 数据安全与隐私保护: 使用API访问FTX或其他交易所数据时，务必高度重视API密钥和个人信息的安全。采用强密码，定期更换API密钥，并将密钥存储在安全的环境中，例如使用硬件钱包或加密的配置文件。避免将API密钥直接硬编码到应用程序中，防止泄露。在数据处理过程中，注意保护用户隐私，遵守相关数据保护法规，例如GDPR。
• 法律合规与责任承担: 在分析和使用FTX相关数据时，务必遵守所有适用的法律法规。这包括但不限于金融监管法规、数据保护法规和反洗钱法规。避免利用数据进行任何非法活动，例如内幕交易或市场操纵。如果涉及第三方数据，请确保已获得必要的授权和许可。对因使用FTX数据而造成的任何法律责任承担全部责任。
• API速率限制与数据容量控制: 大多数API都存在速率限制，以防止滥用和维护系统稳定。在使用API时，请仔细阅读API文档，了解具体的速率限制和数据容量限制。实施适当的重试机制和错误处理，以应对API请求失败的情况。考虑使用缓存技术来减少对API的重复请求。如果需要访问大量数据，可以考虑使用批量请求或WebSocket等技术。
• 时间戳一致性与时区校正: 不同数据来源可能使用不同的时间戳格式和时区。为确保数据分析的准确性，必须对所有数据的时间戳进行标准化和校正。明确记录每个数据源的时区信息，并将所有时间戳转换为统一的时区，例如UTC。注意处理夏令时等时区变化。使用可靠的时间库进行时间戳转换，避免手动计算错误。
• 数据标准化与标识符映射: 不同交易所和数据提供商可能使用不同的交易对名称、资产代码和其他标识符。为了整合来自多个数据来源的数据，需要对数据进行标准化，并建立标识符之间的映射关系。例如，将不同的交易所的BTC/USDT交易对名称统一映射到一个标准化的名称。可以使用标准化的资产代码，例如CoinGecko的coin_id，来识别不同的加密货币。
• 成本效益分析与数据源选择: 许多第三方数据提供商提供高质量的加密货币数据，但通常需要付费。在选择数据来源时，需要进行成本效益分析，比较不同数据提供商的价格、数据质量、覆盖范围和API性能。根据自己的预算和需求，选择最合适的数据来源。可以考虑使用免费的开源数据源，例如CoinGecko和CoinMarketCap，但需要注意其数据质量和可靠性。